Форум 'LINQ to DB' на RSDN

Маппинг двух столбцов в одное свойство и из свойства в два с

Tue, 12 Mar 2024 08:19:45 GMT

У сущности есть свойство абстрактного типа

class Entity
{
public IForeign Foreign {get;init;}
}

Сущность должна отображаться на таблицу с двумя полями
fData int — внутренние данные
fType int — интерпретация типа
Как сделать маппинг двух полей на одно свойство, чтобы в зависимости от поля fType создавался тот или иной конкретный объект? fData — общие для всех IForeign данные (через конструктор или свойство инициализации).
Ну и в обратную сторону на таблицу

Insert, BulkCopy, between - SQLite неправильная работа

Thu, 02 Nov 2023 20:21:51 GMT

Привет всем,

Обнаружил, что метод Insert при вставке записи в таблицу с автоинкрементным ключем и заданным значением все равно вставляет новый ключ.
Попробовал обойти и вставлять с помощью

Connection.BulkCopy(new BulkCopyOptions() { KeepIdentity = true }, result);

Записи вставились как надо, но обнаружилась следующая ошибка. При вставке через BulkCopy записи с типом дата вставляются в формате "2023-10-01" и в этом случае
при запросе between '2023-10-01' and '2023-10-30' записи с датой 2023-10-01 в интервал не попадают.
А вот если даты будут в базе в формате "2023-10-01 00:00:00" (просто Insert их в таком виде и вставляет) то тогда попадают.
Причем выполнение запроса вручную возвращает все записи, а в программе их уже нет.

Ассоциации "через точку"

Mon, 22 May 2023 07:12:13 GMT

Имеем систему классов:

    class Ref<TEntity>
        where TEntity : Entity
    {
        public long ID { get; init; }
        public TEntity Data => default!;
    }

    abstract class Entity 
    {        
        [PrimaryKey, Identity]
        public long ID { get; init; }
    }        
    
    abstract class Catalog : Entity
    {
        [Column]
        public string Name { get; init; } = default!;
    }

    [Table("Persons")]
    class Person: Catalog
    {
    }        

    [Table("Storages")]
    class Storage : Catalog
    {
        public Ref<Person> Manager { get; init; } = default!;
        //public Person ManagerData { get; init; } = default!;
    }

Ref<TEntity> — оболочка для агрегации и внешнего ключа.
Однако выдает ошибку, что не может разобрать написанное:

's.Manager.Data.Name' cannot be converted to SQL.

Вот код:

            var builder = new FluentMappingBuilder(context.MappingSchema);
            builder.Entity<Storage>().Property(s => s.Manager.ID).HasColumnName(nameof(Storage.Manager));
            builder.Entity<Storage>().Association(s => s.Manager.Data, (s, p) => s.Manager.ID == p.ID);
            builder.Build();
            var query = context.GetTable<Storage>().Select(s => s.Manager.Data).Select(p => new { p.Name });

Стоит раскомментировать //public Person ManagerData { get; init; } = default!;
и всюду заменить Manager.Data на ManagerData как всё работает.

Можно в принципе использовать ассоциации, написанные "через вторую точку": s => s.Manager.Data вопрос?

Customization with assembly

Wed, 12 Apr 2023 08:25:12 GMT

Доброе время суток.

Столкнулся с проблемой при использовании linq2db.cli для генерации моделей данных.

Все делаю как описано тут (https://linq2db.github.io/articles/CLI.html).
Пробую вариант кастомизации с отдельным assembly. Создал отдельный проект библиотеки (TargetFramework netcoreapp3.1).

Lib csproj

<Project Sdk="Microsoft.NET.Sdk">

    <PropertyGroup>
        <TargetFramework>netcoreapp3.1</TargetFramework>
        <LangVersion>9</LangVersion>
        <CopyLocalLockFileAssemblies>true</CopyLocalLockFileAssemblies>
    </PropertyGroup>

    <ItemGroup>
      <PackageReference Include="linq2db.Tools" Version="5.1.1" />
    </ItemGroup>  
    

</Project>

Добавил "пустой" Interceptor

	Код
	`public class MyScaffoldInterceptor : ScaffoldInterceptors { private ScaffoldOptions Options { get; } public MyScaffoldInterceptor(ScaffoldOptions options) { this.Options = options; } }`

Компиляция успешная, все нужные файлы в "bin\Debug\netcoreapp3.1" есть, включая DataModelsCustomization.deps.json. Идем дальше.

Создал консольное приложение, добавил Project Reference на библиотеку с кастомизациями.

App csproj

<Project Sdk="Microsoft.NET.Sdk">

  <PropertyGroup>
    <OutputType>Exe</OutputType>
    <TargetFramework>netcoreapp3.1</TargetFramework>
    <LangVersion>9</LangVersion>    
  </PropertyGroup>

  <ItemGroup>
    <Service Include="{508349b6-6b84-4df5-91f0-309beebad82d}" />
  </ItemGroup>

  <ItemGroup>
    <PackageReference Include="linq2db" Version="5.1.1" />
  </ItemGroup>

  <ItemGroup>
    <ProjectReference Include="..\DataModelsCustomization\DataModelsCustomization.csproj" />
  </ItemGroup>

</Project>

Создал каталог DataModels внутри проекта консольного приложения. Поместил туда database.json файл

	database.json
	`{ "general": { "provider": "SqlServer", "connection": "<my-connection-string>", "overwrite": true } }`

В терминале выполняю команду:

D:\PROJECTS\Examples\Linq2Db.NetCore\Linq2Db.NetCore\DataModels> dotnet linq2db scaffold -i database.json --customize ..\bin\Debug\netcoreapp3.1\DataModelsCustomization.dll

В результате получаю ошибку:

AssemblyResolve path: D:\PROJECTS\Examples\Linq2Db.NetCore\Linq2Db.NetCore\bin\Debug\netcoreapp3.1
Unhandled exception: DependencyContext.Load cannot load interceptor assembly
at LinqToDB.CommandLine.ScaffoldCommand.SetupInterceptorsDependencyResolver(String assemblyFolder, Assembly interceptorsAssembly)
at LinqToDB.CommandLine.ScaffoldCommand.LoadInterceptorsFromAssembly(String assemblyPath, ScaffoldOptions options)
at LinqToDB.CommandLine.ScaffoldCommand.LoadInterceptors(String interceptorsPath, ScaffoldOptions options)
at LinqToDB.CommandLine.ScaffoldCommand.Execute(CliController controller, String[] rawArgs, Dictionary`2 options, IReadOnlyCollection`1 unknownArgs)
at LinqToDB.CommandLine.CliController.Execute(String[] args)
at LinqToDB.Tools.Program.Main(String[] args)

В каталоге "bin\Debug\netcoreapp3.1" нет только одного файла: DataModelsCustomization.deps.json.

Как только я его копирую вручную из каталога куда складывается результат сборки библиотеки "DataModelsCustomization\bin\Debug\netcoreapp3.1", все проходит успешно, модели генерируются. Пока что никак не могу найти способа его автоматического копирования при сборке проекта.

Пробовал добавлять "<CopyLocalLockFileAssemblies>true</CopyLocalLockFileAssemblies>" в файл проекта приложения, не помогло.

Можно конечно выполнить терминальную команду, находясь в каталоге библиотеки

D:\PROJECTS\Examples\Linq2Db.NetCore\DataModelsCustomization> dotnet linq2db scaffold -i database.json --customize bin\Debug\netcoreapp3.1\DataModelsCustomization.dll

Но я хочу, чтобы модели данных были в проекте приложения. Или действительно надо генерировать модели в проекте с кастомизациями? В документации (https://linq2db.github.io/articles/CLI.html) об этом ничего не сказано.
Как вариант, еще можно добавить поле output в json файл.

Буду благодарен, если объясните что я делаю не так.

UPD:
Убрал Project Reference на библиотеку с кастомизацией и выполнил команду

dotnet linq2db scaffold -i database.json --customize ..\..\DataModelsCustomization\bin\Debug\netcoreapp3.1\DataModelsCustomization.dll

Может именно такая команда и имелась в виду в документации?!

Вычисляемое свойство

Sun, 17 Oct 2021 19:13:10 GMT

Допустим в таблице есть строковые поля X, Y.
Сами по себе они не отображаются в свойства класса.
А хочется, чтобы в свойство MyValue объекта класса можно было передать значение некоторого выражения из них
например, описанного так:

Expression<Func<MyEntity,string>> expr = (e) => e.X+":"+e.Y;

Чтобы каждый раз не писать вручную:

.Select(t => new MyEntity(t.Id) {Value=t.X+":"+t.Y})

Ну вот как будто с этим выражением есть computed field соответствующее свойству поля.

Something's wrong

Wed, 29 Sep 2021 00:39:11 GMT

Ок, допустим я среднестатистический senior, для которого технические аргументы при выборе инструмента работы с базой имеют значение. Я открываю документацию linq2db и мне все нравится — гибкость, расширяемость; то, что решается конкретная задача сделать статически типизированный sql, который ещё и composable и прочие хорошие слова; а нерешимая на практике задача, например, по достижению persistence ignorance, не решается, что даёт основание подозревать, что авторы что-то понимают в жизни.
Я делаю POC по переносу самых заковыристых кусков проекта (где запрос собирался путём склеивания строк) на linq2db и меня все устраиваетустраивает: how to teacher linq и трюк с Compile() позволили сделать то, что мне нужно.
Далее мне нужно продать это решение и возникают такие вопросы: а насколько linq2db зрелый продукт, много ли в нём багов, поддерживается ли он какой-нибудь большой компанией, на сколько он распространен и т.п.
Если использовать в проекте какой-нибудь Dapper, то ответы сразу находятся: Dapper все знают, он разработан и используется в stackoverflow, он позиционируется как легковесная альтернатива ORM (первой версии LinqToSql на момент разработки), он на столько примитивен, что баги там врятли есть.
Ответы по Linq2Db: он достаточно наворочен и универсален, так что баги там наверняка есть; с распространённость не очень, судя по документации; в последнее время поддерживается, в основном, парочкой энтузиастов (справедливости ради, очень крутых разработчиков): sdanyliv и MaceWindu; IT временно самоустранился.

Что, как мне представляется, добавило бы аргументов в пользу выбора linq2db:
1. Success stories, список компаний и продуктов, использующих linq2db. Подозреваю, что он используется много кем, не только тремя "Notable open-source users" из документации.
2. Наличие платной поддержки очень бы помогло.

Неявные внешние ключи

Tue, 28 Sep 2021 14:14:35 GMT

Имеется простейшая схема базы

Можно ли настроить linq2db так, чтобы не писать явно внешний ключ в классе Order:

[Table("Partners")]
    class Partner
    {
        [PrimaryKey, Identity]
        public long ID { get; set; }
        [Column]
        public string Name { get; set; }
    }

    [Table("Orders")]
    class Order
    {
        [PrimaryKey, Identity]
        public long ID { get; set; }
        [Column]
        public string Number { get; set; }
        [Association(ThisKey = "Partner", OtherKey = "ID")]
        public Partner Partner { get; set; }
    }

И при этом было доступно примерно такое:

var query = db.GetTable<Order>().Select(_=>_.Partner.Name);
var list = query.ToList();

Linq2DB и Хранимые процедуры CLR

Mon, 13 Sep 2021 15:19:58 GMT

Как известно Хранимые процедуры CLR еще в 2005 MS SQL.
Но о широком использовании не слышал.
Наприер в 1С Тест Гилева показал, что файловая быстрее файловая база на интерпретаторе быстрее SQL.
Из-за сложности алгоритмов тяжело вытащить все данные одним запросом. Приходится гонять данные с сервера на клиента по нескольку раз. Отсюда и тормоза.
Но вот если обязанности сервера приложений возьмут на себя Хранимые процедуры CLR ситуация может резко измениться.
Но теперь и инстрeменты на сервере SQL должны быть аналогичные что на сервере приложений, а именно доступ через Linq

Модели через xml

Fri, 20 Aug 2021 08:23:47 GMT

Парочка вопросов.

1. Есть ли в LinqToDb описывать модели в xml?
В одном из проектов это одно из требований.

Пока придумал только одно, читать самому xml с моделями и через FluentMapper настраивать.
Но вдруг есть уже готовые средства?

2. Можно ли сделать свой атрибут и навесить его на класс/свойство, что бы построитель запросов его вызывал?

Configuration.ContinueOnCapturedContext - зачем?

Sun, 27 Jun 2021 12:33:54 GMT

https://linq2db.github.io/articles/FAQ.html#which-async-model-linq-to-db-use
Почему не false везде, раз самой библиотеке этот контекст не нужен?

// Linq2Db library method
async Task<Foo> GetFooAsync()
{
  //...
  await SomethingElseAsync().ConfigureAwait(Configuration.ContinueOnCapturedContext);
  //...
  return ...;
}

// Client side code
async Task UIMethodAsync()
{
  var foo = await GetFooAsync().ConfigureAwait(true); // или просто await GetFooAsync();
  lbl1.Text = "Done";
}

В клиентском коде контекст восстановится, даже если Configuration.ContinueOnCapturedContext был false.

Temp table

Fri, 21 May 2021 19:38:42 GMT

С удивлением обнаружил, что на самом деле создается обычная, не временная таблица. А у постгри это довольно небыстро.
Вопрос — а как тогда передать табличные данные, при условии что нужно поддержать постгри, мсскл и, потенциально, оракль?

... << RSDN@Home 1.3.17 alpha 5 rev. 62>>

Postgree INSERT ON CONFLICT DO NOTHING

Fri, 21 May 2021 17:27:12 GMT

Здравствуйте,

Что-то не пойму, какой нужно написать код, что-бы при вставке при совпадении ПК ничего не вставлялось и не возникала ошибка?
Т.е. что-бы получился SQL вида INSERT ... ON CONFLICT (...) DO NOTHING?

db.Table.InsertOrUpdate(insertExpr, updateExpr, keySelector)?
Но что писать во втором параметре (updateExpr)?

Или есть какой-то другой рекомендуемый способ?

Update performance regression

Mon, 19 Apr 2021 07:45:59 GMT

Старый ишью — https://github.com/linq2db/linq2db/issues/2556
Хоть и закрыт, но не починился. Обновил еще раз в существующем проекте — получил те же тормоза. Времени на то чтобы выдернуть кусок для воспроизведения, увы, пока нет совсем. Приходится по прежнему оставаться на 2.9.8.

... << RSDN@Home 1.3.17 alpha 5 rev. 62>>

Numeric NaN not supported by System.Decimal

Mon, 05 Apr 2021 18:54:08 GMT

Есть у меня класс замапленный на таблицу Postgresql

class Layer
{
    // ...
    [Column("area")]
    public double Area {get; set;}
    // ...
}

Замапленное поле имеет тип Numeric. В это поле кладётся триггером значение функции

st_area(geom)

.
Где geom это тип Postgis, расширения для Postgresql.
Иногда, когда геометрия кривая, то результат этой функции может быть NaN.
И соответственно, пытаясь в LinqToDb получить значение записи, получаю ошибку: "Numeric NaN not supported by System.Decimal"
Можно как-то такие вещи отслеживать или надо логику работы поменять, что бы не приходилось запрашивать записи со значением NaN в поле?

Select для структурных полей

Fri, 05 Mar 2021 07:49:10 GMT

Имею следующую таблицу:

    [Table(Schema = "dbo", Name = "Test")]
    [Column("Coord.X", MemberName = "Coord.X", CanBeNull = false)]
    [Column("Coord.Y", MemberName = "Coord.Y", CanBeNull = false)]
    [Column("Coord.Z.Z1", MemberName = "Coord.Z.Z1", CanBeNull = false)]
    [Column("Coord.Z.Z2", MemberName = "Coord.Z.Z2", CanBeNull = false)]
    public partial class Test
    {
        [Column, PrimaryKey, Identity] 
        public long ID;// { get; set; } 
        public Coord Coord;// { get; set; }
    }

Здесь Coord и Z struct-типы нескольких полей
Удалось научиться работать с ними в предикатах:

db.Tests.Where(t => t.Coord != default(Coord))

Однако, когда я пишу их в Selectничего не выходит:

db.Tests.Select(t => t.Coord).Distinct()

Исключение:

Вызвано исключение: "LinqToDB.Linq.LinqException" в linq2db.dll
Необработанное исключение типа "LinqToDB.Linq.LinqException" в linq2db.dll
Expression 't.Coord' is not a Field.

Что и где надо написать, чтобы linq2db понимал такие выражения?

Проверка на null

Sun, 28 Feb 2021 17:53:03 GMT

Имеем простейший класс смаппированный из таблицы Firebird

    [Table(Schema="SYSDBA", Name="Items")]
    public partial class Item
    {
        [PrimaryKey, Identity   ] public long   ID     { get; set; } // bigint
        [Column,     NotNull    ] public string Name   { get; set; } // varchar(100)
        [Column,        Nullable] public short? Rating { get; set; } // smallint
    }

и к нему простейшие запросы, которые совершенно по разному проверяют значение null. Общей картины пока не видно мне:
вроде бы связано с атрибутами NotNull и Nullable, но это пока поля не участвуют в выражениях:

`foreach (var q in db.Items.Where(x=> x.ID!=0))`	`SELECT "x".ID, "x"."Name", "x"."Rating" FROM "Items" "x" WHERE "x".ID <> 0`
`foreach (var q in db.Items.Where(x=> x.Rating!=0))`	`SELECT "x".ID, "x"."Name", "x"."Rating" FROM "Items" "x" WHERE ("x"."Rating" <> 0 OR "x"."Rating" IS NULL)`
`foreach (var q in db.Items.Where(x=> x.Rating+42!=42))`	`SELECT "x".ID, "x"."Name", "x"."Rating" FROM "Items" "x" WHERE "x"."Rating" + 42 <> 42`
`foreach (var q in db.Items.Where(x=> x.ID%2!=0))`	`SELECT "x".ID, "x"."Name", "x"."Rating" FROM "Items" "x" WHERE (Mod("x".ID, 2) <> 0 OR Mod("x".ID, 2) IS NULL)`

foreach (var q in db.Items.Where(x=> x.ID!=0))

SELECT
        "x".ID,
        "x"."Name",
        "x"."Rating"
FROM
        "Items" "x"
WHERE
        "x".ID <> 0

foreach (var q in db.Items.Where(x=> x.Rating!=0))

SELECT
        "x".ID,
        "x"."Name",
        "x"."Rating"
FROM
        "Items" "x"
WHERE
        ("x"."Rating" <> 0 OR "x"."Rating" IS NULL)

foreach (var q in db.Items.Where(x=> x.Rating+42!=42))

SELECT
        "x".ID,
        "x"."Name",
        "x"."Rating"
FROM
        "Items" "x"
WHERE
        "x"."Rating" + 42 <> 42

foreach (var q in db.Items.Where(x=> x.ID%2!=0))

SELECT
        "x".ID,
        "x"."Name",
        "x"."Rating"
FROM
        "Items" "x"
WHERE
        (Mod("x".ID, 2) <> 0 OR Mod("x".ID, 2) IS NULL)

Или хотя бы как можно на это повлиять?

Invalid attempt of read when the reader is closed

Tue, 23 Feb 2021 16:02:12 GMT

При изучении linq2db столкнулся с непониманием, почему чтение закрывается после первого же Update?
Нельзя одновременно читать и писать? А как это делать в одно транзакции? Или надо материализовать результат чтения?
Вот элементарный код:

            using (var db = new TestDB())
            {
                db.BeginTransaction();
                foreach (var st in db.Entinies.Select(_ => _.UID))
                {
                    db.Items.Update(x => false, x => x);
                }
                db.CommitTransaction();
            }

Вот ошибка:

System.InvalidOperationException
HResult=0x80131509
Сообщение = Invalid attempt of read when the reader is closed.
Источник = FirebirdSql.Data.FirebirdClient
Трассировка стека:
at FirebirdSql.Data.FirebirdClient.FbDataReader.CheckState()
at FirebirdSql.Data.FirebirdClient.FbDataReader.Read()
at LinqToDB.Linq.QueryRunner.<ExecuteQuery>d__12`1.MoveNext()
at ConsoleApp11.Program.Main(String[] args) in C:\Users\User\source\repos\ConsoleApp11\ConsoleApp11\Program.cs:line 51

MemberName для всех колонок вложенного объекта

Fri, 22 Jan 2021 20:16:02 GMT

Нашёл как вручную прописать маппинг вложенного объекта в ту же таблицу:

class A
{
  public int Value1 {get; set;}
  public int Value2 {get; set;}
}

class B
{
  [Column(MemberName = ".Value1")]
  [Column(MemberName = ".Value2")]
  public A Item {get;set;}
}

Как-то можно автоматом подгрузить все свойства вложенного типа, а не явно каждое прописывать в атрибуте или в PropertyMappingBuilder?
Что-то вроде как в EF Core OwnsOne

LinqToDb

Thu, 24 Dec 2020 18:44:18 GMT

До недавнего времени я, для работы с БД, использовал dapper. Он мне всем нравится, но, по современным меркам, уж больно он "низкоуровневый".
Использовал ef core, который работал стабильно, то слабоват, когда много однотипных таблиц вида object_####_, они часто меняются и меняется структура.
Требуются постоянные запросы с разным составом полей. И что понадобится в следующий раз пользователям, неизвестно.

Мне, несколькими тредами ниже, посоветовали LinqToDb, мол он всё это умеет. И да, он умел практически всё что надо.

Сделал я тестовое приложение. Идёт чтение, в n-тасков, большой таблицы из постгреса. После чтения записи, надо получить запись с сервера mysql, и обновить полученную запись в постгреса.
Таски запускаются через Task.Factory.StartNew(...)

Постгрес справляется на ура, всё хорошо. А, вот с MySql возникла проблема.

В таске выполняется так:

LinqToDbConnectionOptionsBuilder myBuilder = new LinqToDbConnectionOptionsBuilder();
myBuilder.UseMySql("тут ConnectionString");
await using DataConnection myDataConnection = new DataConnection(myBuilder.Build());

foreach (LayerTable item in page)
{
    DataParameter f = new DataParameter("@id", item.RowId, DataType.Int32);
    List<IDictionary<string, object>> result = myDataConnection.Query<IDictionary<string, object>>(Reader, $"select id from manual limit 10").ToList();
}

...

IDictionary<string, dynamic> Reader(IDataRecord reader)
{
    Dictionary<string, dynamic> values = new Dictionary<string, dynamic>(reader.FieldCount);
    object[] rowValues = new object[reader.FieldCount];
    int n = reader.GetValues(rowValues);
    for (int j = 0; j < n; j++)
    {
        values.Add(reader.GetName(j), rowValues[j]);
    }
    return values;
}

На строке myDataConnection.Query тупит секунд 10 и вываливается с MySqlException со словами "Unable to read data from the transport connection: Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера.."

Запрос не выполняется ни разу, в reader не заходит. Причём, если этот же код выполнять в main(), то работает как часы.

Может есть какая-то особенность работы с MySql в LinqToDB?
С постгресом нет проблем. Такой же код, но с dapper работает на ура.

linq2db и Убивец 1С

Wed, 24 Jun 2020 20:03:05 GMT

Навеяно
Killer 1s Application

Если посмотреть на 1С то из преимуществ это единая иерархия классов (справочники, документы, регистры остатков, регистры движений, периодические регистры)

В свое время делал отбражение 1С Базы на EF
Code First и Linq to EF на примере 1С версии 7.7 и 8.3 часть I
Code First и Linq to EF на примере 1С версии 8.3 часть II
Linq to EF. Практика использования. Часть III

Обработки можно скачать здесь
https://ru.stackoverflow.com/questions/527763/Как-вызвать-метод-из-c-в-1С/527802#527802
http://files.rsdn.org/19608/CodeFirstTo1C.zip
http://files.rsdn.org/19608/CodeFirstTo83.zip

Я к тому, что нужна система учета, которую можно быстро прикрутить под себя.
Например для вэб магазина следить за остатками итд напрямую.
Там же и прикрутить TVFs для ускорения выбора остатков, запись движений с перерасчетом остатков итд