| "EhLib.Com" https://forum.ehlib.com/ru/ |
|
| запись в BLOB поле для связки MemTableEh + ZeosLib https://forum.ehlib.com/ru/viewtopic.php?f=4&t=4106 |
Страница 1 из 1 |
| Автор: | iteh [ 26 апр 2026, 17:24 ] | ||
| Заголовок сообщения: | запись в BLOB поле для связки MemTableEh + ZeosLib | ||
демонстрация бага: 1) используется связка MemTableEh и ZQuery: - Lazarus 4.6 под Windows 64-bit - MemTableEh из EhLib 13.0.015 (кстати, в .lpk от 13.0.015 указано "<Version Major="12"/>" и при установке в списке пакетов оно выглядит как 12.0, поправьте, плз) - ZQuery из ZeosLib последнего билда, r8505 - для работы примера - положить в каталог с компилированным файлом программы 64-битную .dll из архива версии 3.53.0.0 (хотел положить .dll в архив с исходниками, но движок форума не пропустил архив больше 256 килобайт) 2) по нажатию на кнопку "подключиться" - создаём базу в памяти, в ней таблицу, в неё добавляем одну запись, чтобы что-то было в базе; на форме есть checkbox "через MemTableEh" - если он стоит в момент нажатия на "подключиться", то обновление BLOB поля идёт через MemTableEh, если убрать checkbox - напрямую через ZQuery, чтобы проверить есть ли баг без MemTableEh 3) по нажатию на кнопку "обновить BLOB" - в BLOB поле пишутся данные из строки (Edit1), по нажатию на "очистить BLOB" - очищает BLOB поле 4) при записи в dataset - выводит окно с размером BLOB поля до и после Post и делаются проверки 4.1) BeforePost для ZQuery должна вызваться после BeforePost для MTE 4.2) размер BLOB в BeforePost для ZQuery должен равняться размеру из BeforePost для MTE 4.3) размер BLOB в AfterPost для ZQuery должен равняться размеру в BeforePost для ZQuery 4.4) AfterPost для MTE должна вызваться после AfterPost для ZQuery 4.5) размер BLOB в AfterPost для MTE должен равняться размеру в AfterPost для ZQuery и BeforePost для MTE если что-то из этих сравнений не срабатывает - выдаётся сообщение И получаем такое: если работать с BLOB полями через MemTableEh и записать в BLOB сначала более длинную строку (например, 20 байт), а далее записать более короткую (например, 10 байт), без промежуточного обнуления поля, то BeforePost для MTE будет 10, а AfterPost - 20 (!). Если обновлять без MemTableEh, а напрямую через ZQuery, то всё нормально. Т.е. если пишем в DataSet данных меньше, чем там уже есть - длина остаётся старой (!) именно при записи через MemTableEh и в итоге в базу пишется короткая новая запись, а к ней (т.к. размер поля остался старый и бОльший) цепляется "хвост с мусором" и в базу попадает ерунда. пока выхожу из положения (в других проектах, где такое нужно) дополнительной итерацией: сначала выполняем Post с обнулённым BLOB полем, а потом уже делаем Post для BLOB с нужными данными, но хотелось бы "починить" обновление BLOB полей "на лету" (без промежуточного обнуления). или я что-то делаю не так или нужно что-то поправить в EhLib (или в ZeosLib ? но напрямую через ZQuery всё нормально) - нужна консультация разработчика EhLib. (баг проверен и на PostgreSQL, но тоже через ZeosLib, в примере использую SQLite чтобы было проще создавать базу/таблицу и не делать доп настроек для внешнего движка СУБД)
|
|||
| Автор: | iteh [ 27 апр 2026, 23:24 ] |
| Заголовок сообщения: | Re: запись в BLOB поле для связки MemTableEh + ZeosLib |
дополнение: в примере выше - поле в базе указано как BLOB и для него MemTableEh1.FieldByName('blobtest1').ClassName = TBlobField и MemTableEh1.FieldByName('blobtest1').IsBlob = true. но если вместо BLOB указать тип поля TEXT (и больше в исходниках вообще ничего не менять), то MemTableEh1.FieldByName('blobtest1').ClassName уже TMemoField и MemTableEh1.FieldByName('blobtest1').IsBlob опять true, но всё остальное начинает работать нормально, тот же самый код, но длина BlobSize уже нормальная и TBlobField(MemTableEh1.FieldByName('blobtest1')).AsString возвращает нормальную строку (а не "новая строка + 'хвост' старой" для TBlobField если записать в BLOB сначала длинную строку, а потом тут же более короткую, без выполнения Clear). что-то для MemTableEh (?) не так именно с TBlobField, а вот "примерно такой же" "IsBlob = true", но при работе через класс TMemoField уже нормально ? (да, я понимаю, что, в общем случае, некорректно заменять BLOB на TEXT и проверять правильность содержимого через AsString, т.к. может быть перекодировка если писать в базу не UTF8 текст, а двоичные данные. Но для этого примера рассмотрим частный случай и проверим через TBlobField(..).AsString, просто для контроля содержимого после записи в базу) |
|
| Автор: | EhLibSupport [ 04 май 2026, 15:50 ] |
| Заголовок сообщения: | Re: запись в BLOB поле для связки MemTableEh + ZeosLib |
Добрый день. Если идет поиск проблемы в TMemTableEh, то зачем подключать сторонние компоненты. Вот тестовый код который записывает данные в Blob поле TMemTableEh два раза и выводит результат BlobField.BlobSize. В результате выполнения выводится следующий результат bf.BlobSize.ToString = 15 bf.BlobSize.ToString = 5 т.е. выводится размер реально записанных данных. Попробуйте изменить этот проект так, чтобы стали возникать проблемы, которые вы описали выше. >Lazarus 4.4 (rev lazarus_4_4) FPC 3.2.2 x86_64-win64-win32/win64 >EhLib 13.0 Build 13.0.015 Код: unit Unit1;
{$mode objfpc}{$H+} interface uses Classes, SysUtils, Forms, Controls, Graphics, Dialogs, StdCtrls, Db, MemTableEh; type { TForm1 } TForm1 = class(TForm) Memo1: TMemo; MemTableEh1: TMemTableEh; ToggleBox1: TToggleBox; procedure FormCreate(Sender: TObject); procedure ToggleBox1Change(Sender: TObject); private public end; var Form1: TForm1; implementation {$R *.lfm} { TForm1 } procedure TForm1.FormCreate(Sender: TObject); begin MemTableEh1.FieldDefs.Add('IntField', TFieldType.ftInteger); MemTableEh1.FieldDefs.Add('BlobField', TFieldType.ftBlob); MemTableEh1.CreateDataSet(); MemTableEh1.Open(); end; procedure TForm1.ToggleBox1Change(Sender: TObject); var bf: TBlobField; sStream: TStringStream; begin sStream := TStringStream.Create; MemTableEh1.Append; MemTableEh1.Post; bf := TBlobField(MemTableEh1.FieldByName('BlobField')); //1 sStream.Clear; sStream.WriteString('Text1Text2Text3'); sStream.Position := 0; MemTableEh1.Edit; bf.Clear; bf.LoadFromStream(sStream); MemTableEh1.Post; Memo1.Lines.Add('bf.BlobSize.ToString = ' + bf.BlobSize.ToString); //2 sStream.Clear; sStream.WriteString('Text1'); sStream.Position := 0; MemTableEh1.Edit; bf.Clear; bf.LoadFromStream(sStream); MemTableEh1.Post; Memo1.Lines.Add('bf.BlobSize.ToString = ' + bf.BlobSize.ToString); Memo1.Lines.Add('RecordCount = ' + MemTableEh1.RecordCount.ToString); sStream.Free; end; end. |
|
| Автор: | iteh [ 13 май 2026, 08:33 ] |
| Заголовок сообщения: | Re: запись в BLOB поле для связки MemTableEh + ZeosLib |
наверное, я "коряво" выразился. вопрос в работе с записями внешнего dataset через TDataSetDriverEh - внешний dataset нужен, чтобы запрашивать/обновлять данные из стороннего СУБД, но для отображения (и сортировки/фильтрации) данных используем грид из ehlib, поэтому получилась связка "внешний dataset" - TDataSetDriverEh - MemTableEh (далее, а реальном проекте, к MemTableEh ещё прицеплен грид и другие компоненты). Среди получаемых данных есть и BLOB поля (мы их не отображаем в гриде, а используем как Stream для других целей, но всю работу с этим "внешним" DataSet ведём через MemTableEh). можно как-то проверить, что работа с "внешними" DataSet через DataSetDriverEh идёт корректно для случая, когда всю работу с BLOB полем ведём через MemTableEh, подключенный к этому DataSetDriverEh ? (в реальности мы используем PostgreSQL и на нём эта ошибка и всплыла, но для простоты - я в первом сообщении использую SQLite, с ним проще создать "внешний" DataSet с BLOB полем. Если можно как-то "прицепить" MemTableEh к внешней СУБД, а именно к PostgreSQL, без промежуточного компонента ZeosLib - подскажите как, чтобы проверить, что работа с BLOB полями через MemTableEh для данных, полученных из PostgreSQL, идёт корректно) |
|
| Автор: | iteh [ 17 ноя 2026, 08:05 ] |
| Заголовок сообщения: | Re: запись в BLOB поле для связки MemTableEh + ZeosLib |
уточнение от ИИ )) Цитата: Это известная особенность взаимодействия TDataSetDriverEh и TZAbstractRODataset (ZeosLib) в FreePascal/Lazarus, связанная с реализацией TBlobStream в Zeos. • В вашей проверке ZQuery1BeforePost размер BLOB уже равен старому значению (20 байт), хотя в MemTableEh1BeforePost он был равен 10 байтам. • Это доказывает, что ошибка происходит до вызова ZQuery1.Post — именно на этапе переноса данных из TMemoryRecordEh в буфер редактирования TZQuery внутри TDataSetDriverEh. • В VCL (Delphi) метод TBlobField.Assign автоматически вызывает очистку потока назначения. В LCL (FreePascal) связка TBlobField в MemTableEh и TZBlobStream в ZeosLib при вызове Assign перезаписывает байты поверх существующего MemoryStream без вызова SetSize(0). Как исправить проблему без двойного Post Вариант 1. Очистка поля в ZQuery перед записью из драйвера Перехватите момент, когда DataSetDriverEh1 собирается применить изменения к ZQuery1, и принудительно очистите BLOB-поле в ZQuery1 до того, как драйвер зальет туда новые байты. Вариант 2. Использование TUpdateSQLEh вместо прямой записи в ZQuery Если настроить DataSetDriverEh1 так, чтобы он формировал SQL-запросы напрямую через объект TUpdateSQLEh (или TZUpdateSQL), данные из MemTableEh будут передаваться через параметры (TParams), а не через потоковое копирование TBlobField в ZQuery. При передаче через Param.LoadFromStream ZeosLib всегда корректно устанавливает новую длину буфера. Вариант 3. Патч исходников EhLib (DataDriverEh.pas) Если вы хотите исправить это глобально для всего проекта на уровне компонентов: 1. Откройте модуль DataDriverEh.pas из состава EhLib. 2. Для оптимизации перед очисткой и записью нужно проверить, изменилось ли значение поля или добавляется ли новая запись. Это избавит от повторной передачи больших объемов данных в базу при редактировании соседних колонок в строке. Найдите в методе TDataDriverEh.DefaultUpdateRecord блок цикла присвоения значений и замените его на этот код: Код: for I := 0 to MemRec.DataStruct.Count-1 do begin ProviderField := ProviderDataSet.FindField(MemRec.DataStruct[I].FieldName); if Assigned(ProviderField) and not ProviderField.ReadOnly then begin if ProviderField.IsBlob then begin if (MemRec.UpdateStatus = usInserted) or not VarEquals(MemRec.Value[I, dvvOldValueEh], MemRec.Value[I, dvvValueEh]) then begin ProviderField.Clear; ProviderField.Value := MemRec.Value[I, dvvValueEh]; end; end else ProviderField.Value := MemRec.Value[I, dvvValueEh]; end; end; тоже может кому-нибудь пригодится (или разработчик компонента применит "вариант 3" в будущих билдах компонентов).. |
|
| Страница 1 из 1 | Часовой пояс: UTC |
| Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |
|