Components for Delphi and C++ Builder.

Перейти в английский форум
Перейти на EhLib.com
Текущее время: 19 ноя 2026, 03:49

Часовой пояс: UTC




Начать новую тему Ответить на тему  [ Сообщений: 5 ] 
Автор Сообщение
СообщениеДобавлено: 26 апр 2026, 17:24 
Не в сети

Зарегистрирован: 28 сен 2025, 14:06
Сообщений: 23
демонстрация бага:

1) используется связка MemTableEh и ZQuery:
- Lazarus 4.6 под Windows 64-bit
- MemTableEh из EhLib 13.0.015 (кстати, в .lpk от 13.0.015 указано "<Version Major="12"/>" и при установке в списке пакетов оно выглядит как 12.0, поправьте, плз)
- ZQuery из ZeosLib последнего билда, r8505
- для работы примера - положить в каталог с компилированным файлом программы 64-битную .dll из архива версии 3.53.0.0 (хотел положить .dll в архив с исходниками, но движок форума не пропустил архив больше 256 килобайт)

2) по нажатию на кнопку "подключиться" - создаём базу в памяти, в ней таблицу, в неё добавляем одну запись, чтобы что-то было в базе;

на форме есть checkbox "через MemTableEh" - если он стоит в момент нажатия на "подключиться", то обновление BLOB поля идёт через MemTableEh, если убрать checkbox - напрямую через ZQuery, чтобы проверить есть ли баг без MemTableEh

3) по нажатию на кнопку "обновить BLOB" - в BLOB поле пишутся данные из строки (Edit1), по нажатию на "очистить BLOB" - очищает BLOB поле

4) при записи в dataset - выводит окно с размером BLOB поля до и после Post и делаются проверки

4.1) BeforePost для ZQuery должна вызваться после BeforePost для MTE
4.2) размер BLOB в BeforePost для ZQuery должен равняться размеру из BeforePost для MTE
4.3) размер BLOB в AfterPost для ZQuery должен равняться размеру в BeforePost для ZQuery
4.4) AfterPost для MTE должна вызваться после AfterPost для ZQuery
4.5) размер BLOB в AfterPost для MTE должен равняться размеру в AfterPost для ZQuery и BeforePost для MTE

если что-то из этих сравнений не срабатывает - выдаётся сообщение

И получаем такое: если работать с BLOB полями через MemTableEh и записать в BLOB сначала более длинную строку (например, 20 байт), а далее записать более короткую (например, 10 байт), без промежуточного обнуления поля, то BeforePost для MTE будет 10, а AfterPost - 20 (!).

Если обновлять без MemTableEh, а напрямую через ZQuery, то всё нормально.

Т.е. если пишем в DataSet данных меньше, чем там уже есть - длина остаётся старой (!) именно при записи через MemTableEh и в итоге в базу пишется короткая новая запись, а к ней (т.к. размер поля остался старый и бОльший) цепляется "хвост с мусором" и в базу попадает ерунда.

пока выхожу из положения (в других проектах, где такое нужно) дополнительной итерацией: сначала выполняем Post с обнулённым BLOB полем, а потом уже делаем Post для BLOB с нужными данными, но хотелось бы "починить" обновление BLOB полей "на лету" (без промежуточного обнуления).

или я что-то делаю не так или нужно что-то поправить в EhLib (или в ZeosLib ? но напрямую через ZQuery всё нормально) - нужна консультация разработчика EhLib.

(баг проверен и на PostgreSQL, но тоже через ZeosLib, в примере использую SQLite чтобы было проще создавать базу/таблицу и не делать доп настроек для внешнего движка СУБД)


Вложения:
Комментарий к файлу: исходники примера, демонстрирующего баг
blob-test-20260426-src.rar [98.27 KiB]
Скачиваний: 2265
Вернуться наверх
 Профиль  
 
СообщениеДобавлено: 27 апр 2026, 23:24 
Не в сети

Зарегистрирован: 28 сен 2025, 14:06
Сообщений: 23
дополнение:

в примере выше - поле в базе указано как BLOB и для него MemTableEh1.FieldByName('blobtest1').ClassName = TBlobField и MemTableEh1.FieldByName('blobtest1').IsBlob = true.

но если вместо BLOB указать тип поля TEXT (и больше в исходниках вообще ничего не менять), то

MemTableEh1.FieldByName('blobtest1').ClassName уже TMemoField и MemTableEh1.FieldByName('blobtest1').IsBlob опять true, но всё остальное начинает работать нормально, тот же самый код, но длина BlobSize уже нормальная и TBlobField(MemTableEh1.FieldByName('blobtest1')).AsString возвращает нормальную строку (а не "новая строка + 'хвост' старой" для TBlobField если записать в BLOB сначала длинную строку, а потом тут же более короткую, без выполнения Clear).

что-то для MemTableEh (?) не так именно с TBlobField, а вот "примерно такой же" "IsBlob = true", но при работе через класс TMemoField уже нормально ?

(да, я понимаю, что, в общем случае, некорректно заменять BLOB на TEXT и проверять правильность содержимого через AsString, т.к. может быть перекодировка если писать в базу не UTF8 текст, а двоичные данные. Но для этого примера рассмотрим частный случай и проверим через TBlobField(..).AsString, просто для контроля содержимого после записи в базу)


Вернуться наверх
 Профиль  
 
СообщениеДобавлено: 04 май 2026, 15:50 
Не в сети

Зарегистрирован: 21 дек 2011, 18:48
Сообщений: 1730
Добрый день.

Если идет поиск проблемы в TMemTableEh, то зачем подключать сторонние компоненты.
Вот тестовый код который записывает данные в Blob поле TMemTableEh два раза и выводит результат BlobField.BlobSize.

В результате выполнения выводится следующий результат

bf.BlobSize.ToString = 15
bf.BlobSize.ToString = 5

т.е. выводится размер реально записанных данных.

Попробуйте изменить этот проект так, чтобы стали возникать проблемы, которые вы описали выше.
>Lazarus 4.4 (rev lazarus_4_4) FPC 3.2.2 x86_64-win64-win32/win64
>EhLib 13.0 Build 13.0.015

Код:
unit Unit1;

{$mode objfpc}{$H+}

interface

uses
  Classes, SysUtils, Forms, Controls, Graphics, Dialogs, StdCtrls, Db, MemTableEh;

type

  { TForm1 }

  TForm1 = class(TForm)
    Memo1: TMemo;
    MemTableEh1: TMemTableEh;
    ToggleBox1: TToggleBox;
    procedure FormCreate(Sender: TObject);
    procedure ToggleBox1Change(Sender: TObject);
  private

  public

  end;

var
  Form1: TForm1;

implementation

{$R *.lfm}

{ TForm1 }

procedure TForm1.FormCreate(Sender: TObject);
begin
  MemTableEh1.FieldDefs.Add('IntField', TFieldType.ftInteger);
  MemTableEh1.FieldDefs.Add('BlobField', TFieldType.ftBlob);
  MemTableEh1.CreateDataSet();
  MemTableEh1.Open();
end;

procedure TForm1.ToggleBox1Change(Sender: TObject);
var
  bf: TBlobField;
  sStream: TStringStream;
begin
  sStream := TStringStream.Create;

  MemTableEh1.Append;
  MemTableEh1.Post;
  bf := TBlobField(MemTableEh1.FieldByName('BlobField'));

//1
  sStream.Clear;
  sStream.WriteString('Text1Text2Text3');
  sStream.Position := 0;

  MemTableEh1.Edit;
  bf.Clear;
  bf.LoadFromStream(sStream);
  MemTableEh1.Post;
  Memo1.Lines.Add('bf.BlobSize.ToString = ' + bf.BlobSize.ToString);

//2
  sStream.Clear;
  sStream.WriteString('Text1');
  sStream.Position := 0;

  MemTableEh1.Edit;
  bf.Clear;
  bf.LoadFromStream(sStream);
  MemTableEh1.Post;
  Memo1.Lines.Add('bf.BlobSize.ToString = ' + bf.BlobSize.ToString);

  Memo1.Lines.Add('RecordCount = ' + MemTableEh1.RecordCount.ToString);
  sStream.Free;
end;

end.

_________________
Best regards
EhLib support Team


Вернуться наверх
 Профиль  
 
СообщениеДобавлено: 13 май 2026, 08:33 
Не в сети

Зарегистрирован: 28 сен 2025, 14:06
Сообщений: 23
наверное, я "коряво" выразился.

вопрос в работе с записями внешнего dataset через TDataSetDriverEh - внешний dataset нужен, чтобы запрашивать/обновлять данные из стороннего СУБД, но для отображения (и сортировки/фильтрации) данных используем грид из ehlib, поэтому получилась связка "внешний dataset" - TDataSetDriverEh - MemTableEh (далее, а реальном проекте, к MemTableEh ещё прицеплен грид и другие компоненты). Среди получаемых данных есть и BLOB поля (мы их не отображаем в гриде, а используем как Stream для других целей, но всю работу с этим "внешним" DataSet ведём через MemTableEh).

можно как-то проверить, что работа с "внешними" DataSet через DataSetDriverEh идёт корректно для случая, когда всю работу с BLOB полем ведём через MemTableEh, подключенный к этому DataSetDriverEh ?

(в реальности мы используем PostgreSQL и на нём эта ошибка и всплыла, но для простоты - я в первом сообщении использую SQLite, с ним проще создать "внешний" DataSet с BLOB полем. Если можно как-то "прицепить" MemTableEh к внешней СУБД, а именно к PostgreSQL, без промежуточного компонента ZeosLib - подскажите как, чтобы проверить, что работа с BLOB полями через MemTableEh для данных, полученных из PostgreSQL, идёт корректно)


Вернуться наверх
 Профиль  
 
СообщениеДобавлено: 17 ноя 2026, 08:05 
Не в сети

Зарегистрирован: 28 сен 2025, 14:06
Сообщений: 23
уточнение от ИИ ))

Цитата:
Это известная особенность взаимодействия TDataSetDriverEh и TZAbstractRODataset (ZeosLib) в FreePascal/Lazarus, связанная с реализацией TBlobStream в Zeos.

• В вашей проверке ZQuery1BeforePost размер BLOB уже равен старому значению (20 байт), хотя в MemTableEh1BeforePost он был равен 10 байтам.

• Это доказывает, что ошибка происходит до вызова ZQuery1.Post — именно на этапе переноса данных из TMemoryRecordEh в буфер редактирования TZQuery внутри TDataSetDriverEh.

• В VCL (Delphi) метод TBlobField.Assign автоматически вызывает очистку потока назначения.
В LCL (FreePascal) связка TBlobField в MemTableEh и TZBlobStream в ZeosLib при вызове Assign перезаписывает байты поверх существующего MemoryStream без вызова SetSize(0).


Как исправить проблему без двойного Post

Вариант 1. Очистка поля в ZQuery перед записью из драйвера

Перехватите момент, когда DataSetDriverEh1 собирается применить изменения к ZQuery1, и принудительно очистите BLOB-поле в ZQuery1 до того, как драйвер зальет туда новые байты.

Вариант 2. Использование TUpdateSQLEh вместо прямой записи в ZQuery

Если настроить DataSetDriverEh1 так, чтобы он формировал SQL-запросы напрямую через объект TUpdateSQLEh (или TZUpdateSQL), данные из MemTableEh будут передаваться через параметры (TParams), а не через потоковое копирование TBlobField в ZQuery. При передаче через Param.LoadFromStream ZeosLib всегда корректно устанавливает новую длину буфера.

Вариант 3. Патч исходников EhLib (DataDriverEh.pas)

Если вы хотите исправить это глобально для всего проекта на уровне компонентов:
1. Откройте модуль DataDriverEh.pas из состава EhLib.
2. Для оптимизации перед очисткой и записью нужно проверить, изменилось ли значение поля или добавляется ли новая запись. Это избавит от повторной передачи больших объемов данных в базу при редактировании соседних колонок в строке. Найдите в методе TDataDriverEh.DefaultUpdateRecord блок цикла присвоения значений и замените его на этот код:
Код:
          for I := 0 to MemRec.DataStruct.Count-1 do
          begin
            ProviderField := ProviderDataSet.FindField(MemRec.DataStruct[I].FieldName);
            if Assigned(ProviderField) and not ProviderField.ReadOnly then
            begin
              if ProviderField.IsBlob then
              begin
                if (MemRec.UpdateStatus = usInserted) or
                   not VarEquals(MemRec.Value[I, dvvOldValueEh], MemRec.Value[I, dvvValueEh]) then
                begin
                  ProviderField.Clear;
                  ProviderField.Value := MemRec.Value[I, dvvValueEh];
                end;
              end else
                ProviderField.Value := MemRec.Value[I, dvvValueEh];
            end;
          end;



тоже может кому-нибудь пригодится (или разработчик компонента применит "вариант 3" в будущих билдах компонентов).. :)


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 5 ] 

Часовой пояс: UTC


Кто сейчас на форуме

Сейчас этот форум просматривают: Bing [Bot] и гости: 8


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB® Forum Software © phpBB Group
Русская поддержка phpBB