Spread the love

Хранение массива в BLOB-поле

    Понадобилось мне хранить результаты измерений в базе данных. Просто сохранить их в таблицу не получится, т.к. количество строк с информацией в одном измерении быстро перевалит за миллион, и при сохранении их в одной транзакции пользователь успеет попить кофе. Плодить множество мелких транзакций по несколько тысяч записей тоже не сильно прибавит скорости. Скорость при последующей вычитке из базы данных миллионов строк тоже будет печальной. Поэтому единственный очевидный для меня выход — это сохранить результаты измерения в поле типа BLOB. Измерения у меня хранились в многомерном массиве, но я упрощу код и объявлю динамический одномерный массив целых чисел:

Var
  aData: Array of Integer;

Процедура записи динамического массива в базу данных получилась примерно такая:

Var
  ms: TMemoryStream;
  …
begin
  …
  Try
    ms := TMemoryStream.Create;
    // Запись содержимого массива aData в поток ms
    ms.WriteBuffer(aData[0], Length(aData) * SizeOf(aData[0]));
    // Запись содержимого потока ms в параметр query для вставки данных
    qInsertResearch.Params[5].LoadFromStream(ms, ftBlob);
  Finally
    ms.Free;
  End;
  …

А процедура чтения массива из базы данных не сложнее процедуры записи:

Var
  ms: TMemoryStream;
  …
begin
  …
  Try
    ms := TMemoryStream.Create;
    // Запись содержимого поля qResearchDATA типа TBlobField в поток ms
    qResearchDATA.SaveToStream(ms);
    // Установка размера динамического массива aData
    SetLength(aData, ms.Size div SizeOf(aData[0]));
    ms.Position := 0;
    // Запись содержимого потока ms в массив aData
    ms.ReadBuffer(aData[0], ms.Size);
  Finally
    ms.Free;
  End;
  …

Теперь на запись/чтение нескольких миллионов записей моя программа тратит секунду. Вместо размера первого элемента массива SizeOf(aData[0]) вы можете использовать размер типа элементов массива (для приведенного мной примера — SizeOf(Integer)). Но такой вариант кода будет менее универсальным, т.к. будет зависеть от используемого типа данных.

P.S. При использовании такого способа хранения данных не забывайте, что размер некоторых типов данных зависит от операционной системы, для которой скомпилирована программа. Иначе информация, которую прочтет из базы данных ваша 64-битная программа перекомпилированная из 32-битной, вас неприятно удивит.

Продолжение…

Читать на сайте автора.

Шифрование в InterBase — 1

1 — потому что предыдущая запись была о шифровании соединений в InterBase, а теперь речь пойдет о шифровании баз. О шифровании соединений, впрочем, говорить больше нечего, т.к. то же самое может быть выполнено другими средствами, совершенно не привязанными к InterBase. Например, аппаратное шифрование, программные средства вроде ZeBeDee, и т.п.

Сразу предупреждаю, что шифрование баз — сложная штука, и если кто-то думает, что можно было бы все это сделать тяп-ляп, то он ошибается.
Первым требованием перед включением шифрования БД является включение в базе Embedded User Authentification. Эта штука появилась еще в InterBase 7.5 в 2005 году, и позволяет проводить аутентификацию пользователей и SYSDBA через саму БД, а не через общий admin.ib для всех баз на сервере.
EUA является первым средством, которое позволяет защититься от «украли файл с базой», т.к. если пароль SYSDBA в базе будет не masterkey, то его придется или подбирать, или как-то хакать hex-editor-ом (не пробовал). Но, как минимум, это уже хоть какая-то защита от чайников.

Полностью и детально шифрование БД описано в документации на InterBase, в Data Definition Guide, Глава 13 (однако!), Encrypting Your Data. Это я к тому, что здесь, все же, идет концептуальное описание, без мелких деталей (иначе пришлось бы растянуть это минимум на 10 постов. Тем не менее, вы можете выполнять приводимое здесь по шагам, разве что с учетом того, что для продолжения вам придется остановиться в ожидании следующего поста 🙂

Итак, берем какую-нибудь тестовую базу, которую не жалко в случае ошибки, и в случае чего можно удалить. База должна быть создана не менее чем в InterBase 2009, но эту версию уже можно считать устаревшей, поэтому я настаиваю на XE (для экспериментов можно взять Developer Edition, если ее у вас ее еще нет — выбираем InterBase XE (10.0.4.590) 32-bit Developer Edition — Windows,  English или InterBase XE (10.0.4.590) 64-bit Developer Edition — Windows, English). Иначе часть описываемых функций у вас может не заработать. Логинимся от SYSDBA, включаем в базе EUA, как это описано в статье.

ALTER DATABASE ADD ADMIN OPTION
Меняем пароль SYSDBA  
ALTER USER SYSDBA SET PASSWORD ‘sss’

понятно, что sss и подобные тут просто для того, чтобы не замучил склероз. Предлагаю по мере выполнения действий записывать их в «блокнотик» с цитатами отсюда, или собственными комментариями — получилось, не получилось, и т.п.

Разлогиниваемся, проверяем — пароль masterkey больше не работает, используем sss — ок, подключились.

затем создаем пользователя SYSDSO (его может создать только SYSDBA или владелец БД)

CREATE USER SYSDSO SET PASSWORD ‘ooo’

Этот пользователь является «ключником», и не может выполнять никакие другие функции, кроме:

  1. создания системного пароля шифрования (SEP)
  2. создания ключей шифрования
  3. выдачи прав другим пользователям на использование созданных ключей шифрования для шифрования базы данных или столбцов таблиц

Больше SYSDSO делать ничего не умеет, и не должен.

! При генерации System Encryption Password используется информация, специфичная для текущего компьютера. Поэтому, на этой машине далее при доступе к БД SEP не требуется (хотя такое требование можно включить), а при переносе БД на другой компьютер никто без указания пароля SEP залогиниться не сможет. Можно указывать пароль SEP в параметрах коннекта (isc_dbp_system_encrypt_password), но это доступно только компонентам прямого доступа. Либо, можно указать SEP в переменных среды ОС (переменная ISC_SYSTEM_ENCRYPT_PASSWORD). Лучше сделать так — SYSDSO должен залогиниться к базе используя свой пароль и SEP, и создать новый SEP. Новый SEP будет привязан уже к этому компьютеру, и остальным пользователям указывать его при коннекте не потребуется.

Разлогиниваемся, логинимся как SYSDSO, создаем SEP для базы

ALTER DATABASE SET SYSTEM ENCRYPTION PASSWORD ‘aaa’

Если есть желание, чтобы даже сейчас, на этом компьютере, пользователям требовалось указывать при коннекте пароль SEP (если ваше приложение позволяет указывать этот пароль помимо обычного пароля. Если нет, они обломаются, и так лучше не делать), то к данной команде можно добавить в конце опцию EXTERNAL.

продолжение.

Читать на сайте автора.

Кросс-платформа 2012

Отличная конференция была, все прошло замечательно. Правда, я прочитал какой-то бредовый доклад (с моей точки зрения), спутанный из-за предыдущего доклада Сергея Кузнецова.
В финале Embarcadero раздало какое-то чудовищное количество призов (флэшек, кружек, маек и т.п.) Раздача (розыгрыш по заполненным анкетам) заняла минут 30 минимум, в ускоренном темпе. Такое впечатление, что почти треть посетителей получили призы.
Человек 10 не получили призы, потому что ушли раньше.

Читать на сайте автора.

Вебинар № 3 по InterBase

Завтра, 25 мая в 12:00 в рамках серии вебинаров Эмбаркадеро «Developer Direct: Демонстрации и обсуждения»
http://forms.embarcadero.com/forms/EM12Q2RUWebinarDeveloperDirect

опять я, про InterBase. Часть 3, Средства разработки и компоненты.

Welcome.

Запись предыдущего вебинара (о UDF) пока не выложена, будет скоро.

Читать на сайте автора.

Шифрование в InterBase

Когда вышел InterBase 2009, я увидел в списке новых фич шифрование. Поскольку лично меня эта тема не затрагивает, я ознакомился с возможностями, и на этом все кончилось. Интересно, что даже разработчики, которых эта тема интересует, ее пропустили. Например, один из вопросов, присланный нам перед вебинаром по InterBase, проводимом 14 марта, был «как в InterBase с шифрованием». Простите, но на дворе уже давно XE (с конца 2010 года), а 2009-ая вышла в августе 2008 года.
В общем,  вместе с Embarcadero провели первый вебинар на тему InterBase, и в него вошел общий рассказ про возможности шифрования. Сейчас готовится второй вебинар, а там и третий, но мне кажется, что подробнее эту тему лучше раскрыть в блоге, поэтапно. Здесь и начнем.

Шифрование в InterBase существует в «трех частях»

  • шифрование соединения (Over-the-Wire, OTW)
  • шифрование БД (всей БД или отдельных столбцов таблиц)
  • шифрование бэкапов

Большинство, конечно, хочет просто «шифрования базы», чтобы ее не украли или чтобы не стащили информацию. Но к сожалению, опять же у большинства, представление о шифровании достаточно примитивное, и «зашифровать базу» это как бы как «зашифровать файл или архив». В реальности это не так, и требует определенных усилий по планированию и управлению.
Слова «а зачем оно нам такое, нам бы попроще» отметаются сразу, потому что простое шифрование так же просто вскрывается. В общем, давайте лучше посмотрим, как оно устроено.

Стандарты шифрования
Поддерживается DES (по умолчанию), и AES. DES можно использовать сразу, для AES нужно скачать бесплатную лицензию со своего аккаунта на Embarcadero (при условии, что InterBase куплен и зарегистрирован.

Шифрование соединения

Операционные системы клиента и сервера должны поддерживать SSL v3 и TLS v1. Сертификат и CA файлы должны быть сгенерированы заранее, быть в формате PEM, и размещены на компьютерах клиента (клиентский и публичный серверный ключ) и сервера (серверный ключ).
Строка коннекта при этом получается чудовищная (пример из OpGuide.pdf)
«localhost/gds_ssl?ssl=true?clientPassPhrase=clientkey?clientCertFile=c:InterBaseclientclient.pem?serverPublicFile=c:InterBaseclientserverCAfile.pem??:c:/db/database.ib»

На сервере должен быть файл ibss.config, в котором прописываются параметры для серверной стороны, и если честно, все это настолько страшно, что я не хочу дальше это описывать, и предоставлю вам самостоятельно дочитать об этом в OpGuide.pdf — там приведен максимум информации, включая примеры настроек и конфигураций (без проверки клиента, с проверкой, и т.п.).

Главное, что шифрование коннекта есть, оно настраивается, но требует определенных усилий по его настройке. Собственно, безопасность через тяп-ляп не обеспечивается.

Вот о шифровании БД (всей или столбцов) я расскажу подробнее, но в следующем посте.

Читать на сайте автора.

FireMonkey — запуск на устройстве

Читать на сайте автора.

Variant := TObject.Create ?

  Думаю многие сталкивались с тем, что иногда требуется в variant передавать blob, ну или TObject. В таких языках как Java и C# все проще, элементарные типы являются объектами ну или умеют упаковываться из значимых типов в объекты. Для всех типов в языке есть базовый тип. В Delphi же, когда тип на этапе компиляции не известен единственным универсальным решением является использование variant. 
  Но не все так гладко, тип Variant предназначен только для хранения простых типов и указатель на объект в него не поместить не используя грязных хаков. Хотя сам RTL ими так и кишит. Так для хранения ftBlob в variant используется строка. 
На самом деле есть «законный»  механизм как через Variant передавать любые данные, в том числе и объекты. Для этого есть базовый класс TCustomVariantType, на основе которого можно определить свой тип который можно будет передавать как Variant, перекрыть в нем бинарные арифметические  и логические операции. Т.е. реализовать например свое сравнению и сложение для экземпляров типа. 
Но вот тут мы подходим к самому интересному, в FireMonkey появились методы по преобразованию variant к TObject и обратно:

function VarIsObject(Value: Variant): Boolean;
function ObjectToVariant(const AObject: TObject): Variant;
function VariantToObject(const Value: Variant): TObject;
Выглядит интригующе, неправда ли? 
Но что внутри?
Совершенно обычный хак, все опять сделано через строки:
function ObjectToVariant(const AObject: TObject): Variant;
begin
Result := 'vgobj' + IntToStr(Integer(Pointer(AObject)));
end;

function VariantToObject(const Value: Variant): TObject;
var
S: string;
begin
S := Value;
{$IFDEF FPCCOMP}
if (S <> '') and (Pos(WideString('vgobj'), S) = 1) then
{$ELSE}
if (S <> '') and (Pos('vgobj', S) = 1) then
{$ENDIF}
Result := TObject(Pointer(StrToInt(Copy(S, 6, 10))))
else
Result := nil;
end;

…и расположено это все не в модули System или Variants, а в Types. Никакой поддержки на уровне компилятора нет. Т.е. все еще нельзя писать так

var 
v: Variant;
begin
v := TMyClass.Create();
end;

  Почему бы Embarcadero уже не реализовать нормальную поддержку объектов в variant, ну или хотя бы сделать на основе TCustomVariantType. Непонятно. Притом, что есть и наследники от него TInvokeableVariantType и TPublishableVariantType.


  Возможно, все ради совместимости с COM Variant, не хотят далеко от него уходить и пытаются сохранить Variant для типов передающихся по значению. Или, возможно, методы VariantToObject и ObjectToVariant были реализованы Евгением Крюковым KSDev, а в Embarcadero не стали ничего переделывать, работает и на том спасибо.


Читать на сайте автора.

Чтение в FinalBuilder VersionInfo из проекта Delphi 7

  С удивлением обнаружил, что на многих форумах у коллег возникают проблемы как при автоматической сборке проекта через FinalBuilder автоматизировать изменение VersionInfo.
  Для начала внесем ясность где настройки содержаться.
  В Делфи 7 проектах для настроек используется файл .dof, в этот файл IDE сохраняет все настройки проекта. При компиляции на основе этого файла формируется .rc файл — скрипт который уже поступает на вход компилятора ресурсов, на выходе который возвращает .res файл. .res файл будет содержать VersionInfo  и информацию об иконки исполняемого файла. При компиляции dcc( Delphi Pascal Compiler) включает ресурсы в исполняемое приложение (если они указаны в модулях {$R *.res}). Некоторые настройки могут перекрываться .cfg   файлом. cfg файл создается при каждом сохранение проекта из IDE. Dcc проверяет наличие .cfg файла c именем совпадающем с названием проекта и если файл обнаружен использует настройки из него при компиляции. В своем проекте Finalbuilder’а я удаляю перед сборкой этот файл.
  Вернемся к нашим баранам, .dof файл в действительности имеет формат ini файла. А для работы с ini файлами в FinalBuilder есть действия (action)  «Read Ini File» и «Write Ini File». С помощью их мы можем прочесть любые значения из VersionInfo, Version Info Keys (и других) и записать обратно до вызова dcc.
Пример настройки действия чтения MajorVer значения. 

  Но что бы такая схема заработало неодходимо в действие Build Delphi Win32 Project на закладке Project отменить «Load Settings from project File» и «Version Info»:


В этом случае при сборке будет использоваться .dof файл.

Читать на сайте автора.

FireMonkey и разработка под Mac OS/iOS

Читать на сайте автора.

Наращивание функциональных возможностей Delphi

Читать на сайте автора.