Банк Финсервис мигрировал хранилище данных на СУБД Postgres Pro

Выбор решения

Банк рассматривал различные варианты, включая отечественные СУБД и open source решения. Выбор СУБД Postgres Pro Enterprise 16.4 на основе PostgreSQL был обусловлен широкими возможностями для решения сложных задач по работе с данными корпоративного хранилища данных банка, объем которого на момент миграции составлял 1,3 ТБ. Для заказчика было важно наличие у СУБД сертификации ФСТЭК с соответствием всем требованиям регуляторов, а также услуг профессиональной технической поддержки от вендора в режиме 24/7. Фреймворк BI.Qube, в свою очередь, обеспечил подключение источников, миграцию данных, построение ETL, внедрение контроля качества данных. Глубочайшая экспертиза команды Postgres Professional в части СУБД, и команды BI.Qube в части организации КХД, обеспечили быстрое и эффективное исполнение проекта.

Технологический стек

Postgres Pro — отечественная система управления базами данных. Флагманская редакция СУБД, Postgres Pro Enterprise, включает более 100 ключевых разработок, обеспечивающих высокую производительность, что позволяет ей решать самые сложные промышленные задачи на предприятиях с высоконагруженными системами. Входит в реестр отечественного ПО и имеет сертификат ФСТЭК.

Фреймворк BI.Qube, тесно интегрированный с Postgres Pro, включает:

• MetaStaging для быстрого подключения данных из разнородных источников данных, таких как учетные системы, базы данных, веб-сервисы, файловые хранилища и др.
• MetaVault для автоматического построения модели данных DWH по методологии Data Vault, быстрого расширения состава мер, измерений, атрибутов с поддержкой историчности данных
• MetaControl для автоматизации контроля и оповещения о результатах процессов обработки данных, включая проверку правильности, полноты, актуальности и согласованности данных, а также рассылку уведомлений об ошибках и отклонениях через e-mail и Telegram.

Процесс миграции

Проект миграции данных в Банке Финсервис проходил в несколько этапов. 

1. Прежде всего, с помощью специального парсера были получены метаданные источников данных, все источники ранжированы по объему и количеству данных, наличию специфических типов данных, определены параметры загрузки каждой таблицы в новое хранилище, настроен план обновления данных в зависимости от источника и потребности заказчика. Нужно пояснить, что источники данных в банке разнообразны, некоторые уникальные и можно сказать экзотические, так как разработаны непосредственно банком. Объемы данных на источниках варьировались от килобайтов до сотен гигабайтов. В некоторых случаях в одном источнике одновременно встречался комплекс проблем — и большое количество атрибутов в таблице, и огромное количество строк, и большой объем данных в полях таблиц, и использование уникальных типов данных. Такие таблицы определялись в автоматическом режиме, и для них настраивался метод загрузки данных. Фреймворк BI.Qube поддерживает различные режимы загрузки — инкрементальный, секционированный, с сохранением истории загрузок, сохранением секций и другие.

2. Далее команда BI.Qube совместно с IT-специалистами банка перенесла данные из существующей среды в СУБД Postgres Pro. Одним из ключевых элементов проекта стало использование инструментов BI.Qube MetaStaging, MetaVault и MetaControl. Эти инструменты позволили ускорить процесс миграции, автоматизировать преобразование данных и наладить работу с разными источниками.

   В ходе проекта была произведена очистка данных от ошибок и дублей, а также настройка процессов ELT, что обеспечило надежность и согласованность данных в новом хранилище. Загрузка данных в импортозамещенное хранилище выполнена в ту же модель операционного слоя, что позволило заказчику безболезненно перенацелить аналитические системы на новое хранилище.

«Проект продемонстрировал, как наши инструменты позволяют быстро справляться с задачами любой сложности. Благодаря возможностям фреймворка BI.Qube, мы успешно выполнили миграцию данных на Postgres Pro и помогли клиенту структурировать и очистить накопленные данные. Это не просто переход на новое ПО, а полное переосмысление подходов к управлению данными, что обеспечивает надежность и масштабируемость для будущего развития банка», — пояснил Дмитрий Поликовский, директор по развитию BI.Qube.

«Миграция данных с международного ПО на СУБД Postgres Pro и инструменты BI.Qube позволила нам не только снизить затраты, но и обеспечить гибкость всех бизнес-процессов. Мы смогли оперативно адаптироваться к новым регуляторным требованиям и улучшить производительность наших систем», — подытожил Сергей Кондратенков, начальник Управления развития аналитических систем департамента структурных проектов АО «Банк Финсервис»