Альфа-Банк внедрил решения Data Ocean Nova и SDI вендора Data Sapience

Для реализации стратегии работы с данными Альфа-Банк внедрил решения отечественного вендора Data Sapience: Lakehouse-платформу данных Data Ocean Nova и низкокодовый (low-code) инструмент потоковой обработки и репликации данных Data Ocean SDI. Проделанная работа позволила банку получать оперативные изменения из нескольких систем. Уменьшилось количество разных технологий, и появилась возможность независимо масштабировать IT-инфраструктуру организации. Данные из разных источников теперь собираются в едином информационном слое (ЕИС) и в одном формате. Пользователи могут обращаться к актуальным данным для проверки гипотез с помощью произвольного анализа по запросу (ad-hoc) напрямую в операционном слое данных (Operational Data Store, ODS), который обновляется в режиме реального времени (real-time), и строить онлайн-отчетность. Также появились возможности для предоставления сервисов данных (data services), обучения моделей и проверки их функциональности. 

До внедрения перед банком стоял ряд вопросов, требующих решения. Компании было необходимо в онлайн-режиме планировать и контролировать продажи на долгий период. Требовалось рассчитывать аналитические показатели и отчеты, отражающие бизнес-планы и прибыльность продуктов, в режиме реального времени. При большом количестве аналитических систем банк нуждался в быстром получении данных из учетных систем. Нужно было сохранять историю изменений источников, при этом не нагружая их. Также было важно передавать потребителям информацию из единой платформы, чтобы снизить затраты на интеграционные задачи. Все эти пункты стали ключевыми причинами для внедрения платформы данных в ландшафт банка.

При выборе подходящего решения Альфа-Банк руководствовался определенными требованиями. Продукт должен поддерживать независимое горизонтальное масштабирование с разделением ресурсов хранения (storage) и вычислительных мощностей (compute) оперативного слоя данных. Предоставлять возможность изолирования ресурсов на регламентные процессы и аналитические задачи с поддержкой многопользовательской работы в одном кластере, нативно работать в среде Kubernetes. Иметь высокий класс доступности с минимум двойным гео-резервированием инфраструктуры и инструментами разработки собственных приложений для работы с данными. Иметь высокопроизводительный и высококонкурентный движок с поддержкой параллельной обработки больших массивов данных (Massively Parallel Processing, MPP) для SQL-запросов и решать задачи классического хранилища данных (Data Warehouse, DWH) и озера данных (Data Lake) одновременно, включая гетерогенные сценарии использования. При этом обновление всех компонент должно быть независимым.

Lakehouse-платформа данных Data Ocean Nova соответствует перечисленными требованиям, поэтому выбор банка остановился на ней. Для решения задач отслеживания изменений и обработки потоковых данных был использован низкокодовый (low-code) инструмент Data Ocean SDI. Благодаря внедрению пользователи могут подключаться к данным из разных источников в едином окне. Доступность данных увеличилась в несколько раз. Была реализована единая среда работы с данными с нужной скоростью.

В рамках проекта создана система онлайн-репликации для 1000 объектов. Технологический стек решения объединяет инструменты отслеживания измененных данных (Change Data Capture) и механизмы потоковой обработки событий из Kafka. На текущий момент к платформе подключено 50 баз данных — источников, обеспечивающих передачу 500 Гб инкремента в сутки при пиковой нагрузке до 10 тысяч изменений в секунду. Параллельно система онлайн-загрузки из Kafka справляется с пиковыми потоками до 240 тысяч изменений в секунду. Суммарный объем ежесуточно обрабатываемых данных достигает 2 Тб, что обеспечивает актуальность информации в хранилище и высокую доступность аналитических данных для бизнеса в режиме реального времени. Такой масштаб нагрузки был достигнут за 2 года промышленной эксплуатации, при этом система продолжает масштабироваться.

В дальнейшие планы по развитию проекта Альфа-Банка на базе решений Data Sapience входит подключение около 600 источников данных в онлайн-режиме до середины 2026 года, миграция Hadoop-кластеров банка на Lakehouse-платформу данных Data Ocean Nova и перенос пользовательских песочниц.