Как Сбер и ADV построили «Супермаркет данных»

От запроса к решению: путь от идеи до внедрения

В 2019 году, с ростом экосистемы Сбера и объема информации (сейчас он превышает 250 Пбайт — эквивалент медиатеки из 30 млн HD-фильмов), стало очевидно: процесс работы с данными нужно радикально пересмотреть. 

На тот момент работа с данными в Сбере выглядела как мини-проект:

• Для начала сотрудник должен был самостоятельно выяснить, в какой системе хранятся нужные ему данные;
• Чтобы получить доступ к данным, требовалось объяснить, зачем они нужны, и получить множество согласований, часто у нескольких департаментов;
• Дальше приходилось ждать: для каждого потока данных проектировалось и согласовывалось технологическое решение, процесс от создания заявки до выполнения запроса мог длиться до шести месяцев, а бывали случаи, когда он занимал и два года;
• Не было гарантии, что полученные данные настолько точные и полные, насколько это требовалось сотруднику — приходилось проверять, уточнять и запрашивать дополнительную информацию.

В Сбере сформулировали идею «данных как сервиса» и перешли к проектированию нового инструмента — Супермаркета данных. Концепция родилась в ходе сессий дизайн-мышления с участием представителей бизнеса, ИТ и ИБ.

Ключевыми требованиями стали:

• поиск на естественном языке;
• оформление подписки на данные в пару кликов;
• автоматическое согласование доступа;
  поддержка всех режимов поставки (разовая, регулярная, по событию)
• соблюдение требований к защите данных и ролям доступа.

Супермаркет должен был работать как обычный интернет-магазин, только вместо товаров — данные.

MVP и этапы развития

Первая версия Супермаркета включала минимальный рабочий функционал: ограниченный ассортимент, работу только с разовой доставкой полных наборов данных, доставку не чаще раза в сутки. Уже на этой стадии стало понятно, что концепция жизнеспособна, и началась поэтапная эволюция.

На следующих этапах команда:

• расширила поддержку различных форматов доставки — как полных наборов, так и изменений;
• внедрила потоковую поставку данных в режиме, близком к реальному времени;
• добавила возможность гибкой фильтрации и настройки параметров доставки;
• реализовала централизованный механизм автоматического согласования доступа;
• подключила рекомендательные механизмы и поддержку Единого Семантического Слоя — бизнес-ориентированной модели представления информации.

Методология и архитектура проекта

С самого начала проект велся по Agile-методологии. Работу координировала объединенная кросс-функциональная команда из представителей SberData и ADV: аналитики, архитекторы, UX-специалисты, разработчики, специалисты по информационной безопасности. Команда ADV обеспечила проектирование пользовательского интерфейса, техническую реализацию и интеграции.

Архитектура «Супермаркета данных» включает:

• Портал — веб-интерфейс, через который осуществляется поиск, заказ и управление подписками;
• Бэк-офис — механизмы автоматического согласования, логирования и маршрутизации заказов;
• Ядро — логика поставки данных, включая поддержку различных источников и форматов;
• Источники данных — все точки хранения, откуда информация может быть получена;
• Получатели данных — внутренние и внешние системы Сбера, использующие данные независимо от технологических платформ.

Защита чувствительной информации обеспечивается на всех уровнях — от использования ярлыков доступа (тегов), ограничивающих видимость, до технологий токенизации и шифрования.

Как это работает для пользователя

Сегодня путь пользователя выглядит просто:

1. Открыть портал Супермаркета;
2. Найти нужные данные — через поиск или через каталог;
3. Добавить нужное в «корзину» и оформить подписку;
4. Указать частоту и формат доставки — разово, регулярно или по факту обновления;
5. Получить данные — в хранилище, витрине или BI-системе. Обычно это занимает от 15 минут до 3 часов.

Никаких сложных согласований вручную. Сервис стал понятным не только для ИТ-специалистов, но и для представителей бизнеса.