Миграция DWH на российский стек

О проекте

Медицинская компания проводит широкий спектр лабораторных исследований, которые включают общеклинические, биохимические, гормональные, иммунологические, онкоцитологические и другие анализы. Также в диагностических центрах доступны рентгенологические и компьютерные обследования. Ежегодно организация выполняет 500.000+ тестов.

Клиент использовал иностранную облачную платформу для DWH и BI-систему. Уход вендоров с российского рынка создал серьезные ограничения: невозможность приобретения новых лицензий, отсутствие обновлений ПО и технической поддержки. Это поставило под угрозу устойчивую работу существующей инфраструктуры и создало сложности при анализе данных. Бизнес принял стратегическое решение о миграции корпоративного хранилища данных с западных решений на отечественные программы.

Специалистам RedLab требовалось:

• обеспечить плавную миграцию данных без влияния на текущие процессы;
• выбрать российские ИТ-продукты, соответствующие потребностям компании;
• адаптировать ETL-процессы для новой системы;
• увеличить производительность DWH.
   

Реализация

Технологический стек: 

• Python
• ClickHouse
• Apache Airflow
• Talend

Команда RedLab детально обследовала информационные системы компании, чтобы выявить форматы, структуры и объемы данных. Далее ИТ-специалисты выполнили ряд задач:

• Провели комплексный анализ ИТ-ландшафта и бизнес-процессов клиента, включая изучение методологии и подходов к управлению данными.
• Разработали детальный план миграции с четким указанием временных окон для тестирования и обучения пользователей.
• Изучили российские программные решения и выбрали оптимальный стек технологий, ориентируясь на требования компании.
• Наладили интеграцию нового DWH с CRM-системой клиента и внутренней ERP для быстрого получения сведений.
• Адаптировали ETL-процессы. Устаревшие SQL-скрипты заменили на более производительные решения.
• Развернули DWH в облаке Yandex Cloud, т.к. платформа внесена в реестр отечественного ПО и соответствует российским стандартам безопасности.
• Выбрали ClickHouse в качестве основного хранилища. СУБД имеет высокую производительность при работе с оперативной аналитикой.
• Внедрили BI-систему Yandex DataLens, которая обеспечила удобную визуализацию данных и быстрый доступ к ключевым показателям бизнеса.
• Выполнили тестирование ПО, включая стресс-тесты. В результате новая система выдерживает пиковую нагрузку в 2,5 раза выше, чем предыдущая платформа.
• Составили подробную документацию по новому хранилищу данных, включая инструкции для администраторов и конечных пользователей.
• Настроили процесс выгрузки данных с минимальным риском их утраты. Для этого реализовали параллельный подход — частичную выгрузку информации с последующей верификацией.