Как создать DWH для управления дебиторской задолженностью

О проекте

Провайдер предоставляет доступ к высокоскоростному интернету, телевидению и мобильной связи 45+ млн клиентам. В рамках стратегии цифровой трансформации организация разрабатывает инновационные решения в области облачных вычислений, дата-инженерии и кибербезопасности, а также производит телеком оборудование.

Компания столкнулась с проблемой разрозненности информации о дебиторской задолженности, которая располагалась в различных учетных системах без единого механизма агрегации и аналитики. Чтобы улучшить процесс контроля финансовых обязательств, требовалось спроектировать корпоративное хранилище данных (DWH).

Бизнес хотел эффективно управлять задолженностями и улучшить финансовую дисциплину, поэтому основным запросом стало создание Data Warehouse. Помимо разработки надежной инфраструктуры хранилища данных команде RedLab требовалось:

• Объединить сведения из локальных учетных систем, 1С и внутренних справочников.
• Автоматизировать генерацию отчетов, чтобы инхаус-аналитики могли оперативно оценивать финансовые показатели всех подразделений компании.
• Обеспечить возможность классифицировать задолженность по клиентам и договорам, а также выявлять тенденции.

Реализация

Технологический стек: 

• Greenplum
• ClickHouse
• Hadoop
• Apache Airflow

Компания RedLab сформировала команду ИТ-специалистов строго с релевантным опытом, подключив руководителя проекта, аналитика, тимлида backend разработчиков и двух DWH-разработчиков. Сотрудники выполнили ряд задач:

• Занимались разработкой на всех слоях: ODS > DDS > ADS > DM. Выстроенная сквозная архитектура позволила избежать проблем с несогласованностью данных между разными системами.
• Использовали ClickHouse, чтобы сократить время выполнения сложных запросов и повысить масштабируемость программы.
• Организовали бесшовную интеграцию 1С и внутренних систем с Data Warehouse. Удалось централизованно анализировать финансовые потоки компании и ее дочерних подразделений.
• Оптимизировали ETL-процессы, тем самым уменьшили потребление вычислительных ресурсов и повысили производительность ПО.
• Подключили платформы визуализации — с помощью гибких BI-дашбордов пользователи оперативно получают отчеты и прогнозируют финансовые риски на основе актуальных данных из DWH.
• Обеспечили доступ к информации в разрезе ключевых параметров: контрагентов, договоров, ЦФО, бухгалтерским счетам и др. Это помогло управленческим командам ускорить процесс стратегического планирования.