Как оптимизировать маршруты с помощью DWH

О проекте

Компания предоставляет услуги по доставке и хранению грузов на территории РФ и стран СНГ: авто- и авиаперевозки, железнодорожные перевозки, таможенное оформление, страхование посылок, складская обработка и другое. Бизнес имеет собственный автомобильный парк и развитую филиальную сеть. Ежегодно выполняет 60000+ заказов.

Организация уделяет особое внимание инновационным технологиям, направленным на оптимизацию маршрутов, мониторинг в реальном времени, а также прогнозирование времени доставки с учетом различных факторов. 

Основной запрос клиента заключался в том, чтобы разработать и внедрить корпоративное хранилище данных, которое позволит интегрировать данные из множества источников, обеспечит глубокий анализ сведений и поможет строить динамические маршруты.

Проектной команде RedLab предстояло создать DWH, а именно:

• определить основные источники данных: GPS-трекеры транспортных средств, системы управления логистическими процессами, данные о загруженности дорог и метеослужбы;
• реализовать центральный репозиторий: сбор, хранение и обработка информации о движении транспорта, погодных условиях, времени доставки и т.д.
• гарантировать высокое качество аналитики: получение сведений без дублей, конфликтов и несоответствий, свободное исследование исторических данных, принятие стратегических решений.

Реализация

Технологический стек: 

• Python
• ClickHouse
• Apache Airflow

В рамках выполнения задач по созданию КХД специалисты RedLab провели следующие работы:

• Проанализировали бизнес-требования, обследовали информационные системы компании и сформировали архитектуру Data Warehouse.
• Создали эффективные ETL-процессы для автоматизированного сбора, очистки и загрузки данных в хранилище.
• Использовали технологии параллельной загрузки и потоковой обработки данных для повышения скорости обработки сведений.
• Выбрали ClickHouse в качестве основного хранилища данных. Решение предоставляет высокую производительность, масштабируемость и надежность.
• Внедрили API-интерфейсы и коннекторы для интеграции с GPS-системами, платформами управления логистикой и сервисами прогнозирования погоды. Удалось получить актуальные данные в live-режиме и оперативно их анализировать.
• Провели функциональное и нагрузочное тестирование, чтобы DWH выдержал пиковую нагрузку.
• Разработали аналитические панели и инструменты для построения отчетности, которые показывают эффективность логистических операций.
• Сделали гибкие фильтры и дашборды, адаптированные под потребности менеджеров компании.