BI-аналитика для одного из крупнейших таксопарков в России

Как делали

1. Аудит баз данных

В Такси 369 не было удобного инструмента для быстрого анализа выручки, что затрудняло оценку динамики показателей. Аналитики компании на разных языках создавали скрипты, запускаемые через планировщика заданий и формирующие Excel-таблицы, на основе которых строились графики и принимались управленческие решения. Для каждой новой задачи создавались отдельные скрипты, что приводило к их накоплению и перегружало систему, замедляя ее работу.

QSOFT провел аудит данных клиента, сформировал бизнес-требования и предложил архитектуру проекта. Основной задачей стало создание дашбордов, позволяющих топ-менеджерам отслеживать рыночные показатели в реальном времени. Информация теперь обрабатывается на основе уникальных идентификаторов (например, VIN-номеров автомобилей), что предотвращает дублирование и потерю данных.

Для визуализации информации был выбран инструмент Yandex DataLens с гибкими настройками, поддержкой многоуровневых моделей, удобным интерфейсом и возможностью обработки больших объемов данных. Кроме того, BI-система интегрирована с аналитической СУБД ClickHouse.

2. Построение архитектуры управления данными

У заказчика есть несколько ключевых источников информации:

• 1С:Предприятие.Элемент — система для автоматизации учета и управления бизнес-процессами.
• Yandex Fleet — сервис для сбора данных от водителей Яндекс Такси.
• Яндекс Диск — здесь хранятся ежемесячные планы, составляемые вручную.
• Собственная CRM-система Апарк — в дальнейшем в нее будут интегрированы все данные, а их выгрузка будет идти через API. Сейчас система находится в разработке.

Прежде чем данные становятся доступны для анализа, они проходят три этапа обработки: извлечение, преобразование и загрузку (ETL — Extract, Transform, Load). Чем больше данных и сложных аналитических задач, тем больше требуется ETL-процессов, а их ручное управление становится слишком трудоемким. Для автоматизации этого процесса используется программное обеспечение Apache Airflow, которое берет на себя управление потоками данных.

Таким образом, в BI-системе собрана актуальная информация для интерактивных отчетов, которая показывает текущую картину на основе данных за несколько лет и позволяет анализировать динамику с помощью фильтров и выборок.

3. Автообновление отчетов

Для автоматического выполнения кода, разработанного командой QSOFT, используется Apache Airflow, а логирование ошибок обеспечивает объект Logger. Код разделен на 10 направленных ациклических графов (DAG-ов), содержащих до 100 различных задач. Некоторые из них не зависят друг от друга и выполняются параллельно, ускоряя обновление отчетов. Каждая задача в проекте — это Python-функция, обернутая в декоратор @task, который позволяет изменять ее поведение без переписывания исходного кода.

Для каждого запуска на графике выделены столбцы, где красным цветом обозначены невыполненные задачи, а желтым — зависимые от них. Система фильтрации упрощает поиск задач по статусу, а одинаковые названия процессов и файлов облегчают анализ и отладку.

4. Отправка отчетов в Telegram

Чат-бот позволяет руководителям быстро отслеживать ключевые показатели компании в удобном формате. Разработанная система автоматически отправляет скриншоты отчетов в заданные временные интервалы, чтобы важные данные всегда были под рукой. Визуальное представление информации упрощает анализ и ускоряет принятие решений, так как руководителям не нужно вникать в сложные таблицы и графики.

Кроме того, Telegram обеспечивает высокий уровень защиты данных, что позволяет спокойно обмениваться финансовой информацией, а доступ к отчетам есть только у уполномоченных сотрудников.

5. Система отчетности

BI-система стала централизованным инструментом для доступа к аналитике и отчетности, предоставив пользователям полный контроль над информацией. Она поддерживает многоуровневую структуру данных с возможностью детализации и сравнения плановых и фактических показателей.

Информация на дашбордах отображается по дочерним компаниям и региональным филиалам, а доступ к ней ограничен в зависимости от роли пользователя — сотрудник видит данные только своего подразделения. Права доступа настраивает администратор.