Как мы с нуля создали решение для анализа данных о платежных транзакциях

Для чего нужна потранзакционная аналитика?

Работа аналитика похожа на работу детектива, который должен подмечать каждую деталь и использовать ее для отладки и оптимизации системы. И транзакционная аналитика оказывается одним из наиболее ярких примеров расширения возможностей оптимизации систем заказчика и просторным полем для игр разума.

Наша команда занимается разработкой кастомной автоматизированной системы учета на базе 1С для одного из крупнейших промышленных холдингов страны, состоящего из целого ряда дочерних обществ. Чтобы повышать эффективность бизнеса, компании необходимо ежедневно проводить глубокий анализ совершенных сделок, то есть обрабатывать большой объем данных о платежных транзакциях в режиме реального времени.

Когда клиент пришел к нам с таким запросом, у нас было несколько способов решения этой задачи. Один из самых распространенных вариантов в таком случае — использовать озера данных, но у них есть большой временной лаг. Другим, более оптимальным, решением стала потранзакционная аналитика — мы с нуля разработали модуль на языке запросов T-SQL, тесно взаимосвязанный с 1С без нарушения лицензионных политик платформы. Иными словами, это надстройка над базой данных, которая позволяет обработать большие массивы информации по определенным алгоритмам и придать информации различную ценность в зависимости от целей пользователя. Мы выбрали именно 1С как основу, потому что у большинства российских компаний, включая нашего заказчика, учет ведется в системах на этой платформе. Такой модуль, в отличие от озер данных, находится в онлайн-взаимодействии с основной системой и предоставляет нужный объем подготовленной информации на всех уровнях учета в момент появления информации, а не после ее обработки озером.

Транзакционная аналитика подразумевает высокоскоростную обработку и превращение миллионов транзакций из эквайринговых систем в данные, пригодные для работы на привычных 1С-платформах. С помощью разработанного механизма информация с платежных терминалов, закодированная в пакетах данных, превращается в строки документов в системе «1С».

Это разработка высокой сложности, которая построена на многоуровневом анализе данных, сопоставлениях с целевой учетной системой, подготовкой распознанной информации под задачи бизнеса, ее хранение и систематизацию с возможностью переопределения информации по запросу пользователей из внешней системы.

Обработка потоков информации за рамками платформы «1С» на отдельном кластере сервера позволяет разгрузить систему, подготовить данные для их целевого использования в системе заказчика, а также найти пути предобработки и компоновки массивов таким образом, что на стороне системы получателя остается только нажать на несколько кнопок — и потоки данных сами раскладываются по документам и регистрам. При этом важно учитывать все: структуру информации, ее ключи и теги, знание которых позволяет максимально эффективно и порой даже креативно использовать получаемые данные, то, откуда поступают данные, где хранятся, какие ожидания по использованию есть на стороне заказчика, как выглядят его бизнес-процессы и, разумеется, как устроена его основная система.

В чем преимущества потранзакционной аналитики? 

Благодаря выбранному решению, мы получили систему, которая функционирует за рамками основной базы данных, но при этом полностью интегрирована в бизнес-процессы основной системы. В нужный момент она отдает качественные данные с фактически адресным хранением — то есть адресом той ячейки объекта метаданных системы, куда необходимо эти данные отдать.

Можно выделить следующие преимущества такого метода:

• доступные в любой момент данные, сопоставленные с привычными аналитиками заказчика;
• возможность распределить транзакции по видам документов, которые будут сформированы на основании полученных данных;
• легкое решение вопроса округлений в учете и, следовательно, повышение его точности;
• принципиально новый уровень аналитичности данных;
• оперативное обнаружение учетных ошибок и расхождений между системами-источниками.

И это лишь часть возможностей, которые реализуются с помощью модуля. На его разработку у нас ушло около года — от начала процесса сбора данных и заканчивая выдачей первой действующей модели, далее выполнялась модификация и развитие функциональности с учетом новых вводных и изменений в бизнес-процессах заказчика. Но результат точно стоит потраченного времени. Все, что ранее выполнялось сотрудниками вручную для подготовки данных к учету, теперь делается автоматически.