Качество данных глазами бизнес-пользователя: как соблюсти все требования

В современном мире непрерывное управление качеством данных стало обязательным условием эффективности большинства процессов в бизнесе и государстве. Однако зачастую используемый для этого инструментарий, который кажется разработчикам оптимальным, порождает результат, абсолютно не соответствующий потребностям и ожиданиям конечного пользователя — специалиста или руководителя. Почему так происходит и как этого избежать — рассказывает главный бизнес-архитектор БФТ-Холдинга Ольга Воронцова. 

Чего хотят пользователи

Часто разработчики информационных систем стремятся использовать самые современные технологии, создавая сложное универсальное решение с продвинутыми инструментами реализации процессов, контроля качества и работы с данными, считая, что такое решение подойдет для всех задач всех бизнес-пользователей системы. Однако, такой подход редко оказывается успешным: конечные пользователи недовольны качеством данных, которые предоставляет такая система. Например, в регламентном отчете цифры не сходятся с оперативными данными за аналогичный период, а общая сумма транзакций больше итогового сальдо, а «плановое» значение показателя просто отсутствует (в системе-то оно называется «прогнозное») — и это происходит не из-за ошибок в первичных данных или формул расчета, а из-за методологического различия подходов к формированию этих данных. И разработчик или методолог это отлично понимают, могут объяснить и уверены в полной корректности данных, а вот для пользователя эти же данные выглядят «кривыми» и не заслуживающими доверия.

Понятие качества данных у разработчика и бизнес-пользователя значительно отличается. Последнему, как правило, не столь важно, при помощи каких инструментов и куда собираются данные, каким образом ведутся реестры, справочники и классификаторы, как гармонизируются сведения или как отслеживаются изменения в них. Бизнес-пользователя намного больше интересует итог — готовые визуализированные данные, применимые для решения его конкретной задачи. Он оценивает качество информации на основе своевременно полученного нужного «сюжета» из данных, которым он доверяет, так как может проверить. 

Как разработчику в этом случае понять бизнес-пользователя и предложить ему именно то решение, которое действительно необходимо и полностью соответствует его видению качественных данных? Для этого в процессе создания информационных систем нужно быть максимально клиентоориентированным и придерживаться нескольких ключевых принципов, о которых речь пойдет ниже.

Своевременность и полнота

Пользователю нужен сразу полный набор данных для решения его конкретной бизнес-задачи — если он не получит хотя бы одной нужной цифры, все остальные данные окажутся ему бесполезны, и он посчитает их некачественными. Вопрос обеспечения полноты данных наиболее остро возникает при создании аналитических решений, когда исходная информация находится в разрозненных источниках, зачастую в неструктурированном и/или «немашиночитаемом» виде. При сборе данных на помощь приходят и классические инструменты интеграции, и новые технологии онлайн-«витринирования» данных, и системы сбора «разовых» показателей.

Одновременно с полнотой необходимо минимизировать временные задержки при получении данных из источника. Это достаточно сложная задача, особенно в бюджетной, банковской и финансовых сферах, где агрегированные показатели невозможно получить моментально из-за особенностей процесса закрытия операционного дня или распределенной обработки и согласования первичных документов. Но данные нужны здесь и сейчас, поэтому мы начинаем искать альтернативные выходы — например, одновременно даем возможность посмотреть предрассчитанный «в ночь» агрегированный показатель и отдельно все текущие транзакции, на него влияющие.

Даже оперативно собрав в системе все данные, нужно уметь быстро выдавать пользователю результат. Если исходных данных для решения конкретной задачи достаточно, но инструмент долго проводит расчеты и выдает итоговый результат, — пользователь не оценит такие данные как качественные, ведь он не сможет, например, вовремя представить отчет руководству или показать его коллегам в режиме онлайн. Способов решения этой задачи тоже много, и их выбор зависит от бизнес-цели: где-то может потребоваться оптимизация состава показателей и их атрибутов, где-то их «позадачная» группировка, а где-то — масштабный предрасчет формул и агрегатов с расширением объема хранения данных. 

Корректность и содержание

В информационных системах разработчик должен обеспечить для пользователя баланс необходимого и достаточного в составе данных. Например, избыточная детализация показателя, непонятная конкретному пользователю и ненужная для решения его задач, может не только запутать, но и привести к ошибке. Например, пользователь, незнакомый со сложной иерархической структурой классификатора или особенностями неаддитивного показателя, может сложить значения всех элементов и получить для себя «некачественный» результат. Чтобы этого не допустить, мы предусматриваем для разных пользователей разный состав атрибутов для одних и тех же показателей, а в случае совсем специфических показателей или «разрезов» — просто отдельные готовые сюжеты или отчеты.

Важной для бизнес-пользователя является возможность инициировать исправления и изменения данных непосредственно в источнике. Раньше, в случае обнаружения ошибки в информации, полученной у государственного органа или коммерческой организации, было проще и быстрее исправить ее уже на своей стороне. Это зачастую приводило к повторению одних и тех же ошибок при каждом обновлении данных. Сейчас практикуется другой подход: получатель данных проверяет их и сигнализирует поставщику о выявленных проблемах, чтобы тот скорректировал данные или методику их подсчета в исходной системе. Таким образом снижается риск повторения инцидента.

Комфорт и эффективность

Пользователю должно быть удобно работать с данными. И в первую очередь для этого у каждого пользователя должен быть понятный и применимый для его задач инструментарий: красивые дашборды с агрегированными данными не помогут аналитику разобраться в возникшей проблеме, а продвинутый конструктор или инструмент расчета математических моделей не дадут руководителю нужной информации для быстрого принятия решения.

При этом крайне важно, чтобы при работе с одними и теми же данными бизнес-пользователь всегда видел одинаковые значения. Дашборды, конструкторы, карточки документов, формы, регламентная отчетность, другие специализированные средства представления и анализа должны всегда основываться на «единой версии правды» — единых данных, описываемых и связываемых едиными метаданными. В таком случае пользователь сможет без потери качества одновременно использовать весь инструментарий, переходить от одного представления к другому, от агрегата к первичным данным, от формулы к ее переменным. Все это позволит ему не только видеть итоговый результат, но и выявлять причинно-следственные связи, закономерности и аномалии.

Единый язык и информированность

Терминология ИТ-специалистов, аналитиков, а также разных бизнес-подразделений даже в одной организации часто имеет ярко выраженные различия или специфику использования. Например, то, что в одном подразделении упрощенно называют «план расходов», в другом называют «лимиты бюджетных обязательств», а для третьего это всегда только «доведенные бюджетные данные». И в ряде случаев данные по всем трем будут одинаковыми, а в ряде — разойдутся. Даже простая «дата данных» для кого-то будет означать данные по состоянию на начало указанного дня, для кого-то — на момент закрытия операций в этот день, а для кого-то — изменение за день. Такие нюансы терминологии и методологии обязательно должны быть зафиксированы и доступны пользователю, иначе он будет считать данные некачественными просто потому, что не сможет их понять. Для этого в информационных системах создаются единые глоссарии атрибутов, показателей, формул, вводятся синонимы и связки с источниками данных, проводится регулярное обучение и информирование специалистов.

Большое значение имеет и единство методологии формирования и расчета индикаторов и показателей. Например, при сборе данных из разрозненных организаций, входящих в группу компаний, мы можем столкнуться с тем, что один и тот же показатель они считают по-разному. В такой ситуации мы стараемся собирать из источников не готовые агрегаты, а максимально детализированные данные, чтобы уже централизованно рассчитать нужный показатель по единой унифицированной методике, тем самым гарантируя его полную смысловую корректность. 

Поскольку даже внутри одной организации специфик, связанных с терминологией, методологией и в целом «жизненным циклом» данных может быть много, неотъемлемой частью обеспечения качества данных для пользователей должно быть обучение, непрерывное информирование и получение обратной связи. 

Командная работа и индивидуальный подход — залог качества данных

При создании любых информационных систем, в частности, в области комплексного управления данными, мы в БФТ-Холдинге всегда работаем в максимально тесном взаимодействии как с «отраслевыми» методологами, понимающими специфику процессов, так и с конечными пользователями будущего решения.

Мы не создаем и не предлагаем одно универсальное решение, готовое «под ключ» для каждого пользователя. Работа начинается с обследования заказчика, выявления его «болей» и потребностей, анализа используемого инструментария и данных. На основе этого формируются предложения по реинжинирингу бизнес-процессов, формируются новые правила и регламенты, определяются ключевые требования к жизненному циклу данных. И только после этого мы выбираем и компонуем разные инструменты — собственные («БФТ.ЕНСИ», «БФТ.Хранилище», «БФТ.ХЭД») или партнерские продукты и заказную разработку — под конкретные решаемые пользователями бизнес-задачи. При этом, как показывает практика, во многих проектах необязательно менять все существующие у клиента решения, если они полностью отвечают его требованиям и обеспечивают необходимое качество данных, — достаточно добавить недостающий компонент, сделав его полностью совместимым с уже имеющимися и хорошо работающими инструментами, например, с учетными модулями, транзакционным хранилищем или системой сбора показателей.

И мы считаем, что именно «индивидуальный» подход, гибкость, вариативность и тесное взаимодействие с заказчиком позволяют удовлетворять все запросы пользователей по управлению данными и обеспечению их качества.