После MDM: новый подход к управлению данными

Российский рынок систем управления нормативно-справочной информацией быстро растет — по разным оценкам, спрос на решения класса MDM увеличился от 20 до 30% за прошлый год. Однако далеко не всегда процесс работы с мастер-данными в компаниях организован достаточно эффективно, чтобы бизнес мог получать реальную пользу от них. Одно лишь использование MDM-систем не гарантирует отсутствие ошибок и извлечение качественных инсайтов. 

И проблема чаще всего не в самих MDM. В крупных компаниях до сих пор существуют целые отделы, ответственные за управлением нормативно-справочной информацией. Заняты они преимущественно тем, что вручную переносят данные: например, из каталога контрагентов в MDM или во внутренний справочник компании. Такой труд неэффективен, дорогостоящ — и, как и любой рутинный процесс, чреват возникновением ошибок человеческого фактора. Они, в свою очередь, требуют времени и ресурсов на исправление.

Возьмем для примера производственное предприятие, которое закупает комплектующие для изготовления своей продукции. У него есть поставщик A, данные о котором занесены в корпоративную MDM-систему. Если он начинает работать с еще одним производителем деталей, в системе появляется еще одна запись, которая полностью дублирует информацию о поставщике А, за исключением названия. 

На этом этапе может возникать множество ошибок, от перепутанных разделов каталога до учета одних и тех же деталей по несколько раз. В результате предприятие может столкнуться с закупкой лишних деталей или недостачей, перегрузкой склада и множеством других проблем. 

Ситуация сильно усугубляется из-за беспрецедентного роста объемов данных, с которыми работают компании. Ежедневно в мире генерируется более 328 млн терабайт информации, причем свыше 90% всего мирового объема данных создано в последние несколько лет. Новые реалии требуют от бизнеса масштабирования ИТ-инфраструктуры, а вслед за этим увеличивается нагрузка на сотрудников, ответственных за работу с данными — и, как следствие, растет число ошибок. Раздувание штата отделов, занимающихся ручными операциями с НСИ, не может быть бесконечным. Поэтому нужно менять сам процесс. 

Автоматизация против человеческого фактора

Лучший способ преодолеть недостатки процессного и полуручного подхода к работе с мастер-данными — его алгоритмизация и полное избавление от человеческого фактора. Метод не нов, но именно сейчас он приобретает особую актуальность благодаря появлению и широкому распространению новых цифровых инструментов — в частности, мощных нейросетевых алгоритмов. При этом сами алгоритмы обработки данных часто остаются теми же, что и раньше. Но, за счет новой технологии, они ускоряются, решают большее число задач, разбираются в большем числе проблем.

Нейросети позволяют выявлять и воспроизводить даже сложные зависимости и закономерности — то, что  недоступно, к примеру, тем же классическим MDM. Поэтому там, где раньше требовалось участие человека, они способны свести его к минимуму. Так, при вводе или передаче информации между разрозненными справочниками раньше сотруднику, ответственному за НСИ, нужно было разобраться с записью: соотнести ее с эталонной, вручную добавить деталей и отправить в нужный каталог. Сейчас нейросетевой «советник» может сделать это в режиме, близком к реальному времени, а задача человека — лишь подтвердить его выводы. 

Такие инструменты относятся к классу передовых систем нормализации данных. Их можно встроить в текущий информационный контур и интегрировать с MDM-системой и корпоративными ИС, чтобы упростить и усовершенствовать управление данными на всех уровнях бизнеса. 

Кому подходит система нормализации данных с нейросетевыми технологиями

Такие инструменты особенно востребованы у крупных бизнесов, переживающих период роста. Открытие новых производственных мощностей, филиалов или поглощения других компаний приводит к резкому масштабированию ИТ-инфраструктуры и созданию множества локальных информационных систем. Нередки ситуации, когда одна и та же структура имеет в своем распоряжении несколько инсталляций ERP или CRM, которые хранят дублирующуюся информацию. Нейросетевые технологии способны идентифицировать и исключить эти взаимозаменяемые записи. 

Кроме того, такие системы нормализации нужны там, где приходится работать с большими объемами неструктурированной информации: документами, файлами, PDF, сканами актов. Обычно крупный бизнес хранит их в одной базе данных, к которой у пользователей есть доступ — Data Lake. Но работать с ним почти невозможно.   

Система нормализации данных может трансформировать их от неструктурированного к структурированному состоянию. Если вернуться к примеру с данными о комплектующих, система нормализации данных позволит дополнить информацию записей номенклатурных позиций той, что содержится в неструктурированных массивах, но не выделена в явном виде. То есть хаос разрозненных данных благодаря системе нормализации превращается в порядок, который делает использование данных и проще, и быстрее, и эффективнее. 

Когда такая система избыточна

Конечно, нейросетевые алгоритмы, которые используются в такой системе, не универсальны. Они требуют доработки в зависимости от особенностей каждого предприятия, на опыте этого заказчика эффективность алгоритмов должна валидироваться.

Но это не означает, что в каждом случае внедрение системы нормализации данных будет сопровождаться индивидуальной разработкой алгоритмов. По мере накопления специфики — в первую очередь отраслевой — появится возможность использовать и ранее составленные алгоритмы.

То же самое можно сказать об эффективности такой системы. Она будет тем очевиднее, чем больше размер бизнеса, который ее использует, и чем большим объемом мастер-данных он оперирует. 

Автоматическая нормализация данных не нужна там, где они изменяются один раз в год. Она необходима, где изменения в мастер-данных происходят постоянно. 

Те же принципы применимы и при предварительной оценке экономической эффективности решения. Она, очевидно, должна быть выше затрат на внедрение. Достигается экономическая эффективность за счет экономии средств, которые тратятся на исправление ошибок и преодоление их последствий — то есть доли от годового объема закупок.

Условно, если стоимость внедрения составляет 40 млн рублей, а ожидаемая экономия — 10%, то для окупаемости системы за год необходимо, чтобы объем закупок предприятия в год был 400 млн рублей. Если цель заказчика — окупить систему за три года, то годовой объем закупок может быть уже 150 млн рублей.