Чат-боты и риск: где проходит граница ответственности

Тема доверия к ИИ-чат-ботам вновь оказалась в центре обсуждения. При этом речь идет не столько о самой технологии, сколько о том, как именно устроено конкретное решение и в каких условиях оно применяется. Где проходит граница ответственности между алгоритмом и человеком, объясняет Роман Инюшкин, заместитель директора по технологиям «Софтлайн Решения» (ГК Softline).

Роман, скажите, что на практике сегодня понимают под чат-ботом? Это одна технология или целый набор разных решений?

Под названием «чат-бот» могут скрываться принципиально разные системы. В одном случае это просто интерфейс к большой языковой модели, которая отвечает на простые вопросы по данным из интернета, а порою еще и с элементами собственных «фантазий» на заданную тему. В другом — прикладной сервис, работающий на основе собственной подготовленной нужным образом базы знаний или способный вызывать инструменты с помощью MCP (механизма управления процессами) или RPA (роботизации).

На практике какие из этих систем показывают наибольшую точность и пользу?

Наиболее точны и полезны чат-боты, выполняющие конкретные действия. Возьмем корпоративный ассистент: пользователь пишет «нужна справка 2-НДФЛ», бот распознает запрос, классифицирует его и запускает через вызов инструмента цепочку операций итогом которых является готовая справка. Для пользователя это выглядит как диалог, но по факту за ним стоит связка нейросети и программных роботов. 

Можно ли доверять боту, который работает только на данных из интернета?

Если чат-бот подключен только к языковой модели и не опирается на собственную базу знаний, его ответы не валидированы — они формируются из общего массива данных сети. В таком случае говорить о высоком уровне доверия не приходится, особенно в прикладных или критичных сценариях.

Такой чат-бот, по сути, мало чем отличается от поисковой системы — он лишь оформляет найденную информацию в виде связного ответа. Но это не гарантирует ни его актуальности, ни применимости к конкретной ситуации.

Где чаще всего возникают ошибки и почему?

Чаще всего причина некорректных ответов связана с архитектурой решения. Если под чат-ботом находится только языковая модель без подключенных доменных данных и ограничений, она отвечает на любой запрос в пределах обучающей выборки. В такой конфигурации система не различает, допустим ли ответ в контексте. И если механизмы отказа не предусмотрены, ассистент продолжает генерировать текст даже там, где корректнее было бы просто не отвечать.

Языковая модель сама по себе не может считаться источником экспертных знаний — она интерпретирует запрос, а качество ответа зависит от того, к каким данным она подключена и какие ограничения заданы.

Какие механизмы позволяют снизить риск некорректных ответов?

В корпоративной среде к ИИ-сервису применяются те же требования по управлению рисками, что и к другим ИТ-системам. В архитектуру закладываются механизмы фильтрации на входе и контроля на выходе — так называемые guardrails (ограждения). Система может блокировать недопустимые темы, маскировать персональные данные, ограничивать сценарии обработки или возвращать отказ вместо ответа.

Дополнительно используется архитектура «консилиума» (consilium) — когда одна модель формирует ответ, а другая проверяет его по заданным критериям, либо несколько моделей выдают независимые версии, а система сопоставляет их. Это увеличивает вычислительные затраты, но снижает вероятность критической ошибки.

Насколько сильно на точность ответа влияет формулировка запроса?

Большая языковая модель работает в рамках заданного запроса и чувствительна к его формулировке. Если параметры не уточнены, система стремится заполнить пробелы самостоятельно, что увеличивает риск неточности. Поэтому зрелые решения предусматривают уточняющие механизмы или заранее ограничивают допустимые сценарии ответа.

В каких сферах ограничения особенно критичны?

Например, в медицине. Чат-бот, обученный по открытым источникам, не должен давать медицинские рекомендации — цена ошибки слишком высока. Другое дело, когда он работает на базе проверенных медицинских данных и используется для второго мнения при анализе МРТ или рентгеновских снимков. Даже в этом случае он остается вспомогательным инструментом, а не заменой врачу.

Если решение спроектировано правильно, что это дает компании на практике?

Чат-бот становится интерфейсом к множеству корпоративных сервисов — от HR (отдел кадров) до ITSM (управления ИТ-услугами). Для пользователя это выглядит как диалог, но на уровне архитектуры это запуск операций в различных системах, интегрированных с чат-ботом.

На что стоит обращать внимание, чтобы понимать, что конкретному решению можно доверять?

Доверие — это не характеристика модели как таковой. Бизнесу важно оценивать процессы и функции, где применение ИИ уместно и возможная выгода сильно больше потенциальных рисков.

Нужно понимать, на каких данных работает система, есть ли механизмы проверки и ограничения ответов, встроены ли процедуры контроля и логирования. Ассистент может собрать информацию, структурировать данные или запустить процесс, но окончательное решение и его последствия всегда остаются за человеком.

Чем выше цена ошибки, тем строже должны быть требования к источникам данных, процедурам верификации и архитектуре. Поэтому речь идет не о доверии к технологии в целом, а о зрелости конкретного решения — его архитектуре, данных и роли человека в принятии решений.