Игорь Ашманов: как применять генеративный ИИ без вреда для своей компании

Поговорим о том, что будет полезно или вредно из современных ИИ-продуктов для сотрудников, не являющихся специалистами в ИТ — маркетологов, продавцов, администраторов, и что важно понимать при использовании этих продуктов. Сначала — несколько слов о том, что на самом деле представляет собой модный ИИ.

Выдача ИИ — это продолжение текстов. ИИ не думает, не пишет и не рисует «новое», а продолжает запросы пользователя. Все, что делают большие генеративные модели — это подстановка наиболее вероятных, частотных продолжений для данного запроса — «промта» (с учетом невидимого пользователю «системного промта»). Это значит, что ИИ только ищет, собирает, компилирует, реорганизует, оформляет, усредняет. Это фактически — поисковая система с новым, непривычным пользователю, инновационным форматом выдачи.

Генеративный ИИ всегда усредняет то, что собрано из огромных массивов информации, хотя и может «притащить» что-то неизвестное и «свежее» конкретному пользователю.

Отсутствие знаний. Никаких «знаний» или «сознания» в генеративном ИИ нет и не возникает. Все попытки антропоморфизации, очеловечивания ИИ, использование лексики типа «знает», «думает», «объясняет» — это просто некорректное употребление слов, перенос смыслов на негодный объект.

Прагматика реального мира и его смыслы в ИИ отсутствуют. Там есть большой массив текстовой и графической информации, загруженной при обучении, и разнообразные ее комбинации. Однако, подавляющая часть наших знаний о мире, людях, бизнесе не описана в текстах, их невозможно восстановить даже из всех текстов мира. Много ли в «мировом Интернете» текстов о том, что большой палец на правой руке слева или что у бегемота четыре ноги? Даже если и есть, их частотность крайне низка, а ИИ опирается на частотность.

«Черный ящик». Генеративный ИИ работает в режиме черного ящика: алгоритмы и данные снаружи не видны, а результаты непредсказуемы. Более того, один и тот же запрос может давать всякий раз другие результаты.

Галлюцинации. Генеративный ИИ часто галлюцинирует, собирая гладкий текст как бы «по теме» запроса, даже в случае отсутствия информации по запросу. «ИИшечку» можно заставить доказать, что Земля плоская, — и она сделает это основательно, структурированно, убедительно. С развитием ИИ ситуация с галлюцинациями не улучшается, просто они становятся все более гладкими и хуже отличимыми от других результатов генерации.

ИИ не выполняет работу за вас. Настоящая работа требует понимания прагматики реального мира (например, что за клиент, кто у него принимает решения, кто со стороны клиента работал с нами в прошлом, каковы отношения между департаментами внутри клиента и т.п.). Генеративный ИИ не имеет доступа к таким знаниям. Реальная работа требует приложения реальных умственных и коммуникационных усилий.

Тем не менее, мы сталкиваемся с постоянным стремлением сотрудников «скинуть» свои задачи на ИИ, это принимает характер эпидемии, о чем ниже.

Что важно понимать в отношении ИИ:

• В большинстве случаев генеративный ИИ ухудшает все, чего касается. Генеративный ИИ позволяет быстро производить много ментального «доширака», гладкого, гламурного и почти неотличимого от настоящих текстов, графики, дизайна и т.п.
• ИИ не может нести ответственность. Уже сегодня ИИ часто используется для снятия ответственности, как безответственная прокладка между человеком и работой, между сотрудником и клиентами. «Ну, это же ИИ написал», «Это не я, просто ИИ собрал такие данные», «… А это вам отвечал ИИ», «Это система запрещает», «Это наш ИИ вам аккаунт заблокировал» — этих и им подобных отмазок в компании не должно быть.
• Не существует эффективных средств обеспечения безопасности ИИ, применяемого в компаниях и массовыми пользователями в Интернете. Нет адекватной проверки генеративных моделей на достоверность, отсутствие закладок, уязвимостей, секретных инструкций, вредной информации.

Усилия специальных команд безопасности ИИ, так называемых Red teams кардинально опаздывают; пока что процесс борьбы с уязвимостями — не сходится, а расходится, количество случаев взлома, отравления, компрометации ИИ только возрастает. Естественно, для взлома ИИ сейчас применяется такой же генеративный ИИ.

Ситуация напоминает начало 1990-х годов до появления первых эффективных антивирусов. К сожалению, появление эффективного «Анти-ИИ» в ближайшие год-два — не просматривается.

Эпидемия ползучего распространения ИИ в корпорации, явление ИИ-зомби

Использование ИИ можно сравнить именно с эпидемией: появляются первые зараженные в компаниях, которые начинают заражать все вокруг себя. Они делают учащающиеся попытки переложить работу на ИИ и имитировать занятость и умственную активность. Ни стыда, ни неловкости зараженные при этом не испытывают, представляя собой по сути ИИ-зомби.

Приведу несколько нехороших примеров из жизни:

• Попытки составлять письма и сообщения автоматически. Зачастую в почту и мессенджеры приходят письма не только бессодержательные, поверхностные, безвкусные, пресные, в которые нельзя погрузиться, потому что глаз соскальзывает, но и содержащие «хвосты» общения с нейросетью, с «промтами», с ответами LLM и т.п., которые забыл удалить обленившийся автор (наподобие фразы внизу делового письма: «Составь мне запрос на коммерческое предложение и учти…». Какое отношение к отправителю возникает у адресата такого письма?
• Попытки составлять предложения клиентам автоматически. Классический пример — шаблонное предложение клиенту, составленное ИИ, которое не учитывает клиентские потребности и историю отношений, то есть контекст, неизвестный ИИ. Например, что это уже действующий клиент, готовящий продление контракта; или, например, работающий по 223-ФЗ о госзакупках или вообще под Гособоронзаказом.
• Автоматическая классификация и структурирование почты и сообщений топ-менеджеров через ИИ. По сути, это передача всей корпоративной переписки топ-менеджеров вовне, в облако в США, неизвестно кому (ну то есть известно, кому).
• Автоматическое составление маркетинговых материалов. Опять выдумки, отсутствие реальных знаний, прагматики. Например, «анализ рынка» про импортозамещение как основной фактор — для сегмента рынка, где 20 лет нет никаких иностранных игроков (это просто результат сбора массы интернет-текстов, изобилующих вхождениями «импортозамещения»).
• Отчеты для начальства. Попытки давать начальству отчеты о работе, продажах или маркетинговых усилиях, собранные ИИ. Отчеты гладкие, красивые, с множеством деталей, но не отражающие реальной ситуации, часто недостоверные или просто бессодержательные, по сути — дезинформация.
• Стратегии. Отвратительны попытки менеджмента автоматически генерировать «стратегии» для компании. Стратегия — самая важная часть бизнеса, абсолютное выражение роли и ответственности руководства, она не может быть составлена путем усреднения бизнес-текстов из Интернета. Менеджмент потом будет отвечать за исполнение стратегии, а ИИ — не будет.

Чем угрожает бизнесу бездумное/безумное применение генеративного ИИ

Помимо деградации компетенций и когнитивной травмы сотрудников, использование ИИ в бизнесе несет очевидные риски:

• Подрыв отношений с внешним миром. Коммуникация с помощью ИИ с партнерами и контрагентами, со СМИ и аудиторией приводит к снижению качества коммуникации, потере человеческой компоненты в таком общении, потере существенных составляющих коммуникации и важных неформальных данных о другой стороне.
• Урон для репутации компании. Осознание другой стороной, что с ней разговаривают небрежно, через подобные средства, приводит к резкому ухудшению отношения к компании и к конкретному ее представителю. Клиент, журналист, партнер, контрагент воспринимают генерацию ответов, предложений, новостей с помощью ИИ как личное неуважение и пренебрежение ценностью контакта. А людей, способных распознать сгенерированный контент, становится все больше, в обществе возникает «насмотренность».
• Получение клиентами, менеджментом и акционерами недостоверной информации. ИИ не владеет прагматикой реального мира и имитирует ее, а прагматика, расстановка приоритетов — это именно то, за счет чего делаются полезные продукты и зарабатываются деньги. Имитация анализа рынков, продаж, клиентской базы с помощью гладких недостоверных отчетов и «стратегий» в итоге приведет к «ослеплению» компании, выбору неверных путей развития и финансовым потерям.
• Утечки конфиденциальной и чувствительной информации за пределы компании. Сотрудники, начинающие систематически использовать ИИ-модели (например, для организации входящей почты или для создания отчетов о работе), в итоге начинают массово передавать им конфиденциальные документы, сообщения, письма, содержащие данные о сотрудниках, продуктах, бизнесе и финансах компании.

Это совершенно недопустимо: все «большие модели» — «облачные», то есть работают на внешних серверах где-то вовне; они управляются внешними организациями, находящимися под управлением стран и сил, зачастую враждебных России. При этом никаких реальных обязательств по неразглашению информации эти ИИ-сервисы не несут, ограничиваясь формальными пользовательскими соглашениями, а хранение информации в них организовано крайне плохо, что показывают уже многочисленные опубликованные случаи утечек и сливов данных из них.

Имитация работы сотрудниками. У сотрудников возникает сильнейший соблазн перекладывать нудную, тяжелую, рутинную работу на ИИ, после чего выдавать полученный с помощью ИИ результат за свой труд. Человек склонен к экономии усилий и энергии, но если все, что вы можете — «задать мощный промт и нажать на кнопку», то за что вам платить деньги? По сути, это мошенничество на рабочем месте. Вы подбирали «промт» два часа или даже нашли его в интернете и скопировали? Получите зарплату за эти два часа.

Из этих соображений мы в наших компаниях создали корпоративные правила, где можно использовать ИИ и какой именно, а где его нельзя применять категорически:

Где нельзя использовать ИИ

Любая внешняя коммуникация компании. Это вопрос репутации и адекватного общения с внешним миром. Общение с журналистами, клиентами, партнерами, госорганами, правоохранителями, поставщиками, кандидатами на вакансию — только сообщения, написанные вручную, с конкретным ответственным автором.

Никаких финальных документов и сообщений, созданных ИИ, для внешнего мира. Нельзя использовать ИИ и ботов для генерации финальных презентаций и документов, общения по ВКС, ведения корпоративных телеграм-каналов, написания ботом корпоративных новостей и объявлений, службы технической или клиентской поддержки, службы продаж, какими бы красивыми аватарами они ни обладали.

Внутренняя коммуникация компании – также только «человеческая». Никаких автоматических чатов для сотрудников, никакой автоматической генерации поздравлений с праздниками, достижениями, днями рождения и т.п. — только лично, с применением социального интеллекта руководителя, кадровика, пиарщика.

Любая внутренняя отчетность и планирование. Отчеты о продажах, штатное расписание, планы продаж, планы разработки ПО, стратегии развития, стратегии выхода на новые рынки, прочее — нельзя генерировать и потом как бы «причесывать».

Любая обработка конфиденциальных корпоративных данных. Штатное расписание, кадровые данные (отпуска, премии, оценки персонала), персональные данные, планы и результаты продаж, данные клиентов, бухгалтерия, планы развития, графики, внутренние расследования и т.п. — только вручную, с фамилией автора в заголовке. Никакой внешней Алисы, Гигачата, Siri, Amazon Alexa, DeepSeek, ChatGPT, Gock, Qwenn и т.п. в корпоративной среде — ни через «прокси», ни напрямую.

Никаких автономных ИИ-систем, принимающих самостоятельные решения: ни в общении с внешним миром, ни во внутренних бизнес-процессах. Никаких модных «мультиагентных сред» с автономными агентами в бизнес-процессах, управлении, коммуникациях.

Так не надо ли ИИ в корпоративной среде запретить в принципе?  Нет, использовать ИИ можно, просто осмотрительно:

Какой ИИ и как можно использовать в компании

Только локальные корпоративные копии или версии больших лингвистических моделей, установленные технической службой компании, с подтверждением безопасников.

Только как первичная обработка информации: ассистированный поиск (RAG), дайджесты; но никакие результаты работы ИИ не должны использоваться как финальные, без проверки человеком (сообщения, код, отчетность, листовки, дизайн).

У любого результата должен быть ответственный автор — человек с ФИО; каждый документ должен иметь личную подпись.

Только как ассистент в узких задачах:

1. транскрипция речи со встреч, совещаний, видео,
2. умный поиск статей, фото, видео,
3. помощь в программировании с копилотами (поиск близких фрагментов кода, первичная сборка кода, приложений, прогон тестов и т.п.), но никакой автоматической ИИ-сборки кода — и сразу «в релиз», «в продакшн», как говорят программисты, только после тщательной проверки человеком.
4. сборка первичного веб-дизайна и полиграфии, видео, аудио, с проверкой и финальным подтверждением человеком;
5. оформление презентаций (не написание!),

… и т.п.

Дублирование, тесты, проверки. Любое даже вспомогательное применение ИИ в важных бизнес-процессах должно тщательно выверяться и дублироваться человеческими проверками и процессами исправления и контроля, например: автоматическая маршрутизация входящей почты на ролевые адреса должна иметь второй контур проверки и процедуры исправления на случай неправильной адресации.

Любой результат генеративного ИИ должен тщательно проверяться как самим пользователем ИИ, так и независимыми наблюдателями.

Конечно же, «ИИ-евангелисты» наверняка горячо возразят в стиле: «прогресс не остановить», «поздно метаться», «все так делают», «весь мир уже там», «кто не перейдет на бизнес-процессы, организуемые ИИ, проиграет конкурентам», «это огромная экономия времени, сил и средств» и тому подобное.

Это все соображения и призывы для короткого периода. На длинном периоде это — в ходе постепенной деградации ключевых компетенций — приведет к катастрофе, деловой и личной.

Репутация компании, ключевые компетенции, реальный контроль за бизнес-процессами и коммуникациями и думающие сотрудники — гораздо дороже «экономии сил».

Клиенты формируют свое мнение о компании молча, и уходят тоже молча, стоимость их возврата или замены может оказаться на порядки дороже экономии от внедрения ИИ.

Уже есть прогремевшие истории в США, когда после триумфального увольнения сотен сотрудников контакт-центров и служб продаж и замены их чатботами пару лет назад, на волне восхищения ИИ, розничные компании сталкиваются с резким снижением качества коммуникации с клиентами, уменьшением лояльности и «возвратности» клиентов и падением продаж — и начинают снова спешно нанимать «живых» консультантов и продавцов.

При этом заражение генеративным ИИ приводит к образованию зомби-очагов в компании, которые начинают разрастаться, меняя корпоративную культуру на имитационную и безмозглую, приближаясь к точке невозврата, где бизнес может быть полностью провален из-за потери репутации, клиентов и рынка. Этого допускать нельзя.