Советы по безопасности: как не навредить бизнесу, используя нейросети

Нейросети все чаще становятся частью бизнес-процессов — от маркетинга до технической поддержки. Но за технологическим прогрессом скрываются риски, о которых компании вспоминают слишком поздно. 

Меня зовут Кирилл Пшинник, я научный сотрудник Университета Иннополис и СЕО онлайн-университета «Зерокодер». Искусственный интеллект — одна из сфер моего интереса. В том числе я исследую вопрос безопасности нейросетей и безвредного их использования. 

Нейросеть — новый подрядчик 

Переход к активному использованию ИИ в бизнесе происходит стремительно: по данным McKinsey, уже в 2024 году доля компаний, интегрировавших нейросети в свои процессы, превысила 60%. Генеративные модели используются повсеместно: для подготовки маркетинговых текстов, работы с клиентами, внутренней аналитики и даже проектирования. Но ключевой вопрос редко стоит в повестке: кто контролирует нейросеть, которой вы доверяете работу компании?

Как и любой внешний подрядчик, нейросеть, размещенная у третьей стороны, может ошибаться, внезапно измениться, или — что опаснее всего — начать сливать данные. Это не абстрактная угроза: в 2023 году сотрудники Samsung, используя ChatGPT для технического анализа, случайно раскрыли конфиденциальный исходный код. После этого инцидента компания ввела полный запрет на использование внешних ИИ-сервисов.

И это лишь один из множества примеров.

Чем это грозит на практике

Представим небольшую компанию, производящую одежду на заказ. Она решила ускорить работу, внедрив нейросеть для генерации описаний товаров и общения с клиентами. Сначала все было отлично: тексты стали ярче, ответы клиентам быстрее. Но через пару месяцев конкурент запускает похожую коллекцию, используя те же описания и рекомендации, что создавались «уникально».

Как оказалось, данные попадали в публичную модель, которая затем воспроизводила фрагменты другим пользователям.

Другой кейс — компания, использующая ИИ для обработки резюме. Модель неожиданно начала занижать баллы кандидатам определенного профиля. Причина — смещенные данные в тренировочном датасете, которые никто не проверял. Репутационные потери — колоссальные.

Можно представить и условную юридическую фирму, решившую автоматизировать подготовку шаблонов договоров с помощью облачной модели. Один из клиентов позже обнаруживает в своем документе необычную формулировку — слово в слово совпадающую с контрактом другой компании. Возникает правовой спор: кто допустил утечку? Фирма, не проконтролировавшая модель, или поставщик, не обеспечивший изоляцию данных? Ответа нет, а доверие клиента потеряно.

ИИ-сервисы, особенно внешние, нельзя воспринимать как безрисковое решение. Они не только ускоряют работу, но и меняют границы ответственности, безопасности и конфиденциальности. Именно поэтому любая автоматизация должна сопровождаться вопросом: а что будет, если все пойдет не по плану?

Что может пойти не так: 7 главных рисков

1. Утечка данных через интерфейс нейросети

Даже если модель не сохраняет истории запросов, как утверждают многие поставщики, технически она может использовать данные для дообучения. Или просто сгенерировать похожий ответ кому-то другому. Исследования показали, что LLM способны воспроизводить фрагменты исходных данных из тренировочной выборки — особенно если речь о файн-тюнинге (тонкой настройке). Сюда в том числе входят номера кредитных карт и электронные адреса. 

Что делать:

У ряда языковых моделей предусмотрена опция отключения использования истории переписки для обучения. Если она активирована, поставщик обязуется не сохранять и не анализировать вводимую информацию. Однако такую настройку необходимо включить вручную — по умолчанию она часто бывает выключена.

По мере возможности используйте изолированные среды и локальные решения. Некоторые поставщики предлагают версии моделей, которые работают внутри инфраструктуры. Если приходится работать с облачной моделью, внедряйте прокси-серверы с функцией маскировки конфиденциальных данных и шифруйте все, что отправляете. Также важно настроить логирование и политику минимального доступа: только те сотрудники, кому действительно нужно, могут использовать ИИ в рабочих целях.

2. Промпт-инъекции и внешние манипуляции данными

Модель может быть подвержена промпт-инъекциям — методу атаки на языковые модели. Злоумышленник внедряет скрытые инструкции в текст, который обрабатывается моделью, чтобы изменить ее поведение вопреки изначальным намерениям пользователя или разработчика. Это своего рода аналог SQL-инъекции из мира баз данных, но в контексте взаимодействия с нейросетями.

В результате — все что угодно, от утечки данных до некорректных действий на уровне бизнес-логики.

Другая проблема — манипуляции с запросами, когда пользователь буквально вынуждает языковую модель выдать ему конфиденциальную информацию в диалоге, особенно если речь идет о чат-боте. Это вполне реализуемо через грамотно подобранные промпты. 

Что делать:

Для защиты от промпт-инъекций и внешних манипуляций используйте фильтрацию входных данных и изолируйте пользовательские промпты от управляющих инструкций модели. Применяйте валидацию ввода и выводов, особенно в автоматизированных процессах. Если вы внедряете ИИ в пользовательские интерфейсы, ограничьте «область действия» модели, задав ей строгие рамки в системных промптах и используя механизмы вроде модерации контента.

3. Проблемы интеллектуальной собственности

Вы используете ИИ для генерации идей, текстов, кода, но знаете ли вы, кто юридически владеет результатом? Не всегда очевидно, особенно если вы не ознакомились с лицензионным соглашением на API или платформу. Некоторые провайдеры прямо указывают: все вводимые данные и результаты могут использоваться для обучения модели. Это может стать проблемой для патентования, коммерческой тайны и работы с клиентами.

Что делать:

Чтобы избежать проблем с интеллектуальной собственностью, проверяйте лицензионные условия используемой платформы. По возможности — выбирайте провайдеров, которые гарантируют, что вводимые данные и результаты остаются за вами. Если юридическая чистота результата критична, подключайте юристов на этапе выбора ИИ-инструмента и фиксируйте договоренности с поставщиком в отдельных соглашениях.

4. Зависимость от «черного ящика»

Искусственный интеллект — это не просто библиотека с функциями. Это система, способная интерпретировать, дополнять и даже трансформировать запрос. Но одна и та же задача может быть решена по-разному двумя нейросетями. А при обновлении модели или переходе на нового поставщика поведение может кардинально измениться. Если вы уже построили бизнес-логику на ответах конкретной нейросети — последствия могут быть фатальными.

Что делать:

Здесь все просто — не стоит завязывать критичные процессы на единственного поставщика. Стройте архитектуру с возможностью переключения между несколькими моделями. Отслеживайте изменения поведения модели при обновлениях: можно автоматизировать A/B-тестирование для критичных сценариев. Кроме того, фиксируйте версии моделей и храните ключевые шаблоны запросов и ответов.

5. Теневой ИИ и несанкционированное использование

Даже если вы все предусмотрели, сотрудники могут использовать сторонние сервисы без одобрения: отправлять документы в ChatGPT, генерировать отчеты в DeepSeek, загружать клиентские данные в Claude. Это — «теневая автоматизация», которую сложно отследить без специальных инструментов контроля.

Что делать:

Чтобы обойти эту проблему, нужно внедрить внутреннюю политику использования ИИ, четко прописав, какие сервисы разрешены, а какие — нет. Обучайте сотрудников: даже короткий воркшоп способен предотвратить множество ошибок. Установите средства мониторинга, например, Data Loss Prevention-системы (DLP), которые могут отслеживать попытки загрузки конфиденциальной информации в сторонние облачные сервисы.

6. Атаки на модели и data poisoning

Злоумышленники могут подсовывать вредоносные данные или команды, чтобы изменить поведение модели. Такой подход получил название data poisoning (отравление данных) — и его результаты порой обнаруживаются только после серьезных сбоев. Особенно опасно, если вы используете ИИ для обработки пользовательских данных на сайте или в приложении.

Что делать:

Если вы обучаете модели на пользовательских данных — обязательно реализуйте слои фильтрации и анализа входящих данных. Используйте подход с созданием белого списка и режимы песочницы, чтобы сначала проверять реакцию модели на новые данные. И, конечно, не забывайте о регулярном аудите: даже статичные модели нуждаются в контроле, если они работают с внешними источниками.

7. Юридическая и регуляторная неопределенность

С выходом AI Act в ЕС и новыми инициативами в США вопрос ответственности за действия модели встанет остро. Кто виноват, если модель генерирует дискриминационный контент? А если ИИ порекомендовал шаг, который привел к убыткам? В некоторых юрисдикциях вы, как бизнес, останетесь единственным ответственным лицом — вне зависимости от того, чья была модель.

Конечно, для России регуляторные изменения Европы и США пока неактуальны, но это только пока. Со временем искусственный интеллект начнут регулировать и в России, поскольку такая большая сфера просто не может остаться без внимания.

Хотя уже есть небольшие особенности отечественного законодательства, которые стоит учитывать при использовании зарубежных моделей. Например, недавние изменения в законе о персональных данных. Используя в нейросетях западного или китайского производства запросы, содержащие чьи-либо персональные данные, вы попадаете под его действие.

Что делать:

Решение этого вопроса простое — нужно следить за международными тенденциями и российским законодательством. Даже если в России пока нет четкого регулирования ИИ, лучше заранее строить процессы с учетом будущих требований и действующих законов. 

Документируйте все взаимодействия с ИИ, сохраняйте историю промптов и решений, полученных с участием модели. Если ИИ участвует в принятии важных решений — должен быть человек, который финализирует их и несет ответственность. Это и есть подход human-in-the-loop, к которому постепенно склоняются все регуляторы. 

Что дальше: нельзя просто «внедрить» ИИ и забыть

ИИ — это не просто инструмент, а инфраструктурная платформа, которую вы арендуете у другой компании. Это требует нового подхода к управлению, ответственности и безопасности. Приватность — лишь один из аспектов. Куда опаснее — потеря контроля над данными, зависимость от чужих услуг и общая неопределенность.

Пока регуляторы и разработчики лишь начинают вырабатывать общие стандарты, задача каждой компании — разработать свою стратегию ответственного использования. В ней должно быть предусмотрено все: от контрактов до технологий, от этики до резервных решений.

Искусственный интеллект может ускорить рост компании. Но только при условии, что вы понимаете, кому доверяете управление.