Безопасность ИИ-процессов: что важно учесть при внедрении систем

К 2026 году внедрение искусственного интеллекта стало базовым условием повышения эффективности, а иногда и выживания бизнеса. При этом я, как технический директор, вижу, что каждый новый AI-агент или LLM-модель в контуре компании — это новая, часто неконтролируемая, точка уязвимости.
Мы привыкли защищать периметр, базы данных и API. Но ИИ принес угрозы, к которым классический AppSec оказался не готов: Prompt Injection, отравление данных, кража весов моделей, галлюцинации, вызванные злонамеренными вводами. И чтобы не тушить пожары репутационных и финансовых потерь необходимо задумываться о безопасности в момент внедрения решений на базе ИИ.

Основные угрозы при внедрении ИИ и контекст 2026 года

Одной из главных угроз остается неавторизованное использование ИИ сотрудниками — Shadow AI, создающее неконтролируемые каналы обработки корпоративных данных.  Gartner прогнозирует, что к 2027 году примерно 17 % всех кибератак и утечек данных будут связаны с применением генеративного ИИ, а к 2030 около 40 % крупных предприятий столкнутся с нарушениями безопасности из‑за Shadow AI. Аналогичные проблемы озвучивали и российские эксперты на TAdviser SummIT 2025 в секции «Информационная безопасность». Для российских компаний эти риски усиливаются требованиями 152-ФЗ, отраслевых стандартов и внутреннего контроля: утечка данных через ИИ-инструменты может обернуться не только финансовыми потерями, но и проблемами при проверках со стороны регуляторов и аудиторов.

На этом фоне меняется и рынок решений для защиты данных. Например, крупный фонд Blackstone возглавил раунд финансирования из ≈400 млн долл. для израильского стартапа, создающего AI‑платформу для защиты данных, выводя его оценку до почти 9 млрд долл. Этот пример отражает приток капитала в технологии безопасности, связанные с ИИ, и подтверждает, что бизнес по всему миру понимает необходимость инвестиций в защиту AI‑инфраструктуры. 

Классификация угроз и зрелость безопасности ИИ: подход SAIMM

Чтобы не закрывать уязвимости хаотично и не «изобретать велосипед», мы внутри SML опираемся на SAIMM (Swordfish: Secure AI Maturity Model). Это отечественный фреймворк, построенный на основе мировых практик по безопасности и адаптированный под российское законодательство, включая требования ФСТЭК и 152-ФЗ. В SAIMM безопасность ИИ раскладывается на домены:

Governance (Управление). Определяет внутренние политики безопасности и методики оценки рисков перед запуском AI-проектов. Включает разработку правил использования ИИ, процедур контроля, распределение ответственности и аудита всех AI-систем. Цель — минимизировать ошибки в процессе принятия решений, связанных с внедрением ИИ, и предотвратить Shadow AI.

Data & Privacy (Данные). Отвечает за обработку и хранение данных: очистку, анонимизацию, контроль доступа, мониторинг использования конфиденциальной информации. Особое внимание уделяется предотвращению утечек через промпты, API и внутренние инструменты AI. Этот домен обеспечивает соблюдение требований законодательства и внутренних регламентов при работе с персональными и корпоративными данными.

Model Security (Безопасность модели). На этом уровне защищают саму модель от атак: Data Poisoning, Adversarial Attacks и манипуляций входными запросами. Также контролируется сохранность весов и логики модели, чтобы исключить кражу интеллектуальной собственности. Задача — предотвратить искажения решений ИИ, которые могут напрямую повлиять на управленческие и финансовые процессы.

Supply Chain (Цепочка поставок). На этом уровне проводится сканирование сторонних библиотек и компонентов, проверяется целостность загруженных моделей и ведется безопасный реестр артефактов. Для этих задач хорошо подходят ASOC платформы наподобие российской CyberCodeReview. Платформы должны обеспечивать SAST и DAST анализ исходного кода и моделей как на уровне Supply Chain, так и Infrastructure & Operations. Такой подход помогает минимизировать риски внедрения внешних компонентов и предотвращает попадание уязвимостей в производственную среду.

Infrastructure & Operations (Инфраструктура). Отвечает за защиту среды обучения, управление доступом к вычислительным ресурсам, мониторинг аномалий и логирование операций моделей. Здесь происходит непрерывное наблюдение за эксплуатацией ИИ-систем и интеграцию с SOC для своевременного обнаружения угроз.

Agents (Агентные системы). Предотвращает риски автономного поведения агентов и AI-ассистентов: ограничивает права, контролирует доступ к данным и API, предотвращает несанкционированные действия. Включает аудит всех операций агентов и периодическое тестирование на соответствие корпоративным требованиям безопасности.

SAIMM выделяет 4 уровня зрелости: от хаотичного (уровень 1), где безопасность держится на энтузиазме, до экспертного (уровень 4), где защита является непрерывным, автоматизированным процессом. 

Практические шаги для безопасной интеграции ИИ: с чего начать

Если вы только планируете внедрение или уже пилотируете ИИ-решения, то вам поможет чек-лист действий, основанный на практике SML и логике SAIMM, выполнение которых уже выведет вашу компанию сразу на второй уровень зрелости:

Шаг 1. Проведите инвентаризацию

Прежде чем защищать, проанализируйте, что у вас есть. Ваши разработчики уже используют Copilot? Маркетинг отправляет внутреннюю документацию в публичный ChatGPT?

Что делать: Создайте реестр ИИ-активов (модели, датасеты, агенты) и ответственных за их использование. Определите критичность каждого. Получите от ответственных лиц подтверждение, что документы под NDA не утекают через облачные LLM.

Шаг 2. Изолируйте и контролируйте агентов

Если вы внедряете агентов, которые могут читать почту или делать записи в CRM, вы даете ИИ руки.

Что делать: Реализуйте принцип минимальных привилегий. Агент должен иметь доступ только к тем API и к тем данным, которые критически необходимы. Обязательно настройте журналирование все действия агента. Проведите аудит всех действий агента за месяц работы. Периодически повторяйте аудит.

Шаг 3. Входной контроль компонентов

Актуально компаниям, которые используют Open Source решения, предобученные модели или внешние библиотеки.

Что делать: Внедрите обязательное сканирование всех входящих артефактов. Сформируйте список всех компонентов, из которых состоит ваша ИИ-система. Настройте карантинную зону для новых весов моделей: проверяйте их на наличие вредоносных «закладок» до того, как они попадут в контур разработки.​

Важно помнить, что безопасность ИИ — это системная, заранее спланированная практика, без которой компания рискует столкнуться с утечками, ошибками моделей и репутационными потерями. Она позволяет видеть потенциальные риски заранее и управлять ими еще до того, как ИИ станет критическим элементом бизнес-процессов.
Интеграция защиты ИИ на всех уровнях снижает вероятность инцидентов, повышает доверие клиентов, партнеров и регуляторов, а также укрепляет устойчивость бизнеса и уверенность в цифровой стратегии 2026 года.