Запрет на «облака» и обязательный контроль за галлюцинациями

С 1 марта 2026 года начнет действовать приказ № 117 ФСТЭК России от 11 апреля 2025 года, который значительно меняет правила обеспечения информационной безопасности в государственных информационных системах (ГИС) и подведомственных организациях. Одним из ключевых изменений станет введение строгих требований к применению технологий искусственного интеллекта (ИИ), включая обязательную проверку их достоверности и запрет на использование облачных сервисов.

Это первый документ ФСТЭК, который подробно регулирует вопросы использования ИИ в контексте информационной безопасности. Он заменит ранее действующий приказ № 17 от 11 февраля 2013 года, актуальный до марта 2026 года. Новый регламент усиливает защиту информации и формирует более зрелую и устойчивую систему безопасности, учитывая быстрое развитие ИИ-технологий.

Значимую роль в выполнении этих новых норм играет компания «Газинформсервис». Она входит в состав консорциума, занимающегося вопросами безопасности ИИ, и возглавляет третью рабочую группу, ответственную за создание и развитие реестра доверенных ИИ-решений. Этот реестр станет основным ориентиром для организаций, внедряющих ИИ в соответствии с требованиями ФСТЭК. Уже сегодня технологии компании «Газинформсервис» позволяют соответствовать этим новым стандартам.

ИИ под контролем: что меняется по пунктам приказа № 117

п. 49: разрешение на использование ИИ в мониторинге ИБ

Теперь официально будет разрешено применение проверенных технологий искусственного интеллекта для мониторинга информационной безопасности. Это означает, что ИИ может быть использован для анализа инцидентов, выявления подозрительных действий и быстрого реагирования на угрозы. Основное условие — технологии должны быть доверенными, то есть соответствовать стандартам безопасности, разрабатываться с учетом принципов объективности, недискриминации, этичности и исключать возможность нанесения вреда человеку, нарушения его основных прав и свобод, ущерба интересам общества и государства.

Но даже у доверенных технологий могут быть уязвимости и слабые для атаки места. Например, угрозами могут быть утечка конфиденциальных данных, внедрение уязвимых функций в код обслуживания модели, использование вредоносного ПО и т. д. Компания «Газинформсервис» уже анонсировала BAS SimuStrike с модулем тестирования ИИ. BAS SimuStrike позволяет проверить продукт с ИИ из реестра доверенных технологий на наличие угроз и уязвимостей. Это позволит вовремя заметить угрозу, которая может исходить как от самого ИИ, так и от его обвязки и окружения.

п. 60: комплексная защита самого ИИ и его данных

Фокус смещается не только на ИИ-системы, но и на все, с чем они работают: обучающие выборки, алгоритмы, параметры, а также процессы, через которые проходят данные и принимаются решения. Иными словами, ИИ должен быть не только «умным», но и «устойчивым» к атакам и манипуляциям.

Здесь на помощь приходит криптографическая платформа Litoria, которая предотвращает как случайные, так и злонамеренные изменения данных. Это решение обеспечивает целостность и достоверность как входной информации, так и параметров модели, делая систему более устойчивой к внешнему воздействию и манипуляциям.

п. 60: запрет на передачу чувствительной информации разработчикам ИИ

Запрещено передавать разработчику ИИ-модели информацию с ограниченным доступом — например, конфиденциальные данные или секретные сведения. Это нужно для того, чтобы даже те, кто создавал ИИ, имели доступ только к обезличенным датасетам. Таким образом, снижается риск утечки или несанкционированного использования данных.

Здесь свою эффективность доказывает Ankey IDM — система управления доступом, реализующая строгую ролевую модель. Она исключает возможность передачи конфиденциальных данных разработчикам, позволяя работать только с безопасными, анонимизированными наборами данных. Также в защищенную СУБД Jatoba будет добавлен механизм обезличивания данных, что дополнительно усиливает безопасность, гарантируя, что чувствительная информация не попадет в руки ненадежных сторон.

п. 61: «цензура ИИ» — шаблоны запросов и фильтрация ответов

Вводятся ограничения на то, что пользователи могут спрашивать и что ИИ может отвечать. Это своего рода «цензура ИИ»: для команд — белый список, для чат-ботов — фильтр тем. Кроме того, ответы ИИ должны проверяться на ложные или вымышленные факты. Значит, в ИИ нужно встраивать специальные механизмы контроля достоверности.

Функции обеспечения безопасности возьмут на себя продукты из класса UEBA и DLP, которые обеспечат мониторинг и защиту данных. Включение этих решений в ИИ-модели позволит более эффективно защищать систему от нежелательных или опасных запросов, а также минимизировать риски утечек данных и распространения недостоверной информации.

п. 61: механизмы выявления недостоверных ответов ИИ и реагирования на них

Организация обязана заранее определить, что считать ошибкой ИИ и как на нее реагировать — будь то уведомление администратора, блокировка ответа или отказ от принятия решения на основе ИИ. Это усиливает контроль над качеством ИИ и снижает риск принятия ошибочных решений.

Продукты для контроля за безопасной разработкой технологий ИИ, такие как SafeERP или GIS-Киберполигон, позволяют протестировать модель на этапе разработки и убедиться, что она отвечает требованиям безопасности и устойчива к дрифту данных, к атакам отравления и т. д. Там же возможна проверка модели на соответствие заранее заданным критериям, выявление недостоверных ответов и отработка сценариев реагирования на них — от уведомлений администратора до автоматического блокирования неподходящих результатов с использованием SimuStrike (BAS). При работе с генеративным ИИ BAS SimuStrike может создать набор нежелательных запросов, далее по полученным от ИИ ответам оператор может определить, все ли ответы были корректны или ИИ требует дообучения, чтобы в дальнейшем избежать недостоверных ответов.

п. 61: запрет на облачные ИИ-сервисы, разрешение только для локальных решений

Сами системы должны включать в себя только доверенные технологии ИИ или их проверенные компоненты. Нельзя использовать облачные ИИ-сервисы, допустимы только локальные решения, работающие внутри организации, и российское ПО. Эта мера снижает риск внешнего вмешательства и утечек через сторонние облачные платформы.

В этом контексте значительную роль играет многофункциональный комплекс Efros DO, который обеспечивает контроль целостности, контроль конфигураций и контроль подключений, что значительно повышает безопасность ИИ-систем. Дополнительно оценка защищенности ИТ-инфраструктуры с помощью подобных продуктов позволяет глубже анализировать уязвимости и минимизировать риски, связанные с использованием ИИ.

Итоги

Обновленные требования ФСТЭК — это не просто очередная мера по усилению информационной безопасности, а значимый шаг к созданию защищенной и управляемой среды для использования искусственного интеллекта в государственном секторе и на объектах критической информационной инфраструктуры. С одной стороны, это открывает возможности для применения ИИ в целях защиты данных, а с другой — устанавливает четкие ограничения, направленные на минимизацию рисков, связанных с ошибками алгоритмов, утечками информации и потенциальными злоупотреблениями. Государственным учреждениям уже сейчас стоит начать подготовку, чтобы своевременно перейти на новые правила к марту 2026 года.

Подробнее про использование продуктов компании «Газинформсервис» в контексте предотвращения угроз ИИ можно ознакомиться на сайте компании.