Консорциум по безопасности ИИ определит правила игры на ближайшие 10 лет

Лидер рабочей группы №2 Консорциума исследований безопасности технологий искусственного интеллекта, старший управляющий директор AppSec Solutions Антон Башарин рассказал об основных трендах на рынке кибербезопасности. 

В 2025 году вы возглавили одну из рабочих групп Консорциума по безопасности ИИ. Можно ли уже подвести предварительные итоги, что удалось сделать в 2025?

Участие в Консорциуме представителей вендоров и интеграторов в области кибербезопасности позволяет подойти к защищенности процессов, в которых применяют ИИ, комплексно. Основная задача рабочей группы номер 2 — формулировка требований к технологии ИИ в целом (а не только к моделям или данным) и методики их проверки. Был выбран путь от угроз к конкретным мерам защиты с ориентацией на международные таксономии угроз и требования ФСТЭК.

В процессе работы выработано около 100 требований, почти все они проверяются автоматически с использованием сканеров или специализированных инструментов. Однако ИИ-системы существенно различаются по критичности и области применения, что делает невозможным предъявление единого набора требований ко всем системам. Для решения этой задачи были определены 4 уровня доверия, каждый из которых предполагает свой набор обязательных требований в зависимости от критичности системы. 

Большие языковые модели уже активно внедряют в бизнес. Один из ключевых вопросов, на который нам предстоит ответить — можно или нельзя использовать модели вроде ChatGPT, DeepSeek или GigaChat в различных государственных информационных системах, и какие меры предосторожности необходимо неукоснительно соблюдать. Так, мы организуем своего рода испытательный полигон и разработаем специальное ПО для проведения испытаний технологий ИИ в различных сферах. Задача экспертов-членов Консорциума — определить правила игры на рынке, где взрывными темпами внедряется искусственный интеллект, и, в первую очередь, предусмотреть критерии безопасности для критической инфраструктуры.

Как вы оцениваете перспективы внедрения ИИ в бизнес-процессы в 2026 году?

Очевидно, степень проникновения технологий искусственного интеллекта в бизнес будет очень быстро расти. По данным Национального центра искусственного интеллекта при Правительстве РФ, в начале прошлого года 43% российских компаний использовали искусственный интеллект в своей работе, но только у 36% есть хотя бы минимальные политики безопасности в этой области. Злоумышленники справедливо полагают, что ИИ стал уязвимым местом, и активно этим пользуются. Основная задача экспертов по кибербезопасности — выработать стратегию и разработать технологии защиты ИИ, чем быстрее это произойдет, тем меньше мы увидим крупных взломов и утечек. AI Security — это новый рынок, он только формируется, но совершенно очевидно, что он будет расти  вслед за рынком продуктов на основе искусственного интеллекта. Объем первых в истории российского рынка сделок в сфере AI Security уже превышает сотни миллионов рублей. Крупнейшие компании в области финтеха уже внедряют в контур разработки отечественное решение AppSec.GenAI, инструмент анализа защищенности ИИ-систем на устойчивость к атакам. Основная задача продукта — определить, как языковая модель противостоит манипуляциям, выявить риски и предотвратить кражу чувствительных данных.

ИИ уже неотъемлемая часть бизнес-процессов. Если непосредственно языковые модели во многих сферах внедрены только в тестовом режиме, то

Существует мнение, что внедрение ИИ в безопасную разработку наоборот сделает анализ безопасности эффективнее.

В реальных проектах сочетание безопасной разработки и автоматизированного анализа резко снижает количество критических уязвимостей в продуктах.

Можно с осторожным оптимизмом предположить сокращение утечек примерно в 10 раз через несколько лет — при условии комплексного подхода: автоматический ИИ-анализ, процессы безопасной разработки и контроль над подрядчиками. Так будет меньше ложных срабатываний, быстрее выявляться  уязвимости, меньше критических багов в проде — значит, меньше утечек.

Безусловно, использование LLM в безопасной разработке пока связано с определенными издержками. Для эффективной работы требуется большой объем вычислительных ресурсов, расширенное контекстное окно (чтобы модель могла анализировать большие фрагменты кода целиком), а также предварительная подготовка и нормализация данных. Иногда такие системы действительно работают медленнее классических сканеров, но качество анализа часто оправдывает эти затраты.

Как минимум, ИИ уже активно пишет код, как влияет на безопасность  рост популярности vibe-coding?

Популярные подходы low-coding, vibe-coding позволяют ускорить написание кода, однако код, который создает LLM может быть небезопасным. В частности, модель может галлюцинировать, рекомендовать несуществующие, устаревшие или небезопасные версии компонентов. Функционально пользователь получает вполне работающий код, но с точки зрения безопасности там могут быть сюрпризы, например SQL-инъекции и логические ошибки. Использование ИИ-ассистентов не заменяет (возможно пока) применение классических инструментов и практик DevSecOps. В случае Open-Source компонентов модель может просто не успевать за скоростью обнаружения новых угроз и рекомендовать версии, которые уже не считаются безопасными. Поэтому внедрение дополнительных инструментов безопасности — необходимость. До 95% кода в программном обеспечении — это open-source компоненты. Чтобы защитить компанию от критических уязвимостей, необходимо как минимум регулярно проводить OSA — анализ. Необходим сервис, который способен «поднять флаг» при обнаружении подозрительных компонентов, определить, проверяют ли подрядчики фреймворки. Эти меры могут остановить потом уязвимых компонентов. В прошлом году мы доработали SCA-анализатор AppSec.Track для команд, которые активно используют low-coding.  Разработчик может прямо в диалоге с ИИ-ассистентом запросить проверку сгенерированного кода с помощью AppSec.Track, а система автоматически проверит используемые сторонние компоненты, подсветит потенциальные угрозы и предложит исправление. Новый функционал основан на протоколе MCP (Model Context Protocol). Он позволит избежать серьезных проблем с кодом, создаваемым LLM.

Какие новые тенденции могут проявиться в 2026 году?

Компании начали активно внедрять принципы РБПО, и если раньше это делал, в основном, только финтех, то сегодня до DevSecOps созрел весь более-менее крупный бизнес, который осознал риски для чувствительных данных.  Мы видим запрос на предупреждение уязвимостей, а не только на их последующий поиск и устранение, уверен, эта тенденция продолжится в 2026. Рынок безопасной разработки будет расти. Самые ожидаемые тенденции года — появление новых средств защиты Ai- систем. Это мировой тренд, появление средств защиты нового типа — это вопрос, над которым работают вендоры всех стран. Российский рынок ИБ сталкивается с теми же угрозами, что и мировой, но вынужден функционировать в особых условиях. Объем российского рынка объективно меньше мирового, но он сталкивается с теми же вызовами. Немаловажная особенность — для российских разработчиков и инженеров в последние годы изменился доступ к инструментарию, многие технологии и программные продукты, которые годами составляли основу защитных комплексов российских компаний, недоступны. Им на замену приходят продукты отечественных вендоров, которые постепенно составляют новую систему кибер-защиты. Тем интереснее задача для отечественных компаний-разработчиков ПО для кибербезопасности. 

Государство все чаще сейчас смотрит на развитие технологий, в первую очередь, искусственного интеллекта. Участие регулятора в развитии рынка растет, прорабатываются совместные подходы к инструментам контроля. С одной стороны, это накладывает определенные обязательства, с другой — стимулирует бизнес к развитию. Компании вынуждены пересматривать свои стратегии и применять более совершенные подходы к безопасности. Это, в свою очередь, провоцирует появление на рынке новых технологических решений и сервисных предложений по защите информации. Ключевым фактором становится осознание реальности угроз. Для бизнеса это служит важным сигналом: необходимость обеспечения безопасности очевидна всем. В выигрыше оказываются те игроки рынка, которые обладают соответствующими компетенциями и технологиями. Текущая ситуация позволяет им максимально реализовать свой потенциал, предлагая востребованные продукты для решения актуальных задач государственной и корпоративной безопасности.