Файрвол, блокирующий атаки на ИИ, разработали в России

Инструмент создан для фильтрации запросов к ИИ и защиты чувствительных данных.

Разработка актуальна для компаний, которые уже активно внедряют ИИ в бизнес-процессы и сталкиваются с первыми проблемами. В частности, инструментов для защиты ИИ ждала финансовая отрасль. Так, Ассоциация ФинТех и ГК Swordfish Security в конце 2025 опубликовали исследование, согласно которому 25% крупнейших финансовых компаний уже столкнулись с инцидентами с участием ИИ. А 75% финтех-организаций выделяли утечку конфиденциальных данных в качестве ключевой угрозы безопасности при использовании ИИ. В выборку вошли крупнейшие компании финансового сектора.

AppSec.AIGate сочетает в себе несколько функций: инспекцию запроса, контроль доступа и политики безопасности, автоматическую блокировку атак и предотвращение утечек данных, а также аудит истории всех взаимодействий с ИИ. Это прокси-шлюз, позволяющий установить барьер безопасности между пользователем и LLM-моделью. Сервис позволяет обнаруживать попытки манипуляций языковой моделью в реальном времени и пресекать такие действия, а также маскировать чувствительные данные. Инструмент обнаруживает широкий спектр атак, направленных на обход ограничений.

«AppSec.AIGate анализирует не сам запрос, а контекст запроса, его семантику. То есть он анализирует, что пользователь хочет получить от модели и что он туда передает. На дашборде у ИБ-инженера появится уведомление: вот такой-то запрос заблокирован, потому что это попытка взлома модели. Или в таком-то запросе есть чувствительные данные. Или такой-то запрос заблокирован, потому что его содержание относится к запрещенным категориям. Сервис предусматривает набор кастомных правил, настроенных с учетом внутренней политики компании, при которых запрос, содержащий определенные ключевые слова, будет заблокирован», — рассказал директор по развитию безопасных технологий искусственного интеллекта Swordfish Security Юрий Шабалин.

Специализированный модуль обнаруживает и маскирует чувствительные данные, которые используют разработчики при работе с ИИ-моделью, таким образом предупреждая возможные утечки.

ПО для защиты LLM-моделей от атак — один из самых ожидаемых продуктов в области кибербезопасности на российском рынке. По данным исследования Ассоциации ФинТех, четверть финансовых компаний, внедряющих языковые модели, столкнулись с первыми кибер-инцидентами уже в 2025 году, и их количество, по мнению экспертов в области кибербезопасности, будет поступательно расти.