«Не тормозить ИИ»: GlowByte подвела итоги дискуссии о рисках нейросетей

В Москве прошла профильная конференция по вопросам внедрения искусственного интеллекта — «Большой митап PRO AI», в рамках которого состоялся круглый стол с участием экспертов «Информзащиты», «Цемроса», «Ингосстраха», «Русал Менеджмента» и «Инго Банка». Организаторами мероприятия выступили «Ингосстрах» и ИТ-компания «Лоция». Модератором дискуссии стал директор практики искусственного интеллекта и машинного обучения GlowByte Александр Ефимов. 

Эксперты обсудили ключевые вопросы информационной безопасности при работе с технологиями искусственного интеллекта. В частности, речь шла о трансформации угроз при внедрении ИИ и поиске баланса между скоростью внедрения технологий и безопасностью.

Участники сошлись во мнении, что с технической точки зрения внедрение ИИ не создает принципиально новых видов угроз, однако кратно усиливает уже существующие риски и требует от специалистов по ИБ погружения в новую технологическую среду.

«Ничего нового, но разбираться придется»

Открывая дискуссию, модератор сессии Александр Ефимов предложил спикерам высказаться, действительно ли существует проблема информационной безопасности при работе с нейросетями или использование ИИ — это то же самое, что обычный поиск информации в интернете с помощью Yandex или Google.

Директор департамента ИБ, «Русал Менеджмент», Михаил Редишев подчеркнул, что использование нейросетей — это не проблема, а закономерное развитие технологий, и главный вызов — не в появлении сверхновых хакерских техник, а в «бешеном темпе», который задает бизнес. 

«Все классические угрозы (утечки, сбои доступности) были всегда. С появлением чат-ботов ничего нового не возникло, — отметил спикер. — Специфика — да, есть: то же «отравление» данных, например. Но если в компании уже были системно выстроены процессы информационной безопасности, кардинально трансформировать их не придется».

Руководитель департамента ИБ, «Цемрос», Владимир Козлов дополнил: 

«Если компания внедряет ИИ осознанно, с пониманием, чего хочется достичь и зачем, то в такой ситуации ИБ может выступать в роли саппорта, чтобы нивелировать новые риски, которые неизбежно порождает новая технология. Если внедрение происходит по схеме «у всех есть, и нам тоже надо», ИБ будет сложнее помочь бизнесу снизить возникающие дополнительно угрозы».

С ним согласился директор по развитию бизнеса «Информзащиты» Андрей Тимошенко, добавив, что в вопросах работы с ИИ есть другая сторона медали, которая может стать более сложным вызовом для всех. 

«Проблема в том, что компании, которые за 2–3 года не смогли выстроить базовую защиту, теперь пытаются встроить в свои процессы ИИ, создавая «снежный ком» проблем. Если «безопасник» не разбирается в устройстве моделей, векторных базах данных, «облаках» или АСУТП (автоматизированных системах управления технологическим процессом), он не сможет выстроить защиту. Приходится учиться, — подчеркнул он. — Но есть и обратная сторона медали: ИИ активно осваивают киберпреступники. Социальная инженерия с использованием дипфейков станет идеальным преступлением, когда мошенничество с помощью ИИ станет эффективнее человеческого. Вот это я считаю более глобальной проблемой».

Контур безопасности: от «запретить» к «разобраться»

По общему мнению участников дискуссии, корпоративная безопасность при работе с ИИ выстраивается в три этапа: обучение людей, разработка политики безопасности и только потом — внедрение технического контроля.

«Начинать надо с людей. Если просто бросить закрытый корпоративный чат-бот в свободное плавание, сотрудники будут использовать его неэффективно или во вред, — заметил один из участников. — Нужно объяснять, что такое «отравление» данных (data poisoning) и почему нельзя загружать в публичные модели чувствительную информацию».

Эксперт из «Русал Менеджмента» сказал, что нагрузка на ИБ-департаменты за последние три года выросла, но связывает это не только с ИИ, но и с общим развитием ИТ-отрасли, геополитической напряженностью и импортозамещением. 

«Атаки стали дешевле и проще. Но если компания выстроила базовые процессы, паниковать не стоит», — резюмировал он.

Глазами бизнеса: баланс между риском и скоростью

Модератор дискуссии Александр Ефимов перевел ход беседы к обсуждению вопроса, кто должен определять «цену ошибки». Представители бизнеса призвали коллег из сферы ИБ к диалогу, а не к тотальному контролю.

«Не надо смотреть на безопасность там, где вы генерируете публичные данные или тестовые шаблоны, — отметил заместитель начальника управления развития клиентских и сервисных платформ, «Ингосстрах», Дмитрий Никитин. — Но там, где речь идет о финансовой тайне и ценной информации компании, решения должны быть нестандартными. Например, небольшие языковые модели для внутренних задач безопаснее, чем обращение к публичным API».

Он также поделился позитивным опытом симбиоза: разработчики и ИБ-специалисты в его компании тестируют новые инструменты (в том числе новые методы ИБ) вместе. 

«Никто не пытается «сломать» систему из вредности. Наоборот, ИТ-разработчики сами предлагают свои кандидатуры для тестирования новых средств защиты со стороны ИБ. Это ускоряет разработку, а не тормозит ее», — отметил спикер.

Однако участники признали, что ложные срабатывания систем защиты и блокировка бизнес-фич (функций продукта) — реальность, с которой приходится сталкиваться на практике. Выходом здесь видится не только формальный регламент, но и наличие «человеческих точек контакта» для быстрого решения конфликтов. 

«Регламенты никогда не бывают идеальными. Всегда возникает нестандартная ситуация, которую можно решить только диалогом», — подчеркнул один из экспертов.

«Это вопрос договоренности и выработки сценария между IT, ИБ и бизнесом. Как коммуницировать между собой, чтобы получить конечную выгоду. На мой взгляд, какого-то универсального ответа нет. Конечно, есть «лучшие практики» — опыт компаний, но это все равно дискуссионный вопрос для каждого частного случая, потому что у каждой компании есть свой «внутренний код»», — подытожил тимлид DevOps «Инго Банка» Илья Лущик.

Кейсы и будущее: «цифровые коллеги» и работа с открытыми данными

Эксперт GlowByte также предложил обсудить прикладные сценарии применения ИИ и возможность сделать их безопасными. Например, в случае анализа открытых источников (сайтов конкурентов, публичных отчетов). В таких ситуациях, по мнению эксперта «Инго Банка», безопаснее настроить автоматического ИИ-агента для сбора и первичного анализа, чем загружать десятки PDF-файлов в публичную нейросеть вручную.

Говоря о будущем, эксперты затронули тему «цифровых агентов» — автономных программ, выполняющих задачи вместо человека. 

«Когда у компании появится «цифровой коллектив», потребуются паттерны безопасности совершенно иного уровня, — заметил директор центра искусственного интеллекта мультиагентных систем, «Ингосстрах», Сергей Шелепин. — Понадобятся внутренние аудиторы для этих агентов, которые будут проверять, не «сговорились» ли они между собой в обход интересов компании».

Итоговые рекомендации

Резюмируя, спикеры сформулировали несколько практических советов для компаний, внедряющих ИИ:

1.  Осознанность: Прежде чем внедрять, понять «зачем». Не делать это по принципу «у всех есть».

2.  Реалистичность требований: Требования безопасности должны быть выполнимыми. Если они заведомо нереалистичны, их будут нарушать, и тогда под удар попадут действительно важные вещи.

3.  Работа с людьми: Главный риск — люди, которым запрещают пользоваться современными инструментами. Они найдут обходные пути, которые не ловятся стандартными сканерами уязвимостей. Нужно объяснять, учить и вовлекать.

4.  Диалог: Нельзя делить компанию на «бизнес» и «безопасность». Только совместная работа в одной комнате над поиском баланса между риском, скоростью и выгодой даст результат.

«Технология новая, но паниковать не стоит. Надо просто сесть и разобраться в каждой конкретной ситуации в связке «риски-скорость-деньги», — резюмировал эксперт GlowByte Александр Ефимов. — И чем быстрее мы перейдем от запретов к выстраиванию внутреннего социального контракта по использованию ИИ, тем быстрее получим реальную пользу».