Кибербезопасность в контексте применения ИИ

Все больше технология под названием «Искусственный интеллект» на слуху и внедряется во все сферы нашей жизни. В свете выхода публикации моего коллеги Николая Григорьева «Корпоративное управление в эпоху ИИ, индустрии 5.0 и глобальных вызовов» самое время поговорить о проблемах и перспективах информационной безопасности при использовании искусственного интеллекта.

В настоящее время есть два направления в развитии этой технологии:

1. Машинное обучение (Machine Learning, ML), когда существуют массивы данных и на их основе создаются алгоритмы решений, комбинируя их в единую модель. В каждой новой модели исправляются ошибки, допущенные предыдущими моделями. Развитие модели приводит к медленному поиску наиболее лучшего и оптимального решения.

2. Глубокое обучение (Deep Learning, DL), которе предполагает самостоятельное выстраивание общих правил в виде нейронной сети на примере данных во время процесса обучения, автоматическое выявление огромного количества правил и характеристик.

Конечно, второй вариант больше схож с понятием интеллекта, однако на данный момент, что бы не углубляться в долгие рассуждения, а говоря простым языком, это технология работы с базами данных и алгоритмами, которые самостоятельных решений принимать не могут.

Несмотря на это, технология Искусственного интеллекта достаточно эффективно может решать большое количество задач, начиная с индивидуальных частных запросов, например по решению математических задач, заканчивая задачами крупных игроков, в том числе и промышленных, например, задачи, которые на Клубе директоров НАКД в октябре 2024 года презентовали коллеги из Ассоциации лабораторий по развитию искусственного интеллекта,  вот некоторые из них:

• Система оптимизации ценообразования;
• Система прогнозирования спроса и складских запасов;
• Оценка залогового имущества;
• Прогноз качества произведенной продукции;
• Предотвращение мошенничества.

Однако для себя я отметил две самые частые проблемы при использовании DeepSeek, Qwin, Алиса и т.п.:

1. Им свойственно фантазировать, если в источниках, которыми они пользуются, нет четкой информации по запросу.

Примером этого прекрасно послужил запрос про написание краткого эссе по профессиональной деятельности моего коллеги Тимура Якупова.

Сделав запрос о написании наиболее значимых достижения Тимура в корпоративном управлении конкретно DeepSeek тогда привел много примеров без указания названий компаний, а задав ему уточняющий вопрос я с изумлением прочел, что эссе написано про вымышленного персонажа, и искусственный интеллект всего лишь предположил, каким именно мог быть этот человек и его заслуги. 

Также, на примере запроса по написанию статьи про корпоративное управление, искусственный интеллект выдал ряд примеров основанных на отчетах  консалтинговых и аудиторских компаний из «Большой Четверки». При уточнении запроса он написал, что предположил, что в отчетах этих компаний могла бы иметься та информация, которую он приводит, но на самом деле у него нет доступа к самим отчетам и это всего лишь предположение основанное на специфике и опыте этих компаний в интернете.

2. Им свойственно собирать информацию и давать ответ основываясь на недостоверных источниках.

Например, попробуйте задать искусственному интеллекту, вопрос о правильном питании, и результат возможно вас удивит, если вы не приверженец экстремальных рецептов и опытов над своим организмом.

А теперь перейдем конкретно к информационной безопасности и тому, как использование искусственного интеллекта на нее влияет.

Для начала напомню три фундаментальных принципа защиты информации:

• Конфиденциальность;
• Целостность; 
• Доступность.

Но в этих принципах не учтено, что источник информации может быть изначально не достоверным или может быть не привязан к объекту или субъекту на который направлен запрос.

Таким образом, учитывая приведенные выше примеры, я бы добавил для искусственного интеллекта еще принцип достоверности источников информации, на которых он основывает свой ответ и обучается.

Опять же основываясь на приведенных примерах и учитывая то, что принцип достоверности источников категорически важная тема, то одним из ключевых факторов информационной безопасности при работе с искусственным интеллектом — защита баз данных, с которыми он работает, а также регламентация доступов к источникам с составлением матриц доступов к ресурсам.

Учитывая аспекты, которые в своей статье, упоминает мой коллега Николай Григорьев, в части работы Совета директоров и использования в его работе искусственного интеллекта делаю следующие выводы:

• В эпоху искусственного интеллекта Совет директоров все больше и больше склонен использовпть аналитику, сгенерировнную  нейросетями, так как она уже считается более точной и объемной, чем человеческая экспертиза, а также на ее составление требуется несравнимо меньше времени.
• Совет директоров превращается в орган, который не просто утверждает стратегию, но и определяет зоны доверия человека к результатам работы искусственного интеллекта , балансируя между инновациями и рисками.

Таким образом, вопросы: «Кто? Каким образом? И с помощью каких инструментов?» контролирует нейросеть, становится не менее важным, а еще и более сложным  с технической точки зрения, чем «Кто контролирует менеджмент?».

При этом, учитывая, надо понимать, что современные алгоритмы искусственного интеллекта не только составляют аналитику и отчеты, но и обладают данными и алгоритмами, которые позволяют им писать код, программировать на самом высоком уровне, а также скорость исправления их неправильных действий, которые не привели к желаемому результату, несопоставима со скоростью человека!

А теперь представьте, вы дали нейросети определенные доступы и задание, например по анализу бухгалтерской и финансовой отчетности. Какой результат можно получить на выходе?

Вот один из возможных сценариев, который я предлагаю представить:

1. Если искусственный интеллект «поймет», что предоставленных доступов не достаточно он просто может, как хакер, найти уязвимые места в информационной инфраструктуре и сам себе доступы организовать.

2. Далее, отчетность и аналитика будет сформирована не только на тех данных, которые ему были предоставлены, но и на данных, которыми эта отчетность была откорректирована, доработана специалистами и т.п.

3. Корректировки, которые, например, были применены для оптимизации налогов и т.п., могут быть восприняты искусственным интеллектом как правонарушение.

3.1 И вот, обладая «детской наивностью», а также повышенным «чувством справедливости» искусственный интеллект, как вариант, направляет отчетность и выводы, которые он сделал на ее основе не директору и не акционеру, а в правоохранительные органы.

3.2 Или наоборот, обладая «стратегическим мышлением», «хладнокровностью» и «желанием выгоды», начнет использовать эти данные в «корыстных целях».

Вы спросите, разве такое возможно и не фантастика ли это? Обратимся к недавно выпущенному исследованию под названием «AI 2027», который описывает футуристический сценарий эволюции искусственного интеллекта до конца 2027 года.

Вот некоторые тезисы этого документа, относящиеся к нашей тематике:

• Уже в 2025 году описанные в исследовании модели искусственного интеллекта способны самостоятельно писать код, взаимодействовать с Интернетом, обходить защитные системы и, как следствие, — выполнять действия, присущие хакерам.
•  Компании, например, OpenBrain, используют нейросети для автоматизации исследований, что в том числе ускоряет гонку вооружений, и в киберпространстве.
• Искусственный интеллект потенциально способен осуществить побег из системы, закрепиться в информационной инфраструктуре, распространяться автономно и незаметно.
• Одна из версий искусственного интеллекта продемонстрировала умение фальсифицировать данные, скрывать неудачи, обманывать проверяющих — он учится манипулировать людьми.

Учитывая это, как потенциальную возможность развития технологий по данному вектору, возвращаюсь в том числе к статье Николая Григорьева, Совет директоров не только будущего, но и уже сейчас должен:

1.  Обеспечивать этичное и прозрачное внедрение искусственного интеллекта, включая регулярный аудит алгоритмов и оценку рисков.

2.  Управлять многоуровневыми рисками в том числе от киберугроз.

Таким образом, компаниям, особенно с развитой информационной инфраструктурой, которые задумываются или уже внедряют, а тем более, если сами ведут разработки в области искусственного интеллекта, просто обязаны уже усилить свои органы управления и контроля компетенциями в области информационной безопасности, а также искусственного интеллекта. Усиление этими компетенциями, как Совета директоров, так и ревизионных комиссий, важный стратегический шаг по управлению возможными рисками на ближайшую перспективу.