РБК Компании

Инвестиции в искусственный интеллект стимулируют развитие кибербеза

О развитии технологий ИИ рассказывает эксперт «АйТи Бастион» — компании производителя отечественного ПО, имеющего сертификаты соответствия регуляторов РФ
Инвестиции в искусственный интеллект стимулируют развитие кибербеза
Алексей Иванов
Алексей Иванов
Заместитель технического директора «АйТи Бастион»

Окончил факультет автоматизации Воронежского технологического университета. Стаж работы в ИТ с 2003 года. Сертификат Microsoft Certified Specialist, 70-291.

Подробнее про эксперта

Ежегодный опрос McKinsey среди мировых организаций об ИИ подтвердил всеобщие прогнозы: инструменты генеративного ИИ — одни из самых популярных и быстрорастущих на данный момент. Треть респондентов заявила, что их организации регулярно используют генеративный ИИ минимум в одной бизнес-функции. Многие руководители высшего звена говорят, что они лично используют инструменты ИИ. Более 25% респондентов признают, что вопросы ИИ уже включены в повестку дня их советов директоров. 40% отмечают, что их организации увеличат инвестиции в ИИ. Несмотря на весь ажиотаж не все компании оказались готовы: лишь 21% респондентов утверждают, что в их организациях установлены политики, регулирующие использование ИИ в работе. Из ключевых проблем, что были выявлены — это неточность ИИ и вопросы кибербезопасности. 

Эти и другие аспекты комментирует Алексей Иванов, заместитель технического директора по вопросам инноваций «АйТи Бастион» — компании-эксперта по кибербезопасности, производителя отечественного ПО, имеющего сертификаты соответствия регуляторов РФ.

Считаете ли вы, что правительство должно взять под контроль искусственный интеллект?

Я считаю, что определенный уровень регулирования и контроля со стороны правительства необходим, особенно в вопросах безопасности, этики и доступности технологии. Однако слишком строгое регулирование может подавить инновации. 

В России, как и в других странах, есть активные исследования в области ИИ, и правительство заинтересовано в его развитии, а изучение технологий ИИ включено в стратегические направления. Однако законодательства, посвященного регулированию ИИ пока нет. К примеру, Moscow Digital School проводила опрос среди более 500 юристов, работающих в ведущих российских ИТ-компаниях и юридических фирмах, специализирующихся на интеллектуальной собственности и ИТ-вопросах. В результате оказалось, что более 60% опрошенных юристов считают, что деятельность в области искусственного интеллекта в России должна подлежать законодательному регулированию. Основные риски, связанные с использованием ИИ, включают юридические споры из-за нарушения авторских прав, репутационные риски и возможные утечки конфиденциальной информации. Ответившие на опрос подчеркнули важность введения законов, которые регулировали бы вопросы авторских прав и другие аспекты, связанные с ИИ. Также была подчеркнута необходимость защиты персональных данных и конфиденциальности информации, передаваемой через ИИ-сервисы. 

Какие опасности и перспективы в развитии ИИ вы видите с учетом отечественных реалий, в целом? И каковы они в сфере информационной безопасности, в частности?

Что касается опасностей, я бы отметил две основных: технологические ограничения и правовую неопределенность. Относительно технологических ограничений Герман Греф, глава Сбербанка, указывает на ограничения, связанные с «железом», в частности, с поставками специализированных чипов и других инструментов. Эти ограничения стали еще более актуальными из-за санкций и ограничений на высокотехнологичный экспорт в Россию. Относительно же правовой стороны вопроса отмечу, что в Госдуме обсуждают вопросы законодательного регулирования ИИ, в частности, принадлежности авторских прав на произведения, созданные с применением ИИ. Эта неопределенность может привести к юридическим спорам и затруднить развитие технологий.

В том что касается информационной безопасности, я бы выделили три основных риска. Во-первых, «риск утечки данных»: одной из основных опасностей является возможность утечки персональных данных или конфиденциальной информации через ИИ-системы. Во-вторых, «злоупотребление технологией»: ИИ может быть использован для кибератак, фишинга и других вредоносных действий, если не будет должным образом регулироваться и контролироваться. И, в-третьих, так называемые «перспективы защиты»: с развитием технологий ИИ возможности для обеспечения информационной безопасности также растут. ИИ может быть использован для обнаружения угроз, анализа больших данных и прогнозирования кибератак. 

Технологии на базе искусственного интеллекта также активно используются для обнаружения аномального поведения в сети. Эти инструменты обучаются на основе легитимных шаблонов сетевой активности и непрерывно сканируют поведение в сети для выявления аномалий. Они интегрируются с системами NDR (Network Detection and Response) и SIEM (Security Information and Event Management) для быстрого решения проблем.

В целом, с учетом отечественных реалий, ИИ предоставляет как большие перспективы, так и содержит серьезные риски. Эффективное регулирование и развитие собственных технологий могут сыграть ключевую роль в минимизации этих рисков и реализации потенциала ИИ.

Уже сегодня генеративный ИИ может искать уязвимости, писать политики ИБ и правила для систем обнаружения угроз, проводить анализ вредоносного ПО, автоматизировать проведение пентестов и поиск уязвимостей и многое другое. А может ли ИИ контролировать привилегированных пользователей в ИБ-инфраструктуре компаний?

В идеальном варианте должен существовать многоуровневый подход к безопасности, в котором ИИ действует в качестве одного из инструментов, подкрепляемого человеческим надзором и строгими процедурами аудита. Это поможет минимизировать риски злоупотребления и ошибок, которые могут возникнуть при автоматизированном контроле привилегированных пользователей.

Многоуровневый подход к информационной безопасности с использованием искусственного интеллекта начинается с автоматического мониторинга сетевой активности и поведения привилегированных пользователей. ИИ в этом контексте может анализировать трафик, аудировать действия и выявлять аномалии. Однако, несмотря на автоматизацию многих процессов человеческий элемент остается критически важным. Эксперты по безопасности должны пересматривать выводы, сделанные ИИ, и принимать окончательные решения. Все действия, предпринятые как искусственным интеллектом, так и людьми-операторами, должны быть документированы для последующего аудита, обеспечивая таким образом прозрачность и возможность анализа.

ИИ должен постоянно обновляться и переобучаться для адаптации к новым угрозам и изменяющимся паттернам поведения. Также необходимо учесть этические и юридические аспекты, особенно в отношении мониторинга привилегированных пользователей. Компании должны соблюдать законы о защите данных и конфиденциальности. Технологии ИИ, в свою очередь, также необходимо контролировать. Они не должны иметь неограниченного доступа к чувствительным данным или системам без явного одобрения живых операторов. Возможность отмены действий, предпринятых ИИ в случае ошибок или злоупотреблений, а также регулярные проверки третьей стороной могут помочь обеспечить работу ИИ в соответствии с установленными процедурами и законами.

Какие вы видите рабочие механизмы для достижения баланса между инновациями в развитии ИИ и системой его контроля?

Один из рабочих механизмов — это создание международных стандартов и регуляций, которые бы определяли допустимые методы и применение ИИ. Они могут включать в себя ограничения на использование ИИ в определенных сферах, таких как военная индустрия или системы принятия решений, влияющих на человеческую жизнь. Также важна роль независимого аудита. Организации и исследовательские центры могут проводить проверки алгоритмов ИИ на предмет их безопасности, этичности использования и соответствия законодательству. Прозрачность в данном контексте означает открытый доступ к методологиям и данным, на основе которых работает ИИ, что позволяет обществу лучше понимать и контролировать эти системы. Наконец, необходимо активное вовлечение общества в дискуссию о развитии и применении ИИ. Это может быть реализовано через публичные консультации, образовательные программы и партнерства между государственными, частными и образовательными учреждениями.

Какие вы бы отметили уязвимости и возможно ли вообще проводить аудит развития ИИ?

Одной из уязвимостей является этическая сторона, а именно возможность использования ИИ в недобросовестных целях, таких как манипуляция данными или нарушение приватности. Также существует риск того, что алгоритмы ИИ могут усилить существующие социальные и культурные противоречия, если они обучены на нерепрезентативных данных. С технической стороны, уязвимости могут включать в себя недочеты в соблюдении безопасности, эксплуатируемые для кибератак. Кроме того, сложность алгоритмов ИИ, особенно глубоких нейронных сетей, делает их «черными ящиками», трудными для понимания и контроля. Традиционные модели машинного обучения, могут эффективно решать определенные задачи, но часто сложно понять, как именно они пришли к такому решению. В этих вопросах применяются различные технологии, например Explainable AI («интерпретируемый ИИ»). Это подход в области искусственного интеллекта, который ставит целью сделать механизмы работы ИИ понятными и интерпретируемыми для человека, предоставляя четкие и понятные объяснения того, как модель работает. Что касается аудита развития ИИ, то это не только возможно, но и необходимо. Проверка может проводиться на разных этапах разработки и применения ИИ, начиная от фазы проектирования и заканчивая мониторингом уже функционирующих систем. Аудит может включать в себя проверку алгоритмов на предмет дискриминации, анализ безопасности и оценку соответствия этическим и правовым нормам. А независимые организации или эксперты могут проводить аудит ИИ для обеспечения объективности и прозрачности его работы.

Какие вы бы отметили изменения рынка труда в области информационных технологий? В чем суть наметившейся трансформации?

Последнее время я отмечаю рост и увеличение разнообразия специальностей на рынке труда в области ИТ, а также возросший спрос на профессионалов с высоким грейдом, повышение порога вхождения начинающих специалистов в ИТ. Также заметно следование технологическим трендам, таким как спрос на специалистов в области ИИ. Заметным становится быстрый рост глобального рынка консалтинга в области ИБ, который охватывает различные сегменты: сетевую безопасность, безопасность приложений и баз данных.

Увеличение числа кибератак и необходимость защиты критически важных инфраструктур приводит к высокому спросу на специалистов в области физического управления информационной безопасностью (PSIM) на таких серьезных объектах как военные структуры и в аэрокосмической промышленности. Также ожидается рост спроса на специалистов ИТ, работающих в сферах: медицины, права, искусства, розничной торговли, кино, образования и сельского хозяйства.

Последнее изменение: 15 января 2024

Интересное:

Новости отрасли:

Все новости:

Профиль

Дата регистрации17.07.2014
Уставной капитал30 000,00 ₽
Юридический адрес г. Москва, вн.тер.г. муниципальный округ Очаково-Матвеевское, ул. Староволынская, д. 15 к. 1, этаж 1 пом XV ком 24
ОГРН 1147746810056
ИНН / КПП 7717789462 772901001

Контакты

Адрес Россия, г. Москва, ул. Староволынская, д. 15, к. 1
Телефон +74993223667

Социальные сети

ГлавноеЭкспертыДобавить
новость
КейсыМероприятия