Как «думают» нейросети и что думают о них

На закрытой встрече в Вашингтоне по вопросам искусственного интеллекта Сенат и представители всех крупнейших технокорпораций говорили по поводу регулирования развития и применения ИИ. Участвовали все сенаторы США и все основные хайтек CEO: Илон Маск, Марк Цукерберг, Сундар Пичаи (Google), Сэм Альтман (OpenAI), Дженсен Хуанг (Nvidia), Сатья Наделла (LinkedIn, Microsoft) — и Билл Гейтс. Прежде чем ситуация «выйдет из-под контроля» и начнет развиваться непредсказуемо, собравшиеся, оценив риски, говорили о необходимости формирования законодательной базы и механизмов регулирования. Хайтек кратко просветил сенат, что потенциал и скорость развития ИИ могут вызвать слишком резкие и слишком объемные изменения в устройстве мира — от быстрых изменений на рынке труда до проблемы предвзятости алгоритмов и риска утраты контроля над их обучением и развитием. Законодателям озвучивались первостепенные задачи, такие как необходимость баланса и синхронизации между инновациями, важность взаимного контроля и системы безопасности, которые не будут мешать инновационному процессу, но обеспечат плавность адаптации человечества к фундаментальному изменению среды обитания; а также необходимость прозрачности работы алгоритмов.

Акцент сделан на важности системной просветительской работы, поскольку люди массово должны получить необходимые знания о сути ИИ, работе алгоритмов, чтобы перестать быть настолько уязвимыми как сейчас перед дезинформацией на эту тему. Необходимо разоблачать фейки в части опасностей для рынка труда — с одновременным разъяснением сути начавшейся уже трансформации, а также слухов и мифов об опасностях утраты контроля над развитием ИИ — с одновременным созданием системы контроля за обучением алгоритмов ИИ. Ответы на эти и другие вопросы — в интервью Дмитрия Михеева, технического директора «АйТи Бастион» — компании эксперта по кибербезопасности, одной из первых российских компаний, производящих отечественное ПО и уже имеющей сертификаты соответствия от регуляторов РФ.

Перспективы и опасности развития искусственного интеллекта активно обсуждаются во всем мире, а в сентябре, после вашингтонской «закрытой» встречи, мы видим буквально бум самых разных мнений об ИИ и на российском информационном поле. Нужно ли его опасаться или страхи надуманные? Как развитие ИИ влияет на рынок информационной безопасности, в частности?

Очень много в этой тематике сейчас рекламного творчества, часто связанного с необходимостью монетизации и роста акций конкретных технологических компаний. Но, говоря об опасностях и перспективах развития ИИ, я бы выделил следующее. 

Во-первых, вопросы, связанные с интеллектуальной собственностью на модели и ПО, которые существовали ранее, никуда не делись сейчас. Стоит разрабатывать правила их использования, лицензии. 

Во-вторых, вопросы, связанные с обращением с данными — персональными, биометрическими и медицинскими. ИИ-решения используются для обработки таких данных, правила обращения описываются определенными разделами законодательства. Законов много, но они не эталон ясности, как и практика применения. 

В-третьих, вопросы, связанные с определенными практическими областями применения — для контроля критичных процессов, финансовых задач, «рейтингования» на уровне страны, задач, связанных с технологиями двойного назначения.  В этих областях, так или иначе, есть свои регулирующие правила и постоянно принимаются новые. Но на практике для среднего разработчика — это темный лес с волками, что можно, а что нельзя не понятно до сих пор. А как можно — эти вопросы надо поднимать, дорабатывать и делать понятными. 

Радикально новых задач, на мой взгляд, активное использование ПО на основе механизмов генеративного ИИ и связанных технологий пока не породили. Риски мы обсуждаем все те же и инструменты контроля, в свою очередь — применяем уже существующие.

Какие возможности ИИ вы уже используете при создании продуктов по кибербезопасности и кто, в свою очередь, будет контролировать ИИ?

Мы используем алгоритмы и методы ML в рамках нашего ПО по контролю действий привилегированных пользователей. Используются они в более-менее стандартном для таких средств режиме — для экономии времени и повышения производительности работы людей, за счет автоматизации рутинных операций по нескольким направлениям деятельности: поиск, анализ исходных данных, нечеткая логика для подсветки возможных нарушений. Грубо говоря, если использование таких механизмов экономит 10-15% времени программиста, на практике это означает, что за год не надо будет ставить на эти задачи еще одного человека, что напрямую означает финансовую выгоду. При этом, есть сценарии, где экономия кратно больше.

Также надо не забывать, что окончательное принятие административных решений, как правило, остается на операторах, функция автоматизированных средств не полностью накрывает функционал реагирования. Да, есть очевидные ситуации, где реакция системы на определенные сценарии детерминирована строго, но включение их в режим реагирования остается на операторе. Такая ситуация характерна для использования механизмов на базе ИИ — они не идеальны и могут давать как ложно-положительные, так и ложно-отрицательные результаты. Для модификации поведения часто требуется настройка и дообучение моделей, а для точной диагностики необходимо фиксировать и промежуточные результаты обработки решений, поэтому на практике редко полагаются исключительно на ИИ-механизмы.

Какие вы видите риски в связи со стихийным развитием ИИ?

Основная проблема, на мой взгляд, всех сложных моделей — получить цепочку принятия решений. На практике это выливается в вопрос: на основании чего «сложная модель» приняла то или иное решение. Такой результат получить от монолитной модели практически невозможно. Подобная информация при этом необходима ответственным за технологические операции людям для диагностики и верификации работы систем. Так или иначе, уязвимости ИИ-моделей — очень обширная тема — и качество входных данных, и качество обучающих выборок, возможность плавной модификации и дообучения без потери результата, реакция на «размывание» выборок и подобных сценариев достаточно подробно описана уже сейчас. Практика применения всегда  определяется на уровне ТЗ, где закладываются «диверсионные», альтернативные сценарии использования. Нужно выстраивать административные и технические механизмы апелляции принятых системой решений, использовать слой резервной экспертной оценки решений на критические режимы, отрабатывать работу без помощи ИИ-шага в обработке и работу с использованием решений более, чем одной модели. 

Механизмы на базе ИИ-моделей будут развиваться и при этом, очень активно. Подходы к их использованию и вся подоснова для этой технологии тоже будут эволюционировать и уже сейчас развиваются достаточно интенсивно. На мой взгляд, где условное «правительство» могло бы оказать серьезную поддержку — это в организации практического сотрудничества множества разработчиков в этой сфере, начиная от образовательных и научных программ и грантов, заканчивая фиксацией стандартов по разработке и применению таких разработок в части государственных информационных систем. В конечном счете, государство часто является заказчиком и потребителем сложных информационных решений и, в этой части, четкая формулировка допустимых практик и ограничений будет востребована и полезна.

В чем суть трансформации бизнес-процессов, вызванных активным развитием ИИ и как это влияет на рынок труда в рамках организации процессов по информационной безопасности компаний в нашей стране? 

Потребность в экономии времени людей явно востребована, так было ранее и, очевидно, будет и в дальнейшем. В этом есть очевидные финансовые выгоды, поэтому потребность в специалистах в области ИИ, в оборудовании для таких вычислений, в алгоритмах и методах — будет прирастать. 

На мой взгляд, вопрос шире, чем круг тем, которые обычно обсуждаются. Чтобы получить более-менее интересные практические результаты, недостаточно купить датацентр, набитый электроникой. Оборудование, конечно, нужно, но еще важнее стандарты работы с данными, чтобы делать их пригодными для автоматической обработки, т.к. любая статистика, а ML — это во многом статистические методы — опирается на качество исходных данных. Тут речь идет о целой индустрии работы с данными, то, что называется data-warehouse, data-lake и подобные элементы информационных систем. Они, в свою очередь, опираются на накопленные и размеченные массивы данных, как закрытых, так и общественно доступных — классификаторы, справочники, гео-привязки и т.п. Все это потребуется реализовать, обеспечив стандарты. Никакой ИИ такую инфраструктуру не сделает, к сожалению, это надо будет делать руками и головами живых людей в рамках законодательства.

В то время, как американские законодатели бьют тревогу, стремясь поставить на государственный контроль развитие технологий ИИ, как ситуация обстоит у нас?

На мой взгляд, дополнительного контроля в этой области, именно в части ИИ, не требуется, как минимум, сейчас. У нас в индустрии разных требований по контролю более, чем достаточно, но их практика применения далека от приемлемой, по-моему, даже в гораздо более понятных областях. Дополнительный слой регуляторики в области, которая еще совсем далека от повсеместного применения и не слишком понятна широкому слою специалистов — пользы не добавит, но добавит издержек. 

В итоге все упрется в задачи гораздо более узкие и практически понятные. Например, можно ли, и какие данные, в каком виде получать и передавать с инфраструктуры, где эти механизмы ИИ применяются, и в каких условиях. Порядок исполнения и апелляции на решения, принятые по таким процедурам. Независимый аудит и практика доступа к промежуточным данным для операторов. Хотя для использования в механизмах на основе ИИ есть свои тонкости. Как мне кажется, на практике, они сведутся к деятельности, которая уже вполне покрывается имеющимися требованиями регуляторов.