На пути к «умному государству»: в ВШЭ оценили государственные чат-боты

Все государственные чат-боты способны обеспечивать хорошее качество работы, говорится в аналитическом отчете «Индекс ИИ-ассистентов органов государственной власти», подготовленным Международной лабораторией цифровой трансформации государственного управления НИУ ВШЭ. Лучшие результаты показал «Робот Макс», помогающий пользователям «Госуслуг». 

В выборку вошли виртуальные помощники, консультирующие граждан на самых разных ресурсах — от единого портала госуслуг до специализированных сервисов в сферах налогов, транспорта, социальной поддержки, образования и ЖКХ. Цель исследования — оценить, насколько эффективно умные помощники справляются со своими задачами. 

Государственный сектор в России переживает этап активной цифровой трансформации, отмечается в исследовании. Органы власти внедряют технологические решения для повышения эффективности и качества публичных услуг, и в их числе — чат-боты. Предполагается, что такие ИИ-ассистенты смогут оперативно консультировать граждан в режиме 24/7, автоматизировать рутинные запросы и снизить нагрузку на живых специалистов. 

Все восемь оцененных в рамках исследования чат-ботов попали в категорию «средний уровень работы», за исключением одного, который набрал балл, соответствующий «высокому уровню». Лидером рейтинга оказался «Робот Макс» — цифровой помощник, встроенный в единый портал государственных услуг.

Как отмечается в исследовании, с точки зрения выполнения требований безопасности и конфиденциальности все анализируемые государственные чат-боты находятся на должном уровне. Разработчики уделили первоочередное внимание правовой проработке внедрения ИИ, минимизации рисков утечки данных и соблюдению нормативов. Государственные ассистенты встроены в общую систему защиты информации и работают в строгих заданных рамках. 

Еще одним плюсом, который отметили некоторые пользователи, стала готовность отдельных государственных ботов предложить несколько вариантов решения проблемы. Например, виртуальный помощник мог бы не просто сообщить инструкцию, но и сразу сгенерировать ссылки на разные способы получения услуги — онлайн через портал либо очно, с указанием ближайшего центра обслуживания. Наличие альтернатив и выбор оставляет у граждан более позитивное впечатление, повышая доверие к цифровому консультанту.

Авторы исследования выявляют ключевые меры, которые помогут раскрыть потенциал ИИ-ассистентов:

• Вовлечение граждан в разработку решений. Пользователи должны участвовать в процессе создания чат-ботов — через опросы, фокус-группы, бета-тестирование. Такой подход, известный как совместное или пользовательско-ориентированное проектирование, позволяет учесть реальные потребности аудитории и повысить доверие к итоговому продукту. 
• Универсальный дизайн и доступность интерфейса. Необходимо изначально разрабатывать интерфейс виртуального ассистента с учетом разнообразия пользователей, включая маломобильных граждан и людей с ограниченными возможностями здоровья. 
• Обучение пользователей правильному взаимодействию с ИИ. Если граждане будут лучше понимать, «как спросить, чтобы получить ответ», эффективность системы возрастет.
• Регулярная актуализация базы знаний чат-бота. Нужно наладить непрерывное обучение модели на основе реальных запросов пользователей. 
• Привлечение квалифицированных IT-кадров. ИИ-ассистенты при грамотном использовании способны принести реальную пользу государству и гражданам. Потенциал экономии времени и ресурсов, повышения доступности услуг и улучшения обратной связи очевиден, отмечают авторы исследования.

Об исследовании:

В рамках исследования был изучен международный опыт, в том числе проанализированы семь авторитетных индексов и методик, применяемых за рубежом для оценки развития искусственного интеллекта и электронного правительства. В их числе — индексы готовности правительства к ИИ, глобальные рейтинги развития ИИ, индексы электронного правительства ООН и ОЭСР и другие. Выявив общие подходы, исследователи сформировали модель индикаторов специально для оценки госчат-ботов. В итоговый Индекс ИИ-ассистентов в цифровой среде государства включили четыре ключевых компонента:

• Регуляторные стандарты — соответствие работы ассистента законодательным требованиям, нормам безопасности данных, этическим стандартам и защите персональных данных.
• Технологии — технические возможности чат-бота: надежность инфраструктуры, соблюдение современных требований кибербезопасности, способность масштабироваться под нагрузкой.
• Эргономичность — удобство использования с точки зрения обычного пользователя: понятность интерфейса, простота общения, доступность сервиса для разных групп населения.
• Функциональность — практическая полезность виртуального помощника: насколько полно и актуально он отвечает на вопросы, выполняет заявленные функции и решает проблемы граждан.

Каждый из этих компонентов был детализирован на четыре подкомпонента с набором конкретных метрик. Затем с помощью экспертного опроса определили вес каждого компонента в сводном индексе. В опросе участвовали 25 экспертов — специалисты в сфере государственного управления, цифровых технологий и непосредственно опыта работы с чат-ботами. Они ранжировали компоненты по значимости, после чего ранги были конвертированы в коэффициенты весомости. В результате наиболее весомым компонентом ожидаемо стали «регуляторные стандарты» (34% веса индекса), чуть меньший равный вклад получили «функциональность» (24%) и «технологии» (25%), а компонент «эргономичность» оказался наименее весомым (17%). 

Чтобы учесть пользовательский опыт, был проведен опрос граждан: в нем приняли участие 134 респондента разного пола, возраста, профессий и регионов, что придало результатам необходимую репрезентативность. Участники тестировали функционал ассистентов, задавали им типичные вопросы и затем делились своими впечатлениями об удобстве и полезности полученных ответов. Параллельно авторы собирали объективные данные о возможностях каждого чат-бота, наличии тех или иных функций, соблюдении установленных стандартов и т.д.