Почему нейросети стали выдавать некорректные ответы

Почему нейросети стали выдумывать ответы

Раньше ИИ учили на качественных текстах — статьях экспертов, научных работах, проверенных источниках. Сейчас интернет завален текстами, которые генерируют сами нейросети. Новое поколение ИИ учится на данных с ошибками предыдущих версий.

Получается цифровой «испорченный телефон»: информация искажается с каждым пересказом в промышленных масштабах. Это можно наблюдать, когда на запрос ИИ выдает нерелевантный ответ, который совсем не бьется с тем, что мы ожидали увидеть.

Кроме этого, нейросети начали терять мысль посреди ответа. Только что рассуждали об одном, а в выводах противоречат сами себе.

Имеющаяся сейчас во всех популярных нейросетях функция поиска в интернете добавила новую проблему: ИИ не отличает достоверный источник от сомнительного и может обосновывать свои выводы на несуществующих фактах. Просишь ИИ проверить данные и цифры в его же ответе и получаешь: «Извините, я использовал нерелевантную запросу информацию».

В ту же копилку багов  — когда ИИ придумывает факты. В прошлом году системы честно признавались, когда не могли ответить — примерно в трети случаев. Сейчас отвечают на все подряд даже при недостатке информации. Причина — разработчики боятся, что пользователи уйдут к конкурентам.

Чем это опасно для бизнеса

Компании рискуют:

• принять неправильное решение на основе недостоверных данных,
• потерять деньги из-за некорректного анализа,
• испортить репутацию некорректными ответами клиентам,
• отучить сотрудников думать самостоятельно.

Для государственных структур последствия серьезнее: 

• сбои в административных системах, 
• ошибки в распределении бюджета, 
• уязвимость критической инфраструктуры.

Особая тема — образование. Исследования показывают: чем больше человек полагается на ИИ, тем слабее его собственные интеллектуальные способности.

Как застраховать себя и компанию от неблагонадежных ответов ИИ

В Ферсол Академии мы разработали пять правил безопасной работы с ИИ:

1. Всегда проверяйте факты. Получили цифры, даты, имена? Найдите подтверждение хотя бы в двух независимых источниках.
2. Просите указывать источники. Спрашивайте ИИ: «На основании чего ты это утверждаешь?» Если система не может назвать источники — красный флаг.
3. ИИ для черновой работы, не для решений. Пусть нейросеть соберет информацию, предложит варианты. Но финальное решение за вами.
4. Перепроверяйте важное у экспертов. Если вопрос касается здоровья, финансов или права, консультируйтесь со специалистом.
5. Развивайте критическое мышление. Задавайте себе вопросы: «Логично ли это?», «Не противоречит ли известным фактам?», «Откуда информация?»

Что делать компаниям, которые внедряют ИИ в бизнес-процессы:

• Уделите особое внимание важности проверки информации от ИИ, лучше всего создать специальный регламент.
• Обучите сотрудников навыкам работы с ИИ и безопасному использованию.
• Назначьте ответственных за контроль качества.
• Фиксируйте ошибки ИИ для выявления закономерностей.
• Оставляйте финальные решения за людьми.

Искусственный интеллект может здорово помочь в работе, если понимать его слабые места и не ждать невозможного. Доверяй, но проверяй — один из главных принципов в работе с нейросетями.