Нейросеть поражает, но не осознает: что именно умеет ИИ на самом деле

В настоящее время термин «искусственного интеллекта» (ИИ) необычайно широко обсуждается во всех сферах деятельности, как коммерческой, так и повседневной.

С каждым днем ИИ все активнее используются в повседневной жизни, но не многие вникают в суть того, что именно представляет из себя это явление, которое широко распространилось под термином «искусственный интеллект».

Для начала можно вспомнить определение слова «Интеллект» из словарей:

Большая российская энциклопедия (БРЭ)

Интеллект — способность мышления, рационального познания; включает такие функции, как восприятие, память, представление, воображение.

Наш интеллект, назовем его «естественный», возникает биологическим путем, связан с мозгом, телом, эмоциями, сознанием, личным опытом. Умеет гибко переносить знания между разными задачами, находя закономерности в совсем непохожих областях знаний, обладает интуицией, самосознанием, ценностями, мотивацией.

ИИ же, если говорить совсем упрощенно, воспринимает информацию исключительно в цифровом формате. То есть он не видит картину, видео, звук, а переводит эти образы в числовое представление. Обработка идет через вычисления, а не через живое восприятие. Любые сигналы переводятся в цифровую форму и затем обрабатываются алгоритмическими, математическими, статистическими методами.

ИИ не обладает творческими способностями, потому что не имеет сознания, личного опыта, эмоций, намерений и внутренней мотивации. Продукт работы ИИ, который выглядит как творчество, возникает как результат обработки большого объема данных, выявления закономерностей и создания новых комбинаций из уже предоставленных вариаций.

ИИ правильнее рассматривать не как самостоятельного творца, а как инструмент, способный имитировать творческую деятельность и помогать человеку. Это как калькулятор нового поколения, способный оцифровывать различные явления и находить в них закономерности.

Данные методы уже плотно вошли в нашу жизнь, например, системы банковского скоринга давно предсказывают, вернет ли заемщик кредит в срок, и на основе этих предсказаний многие банки принимают решения об одобрении кредита. Алгоритмы рассчитывают стоимость поездки на такси в популярных агрегаторах, рекомендательные системы в интернет-сервисах угадывают, какой фильм/товар нам должен понравиться. Машинное зрение следит за нарушением ПДД на дорогах и в случае выявления производит фото/видео фиксацию. Многие рутинные функции действительно можно и нужно доверять алгоритмам, т.к. они разгружают человека от рутины и позволяют сосредоточиться на других задачах.

В последнее время все большую популярность набирают генеративные модели ИИ, которые позволяют создавать изображения, текст, видео. Многие воспринимают результаты работы ИИ и генеративных лингвистических моделей как нечто истинно верное, не требующее проверки. Но давайте спросим одну из последних моделей OpenAI GPT-5.4.

К примеру, я дал GPT-5.4 следующий запрос: «Опиши принцип действия своей модели и оцени вероятность ошибок в собственных ответах, исходя из самого принципа действия».

Ответ был следующим:

«Я — GPT-5.4, языковая модель, которая генерирует ответ по шагам, предсказывая наиболее уместное продолжение текста на основе:

• входного запроса,
• контекста диалога,
• закономерностей, усвоенных при обучении на больших массивах текста,
• внутренних представлений о смысле, структуре языка, фактах и типовых способах рассуждения.

Упрощенно принцип действия такой: я не «достаю готовый ответ из базы», а каждый следующий фрагмент текста выбираю как наиболее подходящий с учетом предыдущих. При этом в ходе обучения модель формирует сложные статистические и семантические связи, за счет чего может:

• объяснять,
• обобщать,
• сопоставлять,
• решать типовые задачи,
• имитировать рассуждение.

Но именно из этого принципа следуют и ошибки.

Основные источники ошибок:

• Я работаю не через гарантированно истинную базу знаний, а через вероятностное порождение текста.
• Мои внутренние представления часто полезны, но не эквивалентны строгой проверке фактов.
• Если запрос неоднозначен, я могу «достроить» недостающие детали слишком уверенно.
• В сложных логических, математических или узкоспециальных вопросах возможны сбои на промежуточных шагах.
• Если в обучающих данных были противоречия, модель может выбрать не тот шаблон ответа.
• Формулировка может звучать убедительно даже тогда, когда вывод частично неверен.

Оценить «общую вероятность ошибок» одной цифрой корректно нельзя, потому что она сильно зависит от типа задачи. Но качественно можно оценить так.

Низкая вероятность ошибки обычно у:

• простых объяснений общеизвестных тем,
• перефразирования и редактирования текста,
• задач на структуру, стиль, суммирование,
• типовых вопросов с устойчивым консенсусным ответом.

Средняя вероятность ошибки обычно у:

• вопросов, где важны детали и исключения,
• междисциплинарных объяснений,
• прикладных советов без полного контекста,
• программирования и анализа сложных текстов.

Высокая вероятность ошибки обычно у:

• узкоспециализированных фактов,
• запросов, требующих актуальных данных,
• длинных цепочек точных вычислений без проверки,
• юридических, медицинских, финансовых выводов,
• вопросов с подвохом, неполными данными или скрытой неоднозначностью.

Если все же дать грубую самооценку по принципу работы, то:

• в языковой форме и связности я обычно надежен;
• в фактической точности — умеренно надежен, но не безусловно;
• в точных деталях — надежность заметно падает без внешней проверки;
• в новых, редких или критически важных вопросах мои ответы нужно проверять.

Самая важная мысль: моя ошибка часто выглядит не как «бессмыслица», а как правдоподобный, гладкий, но неверный или частично неверный ответ. Это прямое следствие вероятностной природы модели.

То есть модель GPT-5.4 не умеет понимать и анализировать смыслы так, как это делаем мы, люди, модель на базе «вероятностной природы модели» сымитирует рассуждение и выдаст то, что будет выглядеть правдоподобно.

Кроме этого, языковым моделям, которые принято называть «искусственным интеллектом», случаются такие явления, как галлюцинации.

Галлюцинации — это случаи, когда модель выдает уверенно звучащую, но неверную, недоказанную или вымышленную информацию.

Основные причины:

• Предсказание вместо знания. Модель оптимизирована на правдоподобное продолжение текста, а не на внутреннюю проверку истинности каждого утверждения.
• Неполные или неоднозначные данные в запросе. Если вопрос расплывчатый, модель может «достроить» недостающие детали, и это достраивание окажется неверным.
• Похожие шаблоны смешиваются. Например, модель может спутать две похожие книги, даты, фамилии, термины или события, потому что они статистически близки.
• Отсутствие доступа к реальной проверке фактов. Если нет обращения к внешним источникам, модель не сверяет ответ с актуальной реальностью в момент ответа.
• Слишком сильное стремление быть полезной. Когда пользователь ожидает ответ, модель иногда лучше «попробует ответить», чем честно остановится на «не знаю».
• Ошибки в длинных цепочках рассуждений. Чем больше промежуточных шагов, тем выше шанс, что на одном из них появится неточность, которая потом потянет за собой остальные.

Подводя итог, генеративный ИИ может быть полезным и выручать человека в рутинных делах, но было бы большой ошибкой, опираясь на понятие «искусственный интеллект», слишком доверять результатам работы данных алгоритмов, принимать их за истину и тем более опираться на ответы ИИ в принятии важных решений. Это инструмент, и, как любой инструмент, при грамотном использовании приносит пользу, но при непонимании того, что скрывается за этим термином, какие принципы лежат в основе, может ввести в заблуждение и оказать человеку медвежью услугу.