Как проверить, что ИИ не врет: 3 лучших способа

Если точность ответа ИИ вызывает сомнения, а также в случаях высокой ответственности данных при подготовке текстов, воспользуйтесь одним из трех способов, а лучше скомбинируйте несколько из них (я, например, так делаю, используя ИИ при проверке полноты ТЗ и раскладке калькуляции стоимости).

1. Выверните промпт

Возьмите полученный ответ ИИ-модели и переформулируйте его в вопрос примерно так: «Подтверди, что {подставьте ответ ИИ}».

Если ИИ начинает предлагать другие ответы — верный знак, что предложенный вариант ошибочный. Это не 100%-я гарантия ошибки, так как существуют множественные ответы на наши запросы.

Полученный мной ответ от ИИ: «Для медной трубы оптимальным вариантом формулы цены для работы с поставщиком будет формула скользящей цены: котировка металла + фиксированная переработка».

Вывернутый промпт: «Подтверди, что для медной трубы оптимальным вариантом формулы цены …». Конкретно в данном случае мной было получено подтверждение корректности ответа.

2. Запросите источники

Запросите источники данных: ссылки, авторов, место публикации, год публикации. Например, «Укажи точную ссылку на источник, где указано …».

В моем запросе о формульном ценообразовании ИИ-модель в качестве примера привела формулу немецкой компании KME. Я сделал запрос: «Укажи точную ссылку на источник, где приводится формула цены крупной немецкой фирмы KME». Мне была указана ссылка на статью, которая размещена на сайте мелкого производителя продукции из металла. Судя по содержанию, скорее всего статья использовалась для SEO-оптимизации сайта. Доверять такому источнику я не могу.

Если модель вообще не указывает ссылку на источник приводимого факта — она с большой вероятностью врет. Некоторые ИИ-модели генерирует битые ссылки, так что не доверяйте просто факту предоставления источников, а проверьте их.

В этом году в качестве источников ответов ИИ по тематике управления закупками, мне дважды указывали ссылки на мои статьи, которые я не писал. Например, указывается, что источник — статья Дубовика С. В. «Профессия — снабженец» (не писал ее), или модель ссылается на мою методологию (дословно) «риск-ориентированных закупок, включая динамические преференциумы в тендерах и нелинейные формулы оценки предложений».

3. Запросите ответ у нескольких моделей

Запросите одинаковую информацию у трех разных ИИ-моделей, например, Gemini, Claude, Qwen. Если все три дают разные ответы — какая-то врет. Если ответ отличается у одной, а две дают идентичные ответы, высока возможность, что первая врет — это более 90% вероятности.

Важно, чтобы вы писали полностью идентичный промпт всем трем моделям.

Особенно это удобно делать, если вы пользуетесь агрегаторами ИИ (несколько ИИ-моделей на одном сайте, пользование которыми можно оплатить российской картой), например MashaGPT, SYNTX.

ИИ может все — но это неточно.