Нейросеть или кандидат? Как распознать ИИ в тестовых заданиях

За последние пару лет мощные нейросети вроде ChatGPT, Gemini и других перестали быть экзотикой. Они стали рабочим инструментом многих, включая соискателей. И если в повседневных задачах это благо, то при оценке кандидатов через тестовые задания возникает проблема: как убедиться, что работу выполнил человек, а не алгоритм, а кандидат не приукрасил свое резюме и реальные навыки?

Подозрения — не приговор, а повод для внимательной проверки. В этой статье поговорим о «красных флагах», которые помогут выявить ИИ, методах верификации и о том, как составлять задания, снижающие саму возможность нечестной игры.

Основные red flags: на что обратить внимание

Вы получаете от соискателя тестовое задание, которое выглядит почти безупречно. Но что-то смущает и возникают подозрения, что кандидат выполнил его не совсем самостоятельно, а с привлечением нейросетей. Разберемся, как распознать нейросеть в тексте, на какие моменты стоит обратить внимание, чтобы проверить свои подозрения.

• Стиль.

Контраст с резюме, сопроводительным письмом. Язык в тестовом вдруг стал невероятно гладким, академичным, лишенным индивидуальности? Или резюме пестрит ошибками, а тестовое написано безупречным литературным языком? Резкий стилистический разрыв — первый сигнал. Сюда же можно отнести внезапное обилие сложных терминов или, наоборот, примитивная лексика там, где в резюме заявлен высокий уровень.

«Синтетическая» гладкость. Текст кажется слишком «правильным», но при этом плоским и обезличенным. Не хватает живых оборотов, легкой небрежности, характерной для человеческой речи.

• Содержание.

Много воды, мало сути. Ответ полон общих фраз («это важно», «данный подход широко применяется»), но катастрофически не хватает конкретики, примеров, деталей, прямо запрошенных в задании.

Ответы не по теме (галлюцинации ИИ). Кандидат вдруг начинает рассуждать о вещах, которые вы не спрашивали — характерная черта нейросетей, склонных «додумывать».

Отсутствие личного опыта. Задание предполагало описание реального кейса из практики, а в ответе — только теория и абстракции. Или примеры есть, но они явно не соотносятся с опытом из резюме.

Странная логика, фактические ляпы. Вроде бы все гладко, но в неочевидном месте всплывает логическая нестыковка или фактическая ошибка (нейросети могут генерировать убедительный, но ложный контент).

Отсутствие оригинальности. Решение предсказуемо, стандартно, лишено свежего взгляда или критической оценки. Как будто взято из первого результата поиска.

• Код слишком идеальный или странный (для заданий технического характера).

Решение «из учебника». Код правильный, но неоптимальный или использует не самый подходящий для конкретной задачи метод — как будто взят из типового ответа.

Игнорирование ТЗ. Кандидат не следует четко указанным в задании стандартам кодирования или требованиям к архитектуре.

Нет «следов борьбы». Код выглядит идеально отполированным с первого раза, без признаков проб, ошибок, экспериментов, отладки.

• Технические нюансы (если доступны).

Скорость и паттерны. Задание выполнено нереально быстро для его объема и сложности. Или история активности (если есть доступ, например, в Google Docs) показывает долгие периоды бездействия, а затем вставку большого блока текста или кода. В последнем случае вполне вероятно, что кандидат использовал ИИ для тестового задания.

Методы верификации через интервью и не только

«Красные флаги» — лишь повод к действию, а не доказательство вины. Переходим к главному инструменту — устному собеседованию.

• Глубокий разбор тестового задания.

«Почему?» — ваш главный вопрос: «Почему вы выбрали именно этот алгоритм/подход/архитектуру?», «Почему отвергли альтернативу X?». Требуйте обоснования ключевых решений. Если человек не думал сам, а использовал нейросеть для решения тестовых заданий, он не сможет дать аргументированный ответ.

Уточняйте детали до мелочей: «Объясните, пожалуйста, как работает вот этот конкретный блок кода?», «Опишите шаг за шагом логику обработки данных в этом месте».

Проверяйте критическое мышление: «Какие, на ваш взгляд, слабые места у этого решения?», «Как бы вы его улучшили, имея больше времени/ресурсов?».

Убедитесь, что человек понимает суть: «Объясните своими словами, как работает технология Y, которую вы применили?», «Что означает термин Z в контексте вашего решения?». Так вы проверите реальное владение навыками, а не воспроизведение готовых решений.

• Переход к практике в реальном времени.

Мини-задача на интервью. Дайте небольшую, но релевантную задачу, которую нужно решить прямо на собеседовании (написать фрагмент кода, проанализировать короткий кейс, составить структуру ответа). Наблюдайте за ходом мыслей соискателя.

«Работа у доски». Предложите решить часть задачи или оптимизировать фрагмент кода вместе, онлайн или офлайн.

• Использование технических инструментов для проверки.

Детекторы AI-текста (GPTZero, Originality.ai, GigaCheck и др.) созданы для того, чтобы выявить нейросеть в тексте. Однако они могут быть лишь дополнительным источником информации, но им нельзя доверять на 100%. Эти инструменты часто дают ложноположительные (на человека) и ложноотрицательные (на хороший ИИ-контент) результаты. Никогда не делайте выводов только на их основе!

• Анализ контекста.

Проверка соответствия тестового опыту в резюме. Потрясающе глубокая работа от junior-кандидата с 6 месяцами опыта — повод задать больше вопросов.

Анализ портфолио. Сравните стиль, подход, качество работ в портфолио (если оно есть и актуально) с выполненным тестовым заданием. Обратите внимание, есть ли единство стиля и уровня.

Профилактика: какие задания кандидату будет сложнее выполнить с помощью ИИ

Самый эффективный способ бороться с использованием нейросетей — сделать задания такими, где их применение либо бесполезно, либо сразу видно. Смещаем фокус с результата на процесс, уникальность и контекст.

Упор на личный опыт и контекст компании:

• «Опишите реальную ситуацию из вашей практики, где вы столкнулись с проблемой, похожей на Х. Как вы действовали и к какому результату пришли?».
• «Как бы вы применили методологию Y к нашему конкретному продукту/процессу Z? Какие специфические сложности видите?».
• «Предложите решение для нашей текущей задачи [кратко описать], учитывая [наши специфические ограничения]».

Требуйте конкретики и деталей:

• «Приведите 2-3 конкретных примера использования технологии А в проектах, аналогичных нашему».
• «Опишите пошагово, как вы будете тестировать этот функционал. Какие конкретные тест-кейсы первыми придут вам в голову?».
• «Назовите 3 самых вероятных риска при реализации этого решения и ваши действия по их минимизации для нашего сценария».

Давайте задания на анализ, синтез и критику:

• «Сравните подходы А и Б для решения задачи Х. Взвесьте плюсы и минусы каждого применительно к [нашим условиям]. Какой бы выбрали вы и почему?»
• «Проанализируйте приложенный кейс (или наш недавний публичный кейс). Какие ошибки, на ваш взгляд, были допущены? Что бы вы сделали иначе?»

Предлагайте творческие и открытые задачи:

• Задачи без единственного правильного ответа, требующие оригинальной идеи, необычного взгляда: «Напишите краткий сценарий общения с клиентом в ситуации [сложный кейс]».

Комбинированные форматы (усложняют ИИ-генерацию):

• «Напишите код для функции Х и поясните устно (или в кратких тезисах) как она работает».
• «Подготовьте текст, объясняющий решение для широкой аудитории нетехнического профиля, схематично изобразите его архитектуру/процесс».
• «Проанализируйте данные и сформулируйте 3 ключевых вывода в виде краткого отчета».

Фокус на процессе:

• «Опишите ваш ход мыслей при решении этой задачи. С чего начнете? Какие ресурсы (книги, статьи, инструменты) будете использовать?».
• «Если бы у вас было на 2 дня больше, что бы вы улучшили в своем решении и почему?».

Понятно, что нейросети постоянно развиваются и новые версии тех или иных инструментов способны решать все более сложные задачи. Выход один — искать пути оценить не готовое решение, а логику мышления кандидата.

Кроме «человечности» тестового полезно оценить и общую благонадежность кандидата. Даже самостоятельно прошедший все этапы отбора соискатель может обманывать в чем-то, касающемся мотивов его поиска работы и выбора именно вашей компании. 

Чтобы не столкнуться с ситуацией, когда новый сотрудник покидает компанию, скопировав вашу базу клиентов или важную коммерческую информацию, проверьте соискателя на долги, сомнительные деловые связи, наличие ИП схожего профиля. 

Как распознать ИИ в тестовом: главное

Нейросети — это новая реальность рекрутинга. Бороться с ними, полагаясь только на детекторы или подозрения, — тупиковый путь. Сместите фокус оценки с финального результата тестового задания на понимание, процесс мышления и реальные навыки кандидата.

Ваш основной инструмент — содержательное, вдумчивое собеседование. Именно в диалоге, задавая правильные «почему?» и «как?», вы сможете отличить заученные (или сгенерированные) ответы от глубокого понимания. Хорошо составленное тестовое задание, требующее опыта и анализа, само по себе станет барьером для бездумного использования ИИ.

Помните об этике. Любые подозрения должны быть верифицированы в диалоге, а не становиться основанием для немедленного отказа в трудоустройстве. Объясните кандидату, что обсуждение тестового — стандартная часть процесса, направленная на понимание его подхода.

Используйте нейросети как повод пересмотреть свои подходы к тестовым заданиям, сделав их не просто проверкой навыков, а инструментом для выявления по-настоящему сильных и думающих специалистов.