В Москве прошёл первый бой PR-специалиста с нейросетями

«Давай придумаем 30 заголовков новостей для производителя красок для фасадов». 

20 июня 2023 года PR-агентство Идеи&Решения провело соревнование между специалистом по связям с общественностью и двумя нейросетями — Yandex GPT и Chat GPT. Перед «бойцами» была поставлена задача придумать по 30 заголовков новостей для некоего клиента — производителя краски для фасадов зданий. Победа в скорости осталась за искусственным интеллектом, но качественная победа — за человеком. Оценку результатов проводили 11 опытных PR-специалистов агентства. Самый быстрый (менее одной минуты) результат выдал Yandex GPT, еще через минуту закончил работу Chat GPT. Человека остановили через полчаса. Однако более 90 % идей нейросетей жюри признало непригодными к использованию. Биологический объект выдал результат, на 86 % готовый к работе.

Пригодными для использования (то есть признанными более чем половиной экспертов осмысленными новостными заголовками) оказались у человека 86 % идей. То есть 24 из 28. Пригодные для использования идеи нейросетей: 0 % Chat GPT и 6 % (одна из 18) Yandex GPT.

По оценке директора по развитию PR-агентства Идеи&Решения Натальи Ильичевой, для решения примитивных (хотя и интеллектуальных) задач нейросети вполне применимы и сегодня. Таких задач необходимо решать довольно много, особенно при обработке больших объемов данных. Однако для качественного решения задач среднего и тем более экспертного уровня искусственному интеллекту нужно еще подучиться.

«Все идеи были неплохими, но не все подходили к следующему заданию: написать заголовок релиза. Написаны заголовки грамотно. То есть работу искусственного интеллекта сложно было отличить от заголовков, написанных человеком, — рассказывает член жюри Мария Жожина.  — Разница лишь в том, что у заголовков нейросетей “торчали рекламные уши”. К сожалению, не только GPT этим грешит, но и неопытные пиарщики».

Количественные результаты

Время выполнения задания:

1) Yandex GPT выдал результат менее чем через минуту;

2) Chat GPT работал чуть менее двух минут;

3) человека ограничили 30 минутами индивидуального мозгового штурма.

Число идей организаторы решили не считать принципиальным показателем, хотя задача включала конкретную цифру. В то же время все участники предлагали продолжить.

1. Яндекс GPT — 18 идей.
2. Chat GPT — 27 идей.
3. Человек — 26 идей.

Качественные результаты

Для оценки качества идей использовалась выдержка из стандартов оценки качества новостей PR-агентства Идеи&Решения (используется в практической деятельности с 2006 года). Для заголовков экспертам предлагалось дать оценку каждой идеи по двум критериям:

1) новость предложена участником соревнования. Ее заголовок должен отвечать на вопрос «Что случилось» и быть информативным для читателей, а не прямолинейным и рекламным. Оценка — бинарная: для качественных новостных заголовков предлагалось поставить 1, для некачественных — 0;

2) для идей, которые с точки зрения экспертов являются действительно новостными, предлагалось дать оценку силы новости от 1 до 5, где пять — новость интересная, достойная топовых средств массовой информации.

Члены жюри оценивали по списку идей, представленных в хаотичном порядке. При этом их авторство не указывалось.