Расчет коммерческого предложения с ChatGPT: гид по техникам и наш опыт

В мире цифровых технологий и стремительного развития рынка IT-услуг клиенты хотят превратить свои идеи в реальные проекты практически мгновенно. Однако старт движения к успеху начинается с технического задания (ТЗ), которое мы, как исполнители, получаем от заказчика.

Расчет коммерческого предложения (КП) для IT-проекта — первый важный шаг, от которого зависит точность бюджета, сроков и успешность реализации.

Оперативность и грамотный подход в формировании КП крайне важны, ведь проект нужен «вчера». Поэтому мы в RentaTeam разработали собственный алгоритм подготовки коммерческого предложения на разработку IT-продукта. Он состоит из основных этапов:

• Изучение ТЗ и других артефактов от заказчика.
• Менеджер собирает всю информацию и формирует таблицу задач для разработчиков.
• Таблица передается разработчикам, которые дают ориентировочную оценку (по системе T-Shirt Sizes).
• Оценки ложатся в основу ориентировочного бюджета проекта.

Работая над КП, менеджеры сталкиваются с рядом типичных проблем при оценке стоимости разработки ПО:

1. Скорость оценки. Разработчикам требуется время для погружения в задачи, и им нужно учесть их текущую загруженность.
2. Точность оценки. Разработчики оценивают задачи, исходя из своего опыта, что может добавить погрешность.
3. Привязка оценки к разработчику. Оценка может зависеть от уровня разработчика (middle, senior).
4. Неявные риски. Разработчики могут включить в оценку скрытые риски, связанные с интеграциями, багами и особенностями архитектуры.

В RentaTeam мы всегда ищем новые способы повышения эффективности и решения сложных задач в управлении IT-проектами. И теперь наш взгляд упал на искусственный интеллект: возможно ли с его помощью справиться с проблемами подготовки коммерческого предложения?

В качестве модели в данной статье используем ChatGPT, который активно применяется в автоматизации оценки IT-проектов.

За основу взято обычное ТЗ «Маркетплейс»

Подготовлено:

• ТЗ от заказчика «как есть»;
• список задач после обработки менеджером (16 шт);
• список задач после оценки разработчиком грейда senior.

Для GTP подготовлен вводный запрос в виде:

«Ты iOS разработчик, уровень middle/senior. Сейчас тебе будут даваться задачи из технического задания. Ты должен указать примерное время выполнения этих задач в часах. Допускается указать временной интервал. Также ты должен выделить 3 основных риска, связанных с этой задачей»

Далее мы представим 4 сессии общения с ChatGTP, полученные данные и обобщим результаты.

Сессия №1

• Задаем уровень GPT как middle.
• В качестве данных берем 16 задач, подготовленных менеджером.
• Для сравнения используем оценку от разработчика (senior).

Полученные результаты:

• Суммарная оценка разработчика по всем задачам 96-168 часов. Суммарная оценка GPT по всем задачам 209-290 часов.
• По минимальному времени GPT превысил оценку разработчика на 116,67%, по максимальному на 72,62%.
• К каждой задаче GPT указал по 3 риска, влияющего на оценку. Все они обоснованные и вполне имеют место быть и касаются, в первую очередь, непосредственно процесса разработки.

Сессия №2

• Задаем уровень GPT как senior.
• В качестве данных берем 16 задач, подготовленных менеджером.
• Для сравнения используем оценку от разработчика (senior).

Полученные результаты:

• Суммарная оценка разработчика по всем задачам 96-168 часов. Суммарная оценка GPT по всем задачам 304-410 часов.
• По минимальному времени GPT превысил оценку разработчика на 216,67%, по максимальному на 144,05%.
• К каждой задаче GPT указал по 3 риска, влияющего на оценку. Все они обоснованные и вполне имеют место быть и, в отличие от оценки GPT (middle), касаются в основном багов и непредвиденных ситуаций при интеграции сторонних сервисов. Похоже, GPT считает, что у senior-разработчика не должно быть рисков непосредственно с разработкой на своей стороне.

Сессия №3

Вводные:

• Задаем уровень GPT как middle.
• В качестве данных берем ТЗ от заказчика «как есть».
• Для сравнения используем оценку от разработчика (senior).

Полученные результаты:

• Суммарная оценка разработчика по всем задачам 96-168 часов. Суммарная оценка GPT по всем задачам 88-118 часов.
• По минимальному времени GPT дал меньшую оценку, чем разработчик на 8,33%, по максимальному на 29,76%.

Сессия №4

Вводные:

• Задаем уровень GPT как senior.
• В качестве данных берем ТЗ от заказчика «как есть».
• Для сравнения используем оценку от разработчика (senior).

Полученные результаты:

• Суммарная оценка разработчика по всем задачам 96-168 часов. Суммарная оценка GPT по всем задачам 72-100 часов.
• По минимальному времени GPT дал меньшую оценку чем разработчик на 25%, по максимальному на 40,48%.

Выводы

После четырех сессий мы видим довольно интересные результаты.  Когда мы скармливаем GPT задачи, подготовленные менеджером, оценка выходит больше, чем у разработчика. Если же ТЗ отправляется «как есть», оценка выдается меньше.

Также интересно, что в сессии №2, GPT (senior) выдал оценку больше, чем GPT(middle). То есть, с точки зрения GPT senior будет выполнять задачи дольше, чем middle. В принципе, это можно объяснить указанными ИИ рисками: для middle разработчика это риски верстки и всего, что связано с разработкой приложения; для senior — это уже риски интеграций, багов, краевых состояний и нетипичного поведения.

Если смотреть по процентному отклонению от оценки живого разработчика, более применимыми кажутся результаты по необработанному ТЗ.

В текущей статье мы использовали одно ТЗ с достаточно типовыми задачами. И в плане оценок, как помощь или альтернатива живому разработчику при формировании бюджета IT-проекта, ChatGPT имеет право на применение, но не замещение. Без дополнительной обработки, менеджерских рисков и т.п. оценка GPT имеет слишком большой разброс.

С другой стороны, приведенные им риски IT-проектов могут помочь в подготовке бюджета уже менеджеру, выявляя потенциальные проблемные зоны еще на этапе планирования IT-проекта.