Модерн или классика: как выбрать технологии ИИ для работы с текстами

NLP — область искусственного интеллекта, объединяющая методы компьютерной лингвистики, статистики и машинного обучения для обработки и анализа естественного языка. Традиционные подходы в NLP часто включают обучение моделей на специализированных выборках текстов для решения конкретных задач, связанных с обработкой, семантическим анализом, генерацией устной и письменной речи.

GPT — одно из семейств больших языковых моделей, первоначально разработанное компанией OpenAI в 2018 году. Модели GPT характеризуются трансформенной архитектурой, которая позволяет им распознавать контекст речи, генерировать большие связные тексты, производить с текстом преобразования — например, обобщение или лингвистический перевод. Модели этого семейства обучаются на максимально широком корпусе текстов.

Обе эти технологии обладают огромным потенциалом для автоматизации бизнес-процессов и в первую очередь — для разгрузки специалистов от рутинных, типовых задач. Однако между ними существуют фундаментальные отличия в принципах работы, которые влияют на области их применения. Например, если мы запустим программный модуль на основе NLP и ML, не задействующий архитектуру трансформеров, то, задавая модели одни и те же вводные, мы практически всегда получим одинаковый ответ. Если же подобные вопросы задавать GPT-модели, ее варианты каждый раз будут похожими, но не идентичными. То же самое справедливо и для моделей, генерирующих изображения — вроде Midjourney, Stable Diffusion или Flux, которые в ответ на один и тот же промпт каждый раз будут создавать разные, хотя и cхожие по стилю и содержанию картинки.

Таким образом, традиционные NLP-системы обычно более объяснимы и предсказуемы: в большинстве случаев мы можем проследить, как модель провела анализ текста и почему пришла к тому или иному выводу. Это во многом связано с тем, что данные, на которых происходит обучение такой модели, специально формируются для точно определенных целей и адаптируются под решение конкретной задачи.

GPT и подобные ему модели в большей степени предназначены для творческой генерации и обработки естественного языка в широком контексте, хотя они также могут применяться для некоторых видов аналитики. Большие, но все же ограниченные и очень разносторонние «знания», вложенные в трансформерные модели, имеют свои недостатки. Процесс принятия решений в таких системах менее прозрачен: мы не всегда можем точно объяснить, как модель пришла к конкретному выводу и насколько достоверен ее ответ. Известны многочисленные случаи, когда тот же ChatGPT выдавал правдоподобно сформулированные, но фактически неверные ответы. В моей практике он даже мог оперировать поддельными источниками данных — приведенные ссылки вели на страницы с «ошибками 404». В информатике для описания такого эффекта существует термин Garbage In Garbage Out (GIGO): даже если алгоритм модели идеальный, «грязные» или некачественные данные на входе (включая не совсем выверенные промты) порождают мусор на выходе.

Как же оптимально распределить бизнес-задачи между инструментами на основе NLP и GPT?

GPT — за креатив

Главные преимущества GPT — в гибкой генерации текста и универсальности. Эти модели особенно эффективны для решения таких задач, как создание маркетингового контента, генерация разнообразных ответов на типовые вопросы клиентов (переформулирование шаблонного ответа с учетом контекста, стилистики и других параметров), разработка различных выверенных сценариев взаимодействия, преобразование и перефразирование текста, а также саммаризация (сведение большого документа к конспекту заданного объема).

Например, среди проектов SL Soft есть программа, которая готовит шаблоны писем клиентам, учитывая контекст предыдущего общения с ними. С помощью трансформеров она сможет персонализировать стилистику и тон. То есть кому-то ответ начнется со слов «Уважаемый Иван Иванович, здравствуйте!», а кому-то — «Ваня, доброе утро!». Когда система должна просто взять и доставить до клиента понятный ответ в его стиле, GPT нет равных.  

Но если специалисту нужно, допустим, проанализировать пакет документов на возможные противоречия и проверить соответствие законодательству, достоверность ответов GPT сомнительна: это сокращает бизнес-выгоду и создает риски для бизнеса.

Другой недостаток GPT — в высоких требованиях к вычислительным ресурсам. Не случайно эксперты отмечают, что на данный момент наибольшую выгоду от популярности искусственного интеллекта получают производители мощных вычислительных компонентов с GPU, вроде NVIDIA. Для российских компаний необходимость закупки производительного «железа» может стать существенным ограничением при использовании технологии GPT. Даже если в компании используется коммерческая модель, дообученная на корпоративных данных в закрытом контуре, ее реализация может потребовать существенных финансовых вложений.

Кроме того, для работы с GPT необходимо привлечь квалифицированных промт-инженеров. От качества промта (то есть грамотно сформулированного запроса на вход) сильно зависит результат работы модели.

NLP — за аналитику и ответственность

Традиционные методы NLP берут на себя любые задачи, в которых требуется строгая интерпретируемость (объяснимость) и предсказуемость — обоснованный, не содержащий противоречий ответ на поставленный вопрос. Эти технологии часто используют сложные алгоритмы с множеством настраиваемых параметров, процесс работы которых можно проанализировать и объяснить.

Такие модели обучаются на более концентрированных, специально подготовленных под определенную задачу корпусах текстов. В связи с этим область их применения может быть максимально узкой: например, только распознавание определенного типа документов. Такой подход обеспечивает высокую точность в рамках заданной области при сравнительно небольших требованиях к вычислительным ресурсам.

Один из типовых сценариев применения NLP в бизнесе — аналитическая обработка юридических документов. Например, мы разработали инструмент для проверки договоров на соответствие актуальным нормативно-правовым актам. В таких документах часто содержатся отсылки к действующему законодательству, которое в последние годы меняется с очень высокой скоростью. Случается, что в связи с новой редакцией нормативно-правового акта ссылка на тот или иной его пункт в договоре оказывается устаревшей. Наша система, используя методы семантического анализа, выявляет в документе области, содержащие отсылки к законодательству, проверяет их актуальность по обновляемым базам и в случае несовпадения информирует об этом специалистов.

Еще один популярный сценарий — классификация входящих документов, электронных или бумажных. ML-модель, обученная на закрытых датасетах, распознает типы документов, может отличить жалобу от благодарственного письма и т.д. Система, разработанная на базе платформы «Преферентум», внедрена в одном из российских федеральных органов исполнительной власти. Она автоматически классифицирует и маршрутизирует обращения заявителей согласно утвержденному в ведомстве классификатору. Важно отметить, что система самообучающаяся: через три месяца после внедрения точность ее решений превысила 95% — то есть модель по качеству работы фактически сравнялась с человеком, а по скорости оказалась во много раз быстрее.  

Будущее ИИ — симбиоз

Для автоматизации рутинных бизнес-процессов, требующих высокой степени достоверности и точной обработки текстов, стоит использовать традиционные технологии NLP с машинным обучением на выбранных наборах данных. С задачами вроде классификации документов или извлечения и структурирования ключевой информации из неструктурированных источников специализированные NLP-системы справляются особенно эффективно. Они позволяют повысить качество и скорость принятия решений.

За GPT стоит оставить генерацию креативного контента, подразумевающего уникальность или вариативность: создание рекламных текстов, корпоративных рассылок, описаний вакансий для соискателей. Кроме того, они эффективны для обобщения информации, включая подготовку кратких резюме статей или документов. При этом нужно не забывать о необходимости настраивать параметры модели и проверять сгенерированный контент на предмет неточностей и «галлюцинаций».

Выбор бизнес-процессов для автоматизации с помощью ИИ должен основываться на таких факторах, как частотность, рутинность, затраты ресурсов и уровень требуемой интеллектуальной составляющей. Соответственно, в первую очередь стоит делегировать интеллектуальным моделям все типовые повторяющиеся операции, на которые высококвалифицированный (а значит — дорогостоящий) сотрудник тратит большое количество времени.

Помимо финансовых затрат, важно оценивать риски и косвенную выгоду, сопровождающие внедрение таких систем. Например, если система поддержки принятия стратегических решений выдает объяснимые, предсказуемые ответы, она снижает риск принятия необъективных решений, дает возможность компании быстро и гибко реагировать на изменения.  

В заключение стоит отметить, что будущее ИИ в бизнесе лежит не в противопоставлении различных подходов, а в их умелом и продуманном сочетании.

Перспективным направлением становится разработка комплексных систем, где эти традиционные методы NLP и трансформеры типа GPT работают в тандеме, дополняя друг друга. Например: специализированные NLP-модели проводят аналитическую работу, а затем результат передается в GPT для адаптации. Или наоборот: GPT генерирует исходный текст (например, проект документа) на основе заданных параметров и общедоступных источников, после чего специализированные NLP-системы проверяют его на соответствие корпоративным стандартам и регламентам.

Такие гибридные решения позволят максимально эффективно использовать сильные стороны обоих подходов, обеспечивая в обработке естественного языка как точность и надежность, так и креативность и гибкость. Это не только позволит автоматизировать рутинные задачи, но и откроет новые возможности для бизнеса — от улучшения клиентского опыта до оптимизации принятия стратегических решений.

В итоге значительное конкурентное преимущество на рынке получат те компании, которые сумеют создавать системы, правильно совмещающие эти технологии.