Как компании внедряют языковые модели (LLM) для автоматизации бизнеса

Недавний подъем интереса к системам на базе технологий АI/ML был вызван появлением неожиданно успешных больших языковых моделей (LLM) типа GPT-4 и чат-бота ChatGPT, а также open source моделей, типа Mistral, LLaMA, опубликованной в феврале 2023 года. Хотя это только одна из многих областей AI/ML, именно в этой области произошли наиболее важные и наиболее обсуждаемые изменения.

ChatGPT был запущен в конце 2022 года и привлек внимание своими широкими возможностями: написание кода, создание текстов, возможности перевода, демонстрируя удивительные возможности отвечать на любые человеческие вопросы, зачастую на уровне не хуже эксперта в определенной области. Получить ответы на многие вопросы теперь стало гораздо проще и быстрее. Не нужно искать необходимую информацию среди сотен страниц, выдаваемых поисковыми системами по определенным запросам. Данная модель (Generative Pre-trained Transformer) — обучен на сотнях миллионов текстов различной тематике, специфики и языков. 

Одним из самых популярных запросов, приходящих в нашу компанию — является создание таких локальных аналогов (языковых моделей), которые позволяют ориентироваться во внутренней документной базе компаний. Такие системы, на базе открытых моделей (например Mistral, LLaMA), обученные на данных конкретной компании позволяют существенно упростить поиск необходимой информации. Российские компании, типа yandex или sber обучили свои языковые модели (YandexGPT и GigaChat) и позволяют настраивать (дообучать) их таким образом, чтобы они решали подобную задачу. Но модели этих компаний закрытые, а результаты можно получать по запросу (подписочная модель), поэтому для крупных компаний такой вариант не приемлем. Одна из причин здесь вопрос Privacy  (компании не хотят отдавать внутреннюю информацию за рамки своего контура). Вторая причина — это качество результатов. По нашему опыту дообученная модель, например Mistral на голову лучше настроенной модели YandexGPT, по меньшей мере на сегодняшний день. 

Другой популярный запрос — это структурированное извлечение данных из текстов (Named Entity Recognition) позволяет извлекать информацию из различных источников, например, контактные данные, геолокацию, определенные слова и характеристики объектов, любую специфическую информацию. Такие системы применяются, например для автоматической обработки различных заявок, запросов, извлекая всю необходимую информацию из текста запроса формируя заявку в 1С

Проверка корректности документов их сравнение, поиск каких-то ошибок и нестыковок также не редкий запрос, который довольно хорошо решается с помощью больших языковых моделей. 

В действительности, мы наблюдаем как огромное количество даже творческих задач на сегодняшний день может быть автоматизировано с помощью достижений ИИ.