Top.Mail.Ru
РБК Компании

ИИ-инфраструктура для бизнеса: почему пилота недостаточно

Почему большинство ИИ-проектов не доходит до эксплуатации. Разбираем основные причины
ИИ-инфраструктура для бизнеса: почему пилота недостаточно
Источник изображения: Сгенерировано нейросетью GPT Image
Илья Борняков
Илья Борняков
Заместитель исполнительного директора по технологическому развитию ITGLOBAL.COM и генеральный директор ITPOD (направление серверной инфраструктуры корпорации ITG)

Развивает компанию ITPOD — российского вендора и дистрибьютора современных и передовых ИТ-решений от известных мировых производителей.

Подробнее про эксперта

За последний год запросы бизнеса на ИИ-инфраструктуру стали гораздо более прикладными. Если раньше компании приходили с абстрактным «хотим внедрить ИИ», то теперь формулируют конкретную задачу: ускорить обработку заявок первой линии поддержки, автоматизировать поиск по внутренней базе знаний, сократить время аналитики. Это меняет и подход к выбору инфраструктуры.

С чего начинается реальный ИИ-проект

Первый и главный вопрос, с которого мы начинаем разговор с заказчиком, — не «какие GPU вам нужны», а «какую бизнес-задачу решаем и как будем измерять результат».

Без оцифрованных процессов и понятных метрик ИИ-проект рискует остаться пилотом навсегда. Мы просим описать текущий процесс: сколько людей задействовано, где возникают ошибки, сколько стоит ошибка сотрудника. И главное — что изменится, если ускорить этот процесс вдвое. Без такого разговора техническое задание просто не складывается.

Здесь важен нюанс: сотрудник на месте отлично знает свою рутину, но часто не понимает, как ее облегчить технически. Где нужен RAG-пайплайн, где распознавание речи, а где ИИ не даст ощутимого эффекта. Поэтому в компании нужен человек или команда, которые смотрят на процессы сверху и понимают, где автоматизация принесет реальную пользу.

Почему пилот не становится продуктом

Классический сценарий: компания запускает пилот на существующих мощностях или арендует виртуальную машину с графическими ускорителями, собирает демо — все работает. Но на этапе перехода в промышленную эксплуатацию начинаются проблемы:

  • нужен мониторинг и прозрачный биллинг — кто сколько потребляет ресурсов и во что это обходится компании;
  • появляются требования ИБ: обезличивание данных, разграничение доступа, аудит;
  • нужна интеграция с корпоративными учетными записями и мессенджерами;
  • требуется поддержка и обновление моделей, а не разовая настройка.

Если делать все самостоятельно, на это легко потратить полгода-год. Именно здесь программно-аппаратный комплекс становится альтернативой самостоятельной сборке и аренде облачных ресурсов.

Что дает программно-аппаратный комплекс

ПАК — это не типовая «коробка», а конструктор под конкретную нагрузку. Со стороны инфраструктуры подбираются серверы под задачу: от серверов с одной-двумя видеокартами до серверов с восемью ускорителями. В большинстве сценариев используются решения на архитектуре NVIDIA MGX, работающие с современными ускорителями уровня NVIDIA H200 NVL и RTX PRO 6000 Blackwell.

Поверх серверов разворачивается платформа управления генеративным ИИ, которая дает:

  • библиотеку протестированных моделей под разные сценарии — от речевой аналитики до генерации изображений;
  • инструменты мониторинга потребления ресурсов по подразделениям и моделям;
  • конструктор рабочих процессов без полноценной разработки;
  • единый биллинг и аудит для локальной инфраструктуры и внешних сервисов.

On-premises или облако: что выбрать

Выбор модели зависит от требований к данным.

Для компаний с жесткими требованиями информационной безопасности — финансы, промышленность, госсектор — оптимальным выбором становится on-prem инфраструктура. Модели разворачиваются локально, внутри защищенного контура, компания получает полный контроль и независимость.

Для менее чувствительных задач возможен облачный подход: компания арендует GPU-мощности у сервис-провайдера и не инвестирует в собственное оборудование.

Гибридный сценарий (Private AI Cloud) объединяет оба подхода: часть задач работает локально, а более тяжелые вычисления отправляются во внешние модели. При этом все остается в едином контуре с общим биллингом и контролем использования.

Что формирует стоимость ИИ-инфраструктуры

Основная капитальная статья — серверы с графическими ускорителями. Но часто упускают два момента.

Размещение. GPU-серверы — это другой уровень энергопотребления по сравнению с классическими серверами под виртуализацию. Не каждый ЦОД готов принять такие мощности: где-то не хватает питания, где-то — охлаждения. Когда восемь карт по 600 Вт дают почти 5 кВт тепла, система охлаждения становится критичной.

Система хранения. С появлением ИИ-агентов количество запросов к данным резко растет. Если СХД не готова к такой нагрузке, она быстро становится узким местом. Это нужно закладывать в архитектуру сразу, а не постфактум.

Что дальше: тренды на два-три года

Рынок, скорее всего, пойдет в сторону специализации. Вместо гигантских универсальных моделей компании будут использовать наборы небольших специализированных ИИ-агентов под конкретные роли и задачи. Это снизит барьер входа и совокупную стоимость владения.

Зависимость от NVIDIA в прикладных сценариях будет снижаться. Китайские и другие азиатские производители GPU уже предлагают рабочие альтернативы — пока не для обучения самых больших моделей, но для корпоративных задач они становятся все более рабочим инструментом.

Заказчикам сегодня нужна не универсальная «большая модель», а инфраструктура под конкретный бизнес-сценарий. И чем более специализированной она будет, тем доступнее станет внедрение ИИ для среднего и крупного бизнеса.

Рекомендации партнеров:

Новости отрасли:

Все новости:

Публикация компании