Selectel обновил ИИ-платформу: новые возможности для работы с ИИ-моделями

Selectel сообщает об обновлении собственной AI-платформы. Пользователям стала доступна обновленная версия Foundation Models Catalog — сервиса для тестирования, запуска и интеграции больших языковых моделей (LLM) в приложения и бизнес-процессы.

Foundation Models Catalog входит в состав AI-платформы Selectel — набора сервисов для обучения и инференса AI-моделей. Продукт упрощает внедрение искусственного интеллекта в корпоративные процессы и позволяет разворачивать и масштабировать AI-модели в облаке без необходимости самостоятельно настраивать IT-инфраструктуру для работы с ними.

Среди обновлений в продукте:

• AI-модели разворачиваются на выделенной инфраструктуре (ресурсах, предоставляемых одному клиенту) с возможностью автоматического масштабирования. В ближайшее время будет реализован доступ через приватные сети.
• Добавлены инструменты observability (наблюдаемости), включая логи и метрики inference-сервера. Логи фиксируют события работы приложений, включая ошибки, а метрики отражают показатели производительности, такие как задержки, нагрузка и количество подключений. Данные могут интегрироваться во внешние системы мониторинга.
• Обновлена архитектура платформы: для инференса используется open-source фреймворк vLLM — высокопроизводительный open-source фреймворк для запуска LLM. Это увеличивает производительность AI-моделей и обеспечивает поддержку стандарта OpenAI API. 
• В каталог добавлены новые open-source модели, включая решения от IBM (Granite), Alibaba (Qwen), DeepSeek, Microsoft (Phi), Mistral AI и OpenAI. Планируется дальнейшее расширение перечня доступных моделей.
• Управление сервисами доступно через REST API, что позволяет интегрировать их во внешние системы и бизнес-процессы.
• Обновлен пользовательский интерфейс: добавлена фильтрация моделей по характеристикам.

«Наша задача — обеспечить быстрый переход от экспериментов с AI к экономически эффективному применению искусственного интеллекта. Мы предоставляем комплексный набор инфраструктурных решений. Развитие AI-платформы и Foundation Models Catalog в экосистеме Selectel — это еще один шаг к тому, чтобы инференс мог стать управляемым и предсказуемым фактором роста бизнеса», — комментирует  Александр Тугов, директор AI-вертикали Selectel.