ITGLOBAL.COM протестировал ускорители NVIDIA L40S в задачах ИИ

Международный облачный провайдер и системный интегратор ITGLOBAL.COM, входит в корпорацию ITG, завершил масштабное тестирование графических ускорителей NVIDIA L40S для задач искусственного интеллекта и машинного обучения. Исследования показали, что конфигурация с двумя ускорителями L40S обеспечивает производительность до 1,8 раз выше по сравнению с одним NVIDIA A800 при работе с большими языковыми моделями (LLM) при сопоставимой стоимости оборудования.

Тестирование проводилось с двумя нейросетями: LLaMA 3.1 70B и Qwen 2.5. При обработке больших объемов запросов система на базе L40S не только сохранила высокую производительность, но и демонстрировала значительное преимущество над более дорогим решением A800. Этот результат особенно важен для компаний, которые используют ИИ-ассистентов в клиентском сервисе или автоматизации бизнес-процессов, где скорость ответа напрямую влияет на эффективность работы.

Впечатляющие результаты L40S показали при работе с моделью Qwen 2.5, которая часто используется в корпоративных чат-ботах и системах анализа документов. В условиях высокой нагрузки, характерной для промышленного применения, система на базе двух L40S не только сравнялась по производительности с A800, но даже превзошла его, что делает решение на базе L40S более привлекательным с точки зрения соотношения производительности к стоимости оборудования.

«Наше комплексное тестирование подтверждает, что ускорители L40S обеспечивают отличное соотношение цены и производительности для задач искусственного интеллекта, делая технологии машинного обучения более доступными для бизнеса. Благодаря 48 ГБ видеопамяти GDDR6 на каждой карте и высокой производительности в реальных задачах ИИ, эти ускорители представляют собой значительный шаг вперед в демократизации доступа к вычислительным ресурсам для ИИ», — отметил Евгений Свидерский, директор облачного бизнеса ITGLOBAL.COM, корпорация ITG.