• MLCommonsпредставляет новые ИИ-бенчмарки, которые измеряют, насколько быстро ИИ-чипы и системы генерируют ответы больших языковых моделей.
  • Чипы Nvidia H100 вместе с серверами Google, Supermicro и Nvidia опережают конкурентов в обоих новых бенчмарках по чистой производительности.

В среду MLCommons задаёт новые ИИ-бенчмарки для измерения скорости ответов на запросы пользователей, стремясь повысить эффективность.

Новые ИИ-бенчмарки от MLCommons

В среду группа ИИ-бенчмарков MLCommons запускает серию тестов и публикует несколько результатов, чтобы оценить скорость и эффективность топового оборудования при ответах на действия пользователей.

Среди новых бенчмарков, представленных MLCommons, два посвящены отзывчивости ИИ-чипов и систем при генерации ответов и показывают, насколько быстро такие ИИ-приложения, как ChatGPT, могут отвечать на запросы пользователей.

Также читайте: Eliyan привлекла 60 млн долларов США на чиплетные интерконнекты, ускоряющие работу ИИ-чипов

Один из новых бенчмарков, получивший название Llama 2, измеряет скорость сценариев «вопрос-ответ» для больших языковых моделей и может похвастаться 70 миллиардами параметров, разработанными Meta Platforms. Кроме того, MLCommons расширила набор инструментов для бенчмарков, добавив второй генератор текста в изображение под названием MLPerf, основанный на модели Stable Diffusion XL компании Stability AI.

Сравнение серверной производительности: правила задаёт Nvidia

По чистой производительности серверы с чипами Nvidia H100, в том числе от Google, Supermicro и самой Nvidia, стали лидерами в новейших бенчмарках.

Также читайте: дата-центры следующего поколения Nvidia будут работать с облачными провайдерами

Несколько производителей серверов представили конструкции на базе менее мощного чипа Nvidia L40S, а Krai показала решение для бенчмарка генерации изображений с ИИ-чипом Qualcomm, который отличается более низким энергопотреблением по сравнению с передовыми процессорами Nvidia.

Intel также продемонстрировала свои чипы-ускорители Gaudi2, подчеркнув впечатляющие результаты. Однако важно отметить: хотя чистая производительность имеет большое значение, энергопотребление передовых ИИ-чипов остаётся серьёзной проблемой.