• MLCommonsは、大規模言語モデルからの応答生成における AI チップとシステムの速度を測定する新しい AI ベンチマークテストを導入します。
  • Nvidia の H100 チップと、Google、Supermicro、Nvidia のサーバーは、両方の新しいベンチマークで生のパフォーマンスにおいて競合を上回りました。

水曜日、MLCommons は効率向上を目指し、ユーザーのクエリに対する応答速度を測定する新しい AI ベンチマークテストを設定しました。

MLCommons による新しい AI ベンチマークテスト

水曜日、AI ベンチマークグループの MLCommons は、ユーザーとのやり取りにおけるトップクラスのハードウェアの速度と効率性を評価するため、一連のテストを実施し、複数の結果を発表しました。

MLCommons が導入した新しいベンチマークのうち、2 つは AI チップとシステムの出力生成における応答性に焦点を当てており、ChatGPT などの AI アプリケーションがユーザーのクエリに応答する速度についての洞察を提供します。

あわせて読みたい: Eliyan、AI チップを高速化するチップレットインタコネクトに 6000 万ドルを調達

新しく導入されたベンチマークの 1 つである「Llama 2」は、Meta Platforms が開発した 700 億のパラメータを誇る大規模言語モデル向けに、Q&A シナリオの速度を具体的に測定します。さらに MLCommons は、Stability AI の Stable Diffusion XL モデルに基づく「MLPerf」と呼ばれる 2 つ目のテキスト画像生成ツールを組み込むことで、ベンチマークツールを拡張しました。

サーバーパフォーマンス対決: Nvidia が主導権を握る

生のパフォーマンスに関しては、Nvidia の H100 チップを搭載したサーバー（Google、Supermicro、Nvidia 自身のものを含む）が、最新のベンチマークで最有力候補として際立ちました。

あわせて読みたい: Nvidia の次世代データセンター、クラウドプロバイダーと連携へ

いくつかのサーバーメーカーは、Nvidia のより低出力な L40S チップに基づく設計を導入しましたが、Krai は画像生成ベンチマーク向けに、Nvidia の最先端プロセッサに比べて低消費電力で知られる Qualcomm AI チップを搭載した設計を発表しました。

Intel もまた、Gaudi2 アクセラレータチップを披露し、その結果を印象的だと強調しました。しかしながら、生のパフォーマンスは重要ですが、高度な AI チップのエネルギー消費が大きな課題となっていることに注意する必要があります。