• MLCommons 推出新的 AI 基准测试，衡量 AI 芯片和系统生成大型语言模型响应的速度。
  • 在原始性能方面，Nvidia 的 H100 芯片以及来自谷歌、Supermicro 和 Nvidia 的服务器在两个新基准测试中均优于竞争对手。

周三，MLCommons 推出了新的 AI 基准测试，以衡量响应用户查询的速度，旨在提高效率。

MLCommons 发布的新 AI 基准测试

周三，AI 基准测试组织 MLCommons 进行了一系列测试并发布了多项结果，以评估顶级硬件在响应用户交互时的速度和效率。

在 MLCommons 推出的新基准测试中，有两项专注于 AI 芯片和系统生成输出的响应能力，这为了解 ChatGPT 等 AI 应用响应用户查询的速度提供了见解。

另请阅读：Eliyan 筹集 6000 万美元用于加速 AI 芯片的小芯片互连

其中一项名为 Llama 2 的新基准测试，专门衡量具有 700 亿参数的 Meta Platforms 开发的大型语言模型在问答场景中的速度。此外，MLCommons 还通过整合基于 Stability AI 的 Stable Diffusion XL 模型的第二个文本到图像生成器 (MLPerf) 扩展了基准测试工具。

服务器性能对决：Nvidia 主导比赛

就原始性能而言，配备 Nvidia H100 芯片的服务器（包括来自谷歌、Supermicro 和 Nvidia 自身的服务器）在最新的基准测试中脱颖而出，成为领跑者。

另请阅读：Nvidia 的下一代数据中心将与云提供商合作

多家服务器制造商推出了基于 Nvidia 性能稍差的 L40S 芯片的设计，但 Krai 为图像生成基准测试展示了一种采用高通 AI 芯片的设计，该芯片以其比 Nvidia 尖端处理器更低的功耗而闻名。

Intel 还展示了其 Gaudi2 加速器芯片，并强调了令人印象深刻的成果。然而，至关重要的是要注意，尽管原始性能至关重要，但先进 AI 芯片的能耗构成了重大挑战。