我们的观点
Zyphra 的 Zamba2-2.7B 是 AI 领域的游戏规则改变者，在提升速度和效率的同时减少了内存开销。它就像特斯拉的电动汽车——动力更强，资源更省。其创新技术使其成为语言模型中的忍者，非常适合受限环境。凭借更低的延迟，它是边缘计算的理想选择。其开源发布激发了全球开发者的创造力。
–Miurio huang，BTW 记者

发生了什么

Zyphra，一家总部位于帕洛阿尔托、专注于概率计算的人工智能公司，推出了其最新创新产品 Zamba2-2.7B。这个新的小语言模型（SLM）承诺在速度和效率上取得显著进步，与之前的模型相比，性能速度提升了两倍，内存开销减少了 27%。该模型在 Zyphra 专有来源的约 3 万亿标记的广泛数据集上训练， Zamba2-2.7B在性能上与 Zamba1-7B 和其他 7B 等更大模型相匹配，以紧凑的封装提供了高水平的表现。

Zyphra 的 Zamba2-2.7B 旨在成为企业、研究人员和开发人员有吸引力的解决方案，因为它具有先进的能力，同时降低了计算需求。该模型采用了创新技术，例如在共享 MLP 块上使用 LoRA 投影器的交错共享注意力方案，这增强了其高效管理复杂任务的能力。它还比微软的 Phi3 的生成延迟低 1.29 倍，使其成为内存有限的设备和需要流畅、持续通信的应用的可行选择。

相关阅读：微软的 AI 系统‘SpreadsheetLLM’提升公司生产力

相关阅读：DeepL 推出面向商业用户的新 LLM

为什么这很重要

Zamba2-2.7B 通过以更低的资源消耗提供高性能，代表了小语言模型技术的飞跃。它的效率使其非常适合部署在计算能力和内存受限的环境中，同时其先进的功能确保了对特定任务的高准确性和相关性。该模型在 Hugging Face 上的开源发布，以及纯 PyTorch 实现，使研究人员和开发人员能够广泛地集成和利用其能力。

Zamba2-2.7B 的发布建立在 Zyphra 先前开源 Zamba 模型成功的基础上，该模型在性能上优于 LLaMA 1 和 2 以及 OLMo-7B 等竞争对手。通过提供经济高效、高性能的替代方案，Zyphra 正在突破小语言模型所能达到的界限，促进各行业更广泛的采用和创新。Zamba2-2.7B 的进步突显了一种日益增长的趋势，即在不牺牲能力的情况下优化 AI 模型的效率，解决了 AI 部署中的性能和环境影响问题。