Zyphra、より高速で効率的な言語モデル Zamba2 を発表

Zyphra launches faster and more efficient language model Zamba2 は、公開された証拠がインターネットインフラ、ガバナンス、運用上の依存関係、または市場の可視性に関連しているため、BTW Media によってプロファイルされています。

私たちの見解
Zyphra Zamba2-2.7B は、AI 業界に変革をもたらします。速度と効率を向上させつつ、メモリ負荷を低減します。これは Tesla の電気自動車のように、より少ないリソースでより高いパワーを実現します。その革新的な技術により、制約のある環境に最適な、言語モデル界の忍者とも言えます。低レイテンシを実現し、エッジコンピューティングに理想的です。そしてオープンソース公開により、世界中の開発者の創造性を刺激します。
–Miurio huang, BTW ジャーナリスト

何が起きたのか

Zyphra（パロアルトに拠点を置く確率論的コンピューティングを専門とする AI 企業）は、最新のイノベーションである Zamba2-2.7B を発表しました。この新しい小型言語モデル（SLM）は、速度と効率の大幅な向上を約束し、以前のモデルと比較して 2 倍のパフォーマンスと 27%のメモリ負荷削減を実現します。Zyphra の独自ソースから収集された約 3 兆トークンの膨大なデータセットでトレーニングされたZamba2-2.7Bは、Zamba1-7B や他の 70 億パラメータモデルと同等の能力を備え、コンパクトな形式で高いパフォーマンスを提供します。

Zyphra の Zamba2-2.7B は、高度な機能と低い計算要件を組み合わせることで、企業、研究者、開発者にとって魅力的なソリューションとなるよう設計されています。このモデルは、共有 MLP ブロック上の LoRA プロジェクターとインターリーブされた共有アテンション方式などの革新的な技術を使用しており、複雑なタスクを効率的に処理する能力を高めています。また、Microsoft の Phi3 モデルと比較して 1.29 倍低い生成レイテンシを実現しており、メモリに制約のあるデバイスやスムーズで継続的な通信を必要とするアプリケーションにとって実行可能な選択肢となります。

関連記事:Microsoft の AI システム「SpreadsheetLLM」が企業の生産性を向上

関連記事:DeepL がビジネスユーザー向けの新しい LLM を発表

なぜ重要なのか

Zamba2-2.7B は、高いパフォーマンスと低いリソース消費を両立させることで、小型言語モデル技術の飛躍的な進歩を表しています。その効率性により、計算能力とメモリが限られた環境への展開に理想的であり、高度な機能は特定のタスクに対して高い精度と関連性を保証します。Hugging Face 上でのオープンソース公開と純粋な PyTorch 実装により、研究者や開発者はその機能を広く統合・活用できます。

Zamba2-2.7B のリリースは、Zyphra が以前に成功を収めたオープンソースの Zamba モデルの実績に基づいています。このモデルは、LLaMA 1、2、OLMo-7B などの競合モデルを上回るパフォーマンスを示しました。経済的で高性能な代替手段を提供することで、Zyphra は小型言語モデルが達成できる限界を押し広げ、さまざまな分野での幅広い採用と革新を促進しています。Zamba2-2.7B の進歩は、性能を犠牲にすることなく効率性を最適化する AI モデルの増加傾向を強調しており、AI 展開におけるパフォーマンスと環境への懸念の両方に対応しています。