要約

  • Mistral Large 4は10月6日、APIのパブリックプレビューを開始した。同社は月末までの重み公開を予定しているが、10月8日時点で顧客自身による運用はまだ将来の選択肢だ。
  • モデルカードに表示された期間限定価格は、入力100万トークンあたり0.68ドル、出力100万トークンあたり2.09ドル。通常価格はそれぞれ1.36ドルと4.18ドルだ。安価な試行で分かるのはAPIの請求額であり、自社運用の費用ではない。
  • 買い手はまず実際の業務でAPIを試し、重み、ライセンス、技術資料が公開された後に、受理された成果物あたりの費用と必要な制御を比較できる。

一つの発表に二つの時計

10月6日の発表は、二つの時計を動かした。一つ目はすでに進んでいる。Mistral Large 4はMistral StudioのAPIプレビューから利用できる。もう一つは予告されたものだ。重みは月末までに公開する予定だという。これは同じアクセスの別形式ではない。前者ではMistralがモデルを運用し、顧客は推論を利用する。後者では、公開とその条件が確定すれば、顧客自身が運用できる可能性がある。

この順番には商業的な意味がある。企業は、自社の業務に役立つかどうかを確かめるために、最初から専用の環境を整える必要がない。学習コストを抑えて実務テストを始められる。ただし、今日比較できるのは従量課金のAPIと現在の代替手段であり、まだ存在しない自社運用環境ではない。

期間限定の料金は、最初のテストに具体的な値札を付ける。公式モデルカードでは、キャッシュされていない入力が100万トークンあたり0.68ドル、出力が2.09ドル。通常料金は1.36ドルと4.18ドルだ。キャッシュ入力は別料金で、割引中は0.07ドル、通常は0.14ドル。公式変更履歴は、発売から二週間、50%割引と記している。例えば未キャッシュ入力が1,000万トークン、出力が100万トークンなら、割引料金で8.89ドル、通常料金では17.78ドルとなる。再試行、ツール、税、オーケストレーション費用は含まない。これは計算例で、予測ではない。

買い手にとって重要なのは、100万トークン単価だけではない。自社のプロンプト長、キャッシュ再利用、出力の長さ、ツール呼び出し、再試行、人による確認を反映した「受理された結果あたりの費用」だ。1時間動くエージェントと短い分類要求ではトークンの組み合わせが異なる。失敗した回答をやり直す必要があれば、一回ごとの低価格は完了した作業の低コストを保証しない。

順位は購入判断そのものではない

初期評価は単純な勝敗を示していない。Vals AIの10月7日のモデルページでは、Large 4はVals Indexで45モデル中33位、スコア48.05%。一方、最も高い個別順位はHarvey’s Legal Agent Benchmarkの76モデル中6位だった。このIndexは金融、コーディング、法律、税務の課題を米国GDPに占める概算比率で加重する。Vals自身が代理指標と説明し、一部のテストではプロバイダーやパラメーターが異なる可能性を注意している。特定の評価軸であり、全用途に通用する品質順位ではない。

だからこそ、買い手は発表時の宣伝文句や単一の総合順位ではなく、自分の作業を試すべきだ。Mistralはプレビューの改善を続けており、重みの公開時にアーキテクチャ、追加ベンチマーク、後学習の詳細を出すとしている。Le Mondeは発表時点で、性能に関する同社の主張はまだ独立検証を待っていると報じた。顧客は今、API経由で自前の証拠を集められるが、それは当該プレビュー版と提供構成に対する結果として記録する必要がある。

将来の選択肢には、まだ運用価格がない

公式モデルカードには、520億のアクティブパラメーター、総計1.05兆、16億のビジョンエンコーダー、100万トークンのコンテキスト窓が記載されている。これらの数字だけでは、顧客が狙う遅延や同時処理数に必要なメモリーは分からない。トークンごとに動くパラメーターは、全重みのメモリー占有量と同じではない。精度、量子化、メモリー帯域、ルーティング、コンテキスト長、推論ソフトウェアも関係する。

将来の重みには価値があり得るが、条件付きだ。顧客はプライベートクラウドや自社サーバーで推論を行い、一部のモデレーション設定を変えたり、ホスト型サービスに変化があった際の代替手段を持てるかもしれない。同時に、更新、セキュリティ、拡張、稼働率、障害対応の責任も引き受けることになる。ダウンロードすれば運用が無料になるわけではない。

順序としては、まず代表的なタスク群でAPIを試し、品質、遅延、トークン費用を記録するのがよい。プロンプト、モデル版、出力判定、キャッシュの前提、再試行回数も保存する。重みが公開された後、同じタスクを実行し、設備と人員を含めた受理結果あたりの費用を比べる。ライセンス、ハードウェア、セキュリティ、可用性は別々に確認する。

つまり、今回の発表は片側には価格が付き、もう片側にはまだ付いていない。APIは評価を今日の請求に変える。重みは将来、制御点を移すかもしれないが、その制御を買い手がいくらで得られるか、運用上望ましいかは分からない。

出典：Mistralの発表；モデルカードと料金；変更履歴；Valsのモデル評価；Vals Indexの方法論；Le Mondeの発表報道。