要約
- Mistralが公表しているのはベンチマーク表の出所ルールであり、各数値に付く出所ラベルではない。2026年11月22日に読んだ6つのアドレスでは、行単位の例外がキャプション内に1件だけ名指しされ、数値そのものにラベルは付いていない。
- Medium 3の発表は「他社が以前公表した数値を使い、なければ自社の評価ハーネスを使う」と「すべてのベンチマーク精度は同じ内部評価パイプラインで取得した」を同時に印字し、両者を調整する一文を持たない。
1つの表に2つの規則
2025年5月7日公開のMedium 3の発表が、この資料群で最も鮮明な例である(mistral.ai/news/mistral-medium-3)。ベンチマークの節に入る前、数値の出所をこう記す。
In the evaluations below, we use numbers reported previously by other providers wherever available, otherwise we use our own evaluation harness.
その数行後、結果の下に繰り返し現れる脚注として、逆の取り決めを印字する。
Performance accuracy on all benchmarks were obtained through the same internal evaluation pipeline.
2つの文が支配するのは同じ行である。前者は続く数値の一部が他者によって産出されたと言い、後者はそのすべてが1本のパイプラインを通ったと言う。どの比較相手の数値が持ち込まれ、どれが社内で取り直されたのかを知りたい読者には、参照すべき行がない。ページは数値の隣にラベルを置かないからだ。これは証明された矛盾ではない。印字された2つの陳述と1つの表、そして両者を結ぶ一文の不在であり、その2文を印字したのは表の持ち主である。
方針は移動し、ラベルは移動しない
2025年3月17日公開のSmall 3.1は、同じ取り決めを別の言葉で書き直す。可能な限り他社が以前公表した数値を示し、そうでない場合は共通の評価ハーネスで評価する、と述べる(mistral.ai/news/mistral-small-3-1)。語彙は変わったが、仕組みは変わっていない。ページは結果をテキスト指示、マルチモーダル指示、多言語、長いコンテキスト、事前学習性能という5つの見出しに分け、尺度の注記を1つだけ印字し(MM-MT-Benchを0から100の範囲に収める)、本文ではSmall 3.1が「Gemma 3やGPT-4o Miniのような比較可能なモデルを上回る」と述べる。その比較数値のうちどれがGemma 3自身の公表に由来し、どれがMistralのハーネスに由来するのかは、方針が置いた場所、つまり一般論のままに残されている。
行に名前が付いた唯一の例
2024年7月24日公開のLarge Enoughは、会社が望めばラベルを出せることを証明している(mistral.ai/news/mistral-large-2407)。MultiPL-Eのキャプションは1行だけを共通パイプラインから除外する。すべてのモデルは同じ評価パイプラインで測定したが、「paper」行のみ例外である、と。同じページの他の4つのキャプションは例外なしの一般的主張を載せる。コード生成、GSM8KとMATH、汎用アラインメント、多言語MMLUである。うち1つはもう1つの仕事もしており、ショット数を印字する。GSM8Kは8ショット、MATHは0ショットで思考の連鎖なし。この資料群の他のどの文書もショット数を印字していない。行単位の出所情報はここで尽きる。キャプション1つ、例外1件、名指しされた行1つ、そして名指しされた6つのグループのうちサンプリング数が付いた2つである。
手続きを印字するときは印字する
2025年6月10日公開のMagistralは、同じ選択性が逆方向を向く例だ(mistral.ai/news/magistral)。ページは同じモデルの2つ目のスコアの隣に推論時の手続きを印字する。AIME2024で73.6%、64サンプルの多数決で90%である。Magistral Smallはそれぞれ70.7%と83.3%。これは私の計算でありMistralのものではない。Mediumの2つの数値は16.4ポイント、Smallの2つは12.6ポイント離れており、ページが両者の間に印字する唯一の条件がその64サンプル多数決である。どちらのスコアにも他の設定は印字されていないので、差は見えるが、その原因の一覧は見えない。片方だけを引用する読者は、両方を引用する読者とは別の計器を引用している。
比較を促し、比較を印字しないページ
パスが /benchmark/ で終わるドキュメントのアドレスは、この形の最も純粋な例だ(docs.mistral.ai/getting-started/models/benchmark)。取得時、それはModels Overviewとして表示され、モデル群を一覧し、ベンチマークを比較し、用途に合うモデルを見つける場所だと自己紹介していた。取得したテキストに入っているのはカタログである。モデル系列、ライセンス、バージョン、非推奨の行。入っていないのは、ベンチマークのスコア、表のキャプション、ハーネスの名称、ショット数、区間である。アドレスは比較を招いている。比較は別の場所に住んでおり、読者がその別の場所に着くと最初に印字されるのは方針である。
買い手がなお確認できること
2025年7月30日公開のCodestral 25.08は、この資料群でスコアではなく相対的な差分を報告する唯一のページだ(mistral.ai/news/codestral-25-08/)。受け入れられた補完が30%増、提案後に残るコードが10%増、暴走生成が50%減、さらに5%の改善が2つ、ひとつはIF eval v8で測った指示追従、もうひとつはMultiPL-Eの平均である。相対的な改善は基準がなければ意味を持たないが、取得した抜粋は5つのいずれにも基準を印字していない。ページはさらに、これらの改善が「本番のコードベースにおける実際のIDE利用で検証された」と述べる。これはベンチマークとは別種の証拠であり、抜粋はコードベースの数も期間も前バージョンも名指ししていない。
6つのアドレスすべてで欠けている項目は同じだ。評価ハーネスの名称はなく、プロンプト形式も印字されず、64サンプル多数決以外のデコード設定は現れず、試行回数も与えられず、どのスコアにも信頼区間も分散もない。出所は3ページで規則として、1度だけ行ラベルとして現れる。
これらのページの取得テキストには、数値の比較行が描画されなかった。それはページに存在しないことを意味せず、私が利用できないことを意味する。したがって本稿は、個々のスコアについても、どの比較相手が上だったかについても、どの行をMistralが走らせどれを持ち込んだかについても、何も主張しない。不在に関する知見は、2026年11月22日に読んだ6つのアドレスの取得テキストに限定され、あらゆる描画におけるページ、PDFや対話的なグラフ、この資料群の外にあるMistralのページには及ばない。Codestralのページは抜粋として届いたが、抜粋はページより弱い道具である。検分したどのページも、評価主体として法人を名指ししていない。一人称複数で語っており、私はその「we」を会社の署名に変換しない。
確認できる問いは小さく鋭い。各行について、この数値はここで産出されたのか貸借されたのか、どの設定で産出されたのか。Mistralは規則を印字し、決めたときには手続きを印字し、1つのキャプションで1つの例外を名指しし、その行にはラベルを付けない。行に出所ラベルがない比較表は、読者に検分ではなく出版者の取り決めを信じるよう求める。これは不祥事ではない。表から落ちた読み方の指示である。
会員向け解説
トレンド解説の全文を読む
会員は解説の全文と、すべての知見を裏付ける出典メモを読めます。
ストラテジックサークル
あなたの言語で毎日届く、私たちが確認した変化に基づくブリーフィング。
USD 20/月で参加いつでも解約できます。
会員はさらに、リサーチライブラリー全編、フォロー中のネットワークに関するデイリーブリーフィング、会員限定フォーラムを利用できます。






