摘要

  • Mistral 公布的是基准表格的来源规则,而不是每个数字旁的来源标签:2026 年 11 月 22 日读到的六个地址中,只有一处行级例外被点名,且写在表格说明里,没有任何数字带着自己的来源标签。
  • Medium 3 公告同时印着「使用其他厂商此前公布的数字」和「所有基准准确率都通过同一内部评测管线获得」,却没有一句话把二者协调起来。

一张表格,两套规则

2025 年 5 月 7 日发布的 Medium 3 公告,是本组材料里最清楚的一例(mistral.ai/news/mistral-medium-3)。在基准章节之前,它交代数字从哪里来:

In the evaluations below, we use numbers reported previously by other providers wherever available, otherwise we use our own evaluation harness.

几行之后,它又印出相反的安排,作为结果下方反复出现的脚注:

Performance accuracy on all benchmarks were obtained through the same internal evaluation pipeline.

两句话管的是同一批行。第一句说后面有一部分的数字是别人做的;第二句说全部都走了一条管线。想知道哪个对手数字是引进的、哪个是自己重跑的读者,找不到任何一行可以查,因为页面从不把标签放在数字旁边。这不是被证实的自相矛盾,而是两句印出来的陈述、一张表、以及一句把它们连起来的话都没有;而两句都是表格的主人家印的。

政策会走,标签不会

2025 年 3 月 17 日发布的 Small 3.1,用不同的措辞重述了同一套安排:只要可能,就展示其他厂商此前公布的数字,否则就用自家的通用评测工具去评(mistral.ai/news/mistral-small-3-1)。词汇换了,做法没换。页面把结果分在五个标题下,从文本指令基准一路到多语言、长上下文与预训练表现,只印了一条量纲说明——MM-MT-Bench 缩放到 0 到 100 之间——并在正文里说 Small 3.1「outperforms comparable models like Gemma 3 and GPT-4o Mini」。这些对手数字里哪个出自 Gemma 3 自己的发布、哪个出自 Mistral 的评测工具,还留在政策把它放的位置上:笼统之处。

唯一一次给一行命名

2024 年 7 月 24 日发布的 Large Enough,证明只要公司想,标签是拿得出来的(mistral.ai/news/mistral-large-2407)。它的 MultiPL-E 说明把一行排除在共同管线之外:所有模型都走同一评测管线,唯独「paper」那一行例外。同一页上另有四条说明只作一般性陈述、不带例外:代码生成、GSM8K 与 MATH、通用对齐、多语言 MMLU。其中一条还兼做第二件事,就是印出样本数:GSM8K 为 8-shot,MATH 为 0-shot 且不使用思维链。六个文件里没有第二处印样本数。这就是这里全部的行级来源信息:一条说明、一处例外、一行被点名,以及六个点名分组中两个带有抽样数字。

想印程序的时候就印程序

2025 年 6 月 10 日发布的 Magistral,把同一种选择性指向了另一边(mistral.ai/news/magistral)。页面在同一个模型的第二个分数旁边印出了一道推理时程序:AIME2024 上 73.6%,采用 64 次多数投票后为 90%。Magistral Small 相应是 70.7% 与 83.3%。这是我的算术,不是 Mistral 的:Medium 的两个数字相差 16.4 个百分点,Small 的两个数字相差 12.6 个百分点,而页面在两者之间印出的唯一条件,就是那次 64 样本的多数投票。两个分数都没有再印别的配置,所以差距看得见,差距的原因清单看不见。只引其中一个数字而不引另一个的人,引的是另一件仪器。

邀请比较、却不印比较的那一页

路径以 /benchmark/ 结尾的那份文档地址,是这种形态最纯粹的样本(docs.mistral.ai/getting-started/models/benchmark)。取回时它以 Models Overview 呈现,自称是「浏览完整模型阵容、比较基准、找到适合你用例的模型」的地方。取回的文本里装的是目录:模型家族、许可证、版本、弃用行。里面没有基准分数、没有表格说明、没有评测工具名称、没有样本数、没有区间。地址邀请的是一场比较;比较住在别处,而读者到了别处,第一眼看到的是一条政策。

买方仍能核对的东西

2025 年 7 月 30 日发布的 Codestral 25.08,是这组材料中唯一报告相对增幅而非分数的页面(mistral.ai/news/codestral-25-08/):被接受的补全增加 30%,建议后保留的代码增加 10%,失控生成减少 50%,另有两项 5% 的提升,一项是在 IF eval v8 上测的指令遵循,一项是 MultiPL-E 的平均值。相对改进离开基线就没有意义,而取回的摘录对五项中的任何一项都没有印基线。页面还说这些改进「were validated in live IDE usage across production codebases」,那是与基准不同的一类证据,而摘录没有点名多少个代码库、没有时间段,也没有前一个版本。

六个地址缺的是同一批字段:没有点名任何评测工具,没有印提示格式,除了那次 64 样本多数投票之外没有出现任何解码配置,没有给出重复次数,也没有任何分数带置信区间或方差。来源以规则的形式出现在三个页面,以行标签的形式出现一次。

这些页面的取回文本里,数字对比行并没有渲染出来。这不等于页面上没有它们,而是我拿不到它们。因此本文不对任何单个分数作断言,不说哪个对手在前,也不说哪一行是 Mistral 自己跑的、哪一行是引进的。关于缺席的结论只限于 2026 年 11 月 22 日读到的六个地址的取回文本,不涉及这些页面在各种呈现方式下的样子,不涉及 PDF 或交互图表,也不涉及本组材料之外的任何 Mistral 页面。Codestral 那一页是以摘录形式到达的,而摘录是比页面更弱的工具。被检视的页面也没有一处把某个法人点名为评测方:它们用第一人称复数说话,我不把那个「we」翻译成公司的署名。

可核对的问题很小、很锋利。对每一行问:这个数字是这里产出的还是借来的,它是在什么配置下产出的?Mistral 印规则,愿意的时候印程序,在一处说明里点名一处例外,然后就那一行不给标签。一张行上不带来源标签的对比表,要求读者相信出版方的安排,而不是去检视它。这不是丑闻,这是一条被落在表格之外的阅读说明。