Résumé

  • Mistral publie la règle de provenance d’un tableau de benchmark plutôt qu’une étiquette de provenance sur chaque chiffre : sur six adresses lues le 22 novembre 2026, une seule exception au niveau de la ligne est nommée, dans une légende, et aucun chiffre ne porte sa propre étiquette de source.
  • L’annonce Medium 3 imprime à la fois « we use numbers reported previously by other providers wherever available, otherwise we use our own evaluation harness » et « Performance accuracy on all benchmarks were obtained through the same internal evaluation pipeline », sans une phrase qui les réconcilie.

Deux règles pour un seul tableau

L’annonce Medium 3, publiée le 7 mai 2025, est le cas le plus net du corpus (mistral.ai/news/mistral-medium-3). Avant sa section de résultats, elle expose d’où viennent les chiffres :

In the evaluations below, we use numbers reported previously by other providers wherever available, otherwise we use our own evaluation harness.

Quelques lignes plus loin, elle imprime l’arrangement inverse, en note de bas de page répétée sous les résultats :

Performance accuracy on all benchmarks were obtained through the same internal evaluation pipeline.

Les deux phrases régissent les mêmes lignes. La première dit qu’une partie de ce qui suit a été produite par quelqu’un d’autre ; la seconde dit que tout est passé par un seul pipeline. Le lecteur qui veut savoir quel chiffre concurrent a été importé et lequel a été remesuré en interne n’a aucune ligne à consulter, parce que la page ne place jamais d’étiquette à côté d’un chiffre. Ce n’est pas une contradiction démontrée. Ce sont deux déclarations imprimées, un tableau, et aucune phrase pour les joindre — et c’est le propriétaire du tableau qui a imprimé les deux.

La politique voyage, l’étiquette non

Small 3.1, publié le 17 mars 2025, reformule le même arrangement avec d’autres mots : la page indique que, lorsque cela est possible, elle reprend des chiffres déjà publiés par d’autres fournisseurs et que, sinon, elle évalue les modèles avec son propre harnais commun (mistral.ai/news/mistral-small-3-1). Le vocabulaire a changé, le dispositif non. La page classe ses résultats sous cinq intitulés, du texte instructif au multilingue, au contexte long et aux performances du modèle préentraîné, imprime une seule note d’échelle — MM-MT-Bench ramené entre 0 et 100 — et affirme en prose que Small 3.1 surpasse « comparable models like Gemma 3 and GPT-4o Mini ». Lequel de ces chiffres concurrents vient de la publication de Gemma 3 et lequel du harnais de Mistral reste là où la politique l’a mis : dans le général.

La seule fois où une ligne est nommée

Large Enough, publié le 24 juillet 2024, prouve que l’étiquette est disponible quand l’entreprise en veut une (mistral.ai/news/mistral-large-2407). Sa légende MultiPL-E exclut nommément une ligne du pipeline commun : tous les modèles ont été évalués par le même pipeline, à l’exception de la ligne « paper ». Quatre autres légendes de la même page portent l’affirmation générale sans exception : génération de code, GSM8K et MATH, alignement général, MMLU multilingue. L’une d’elles fait un second travail, celui d’imprimer les tirages : GSM8K en 8 coups, MATH en 0 coup sans chaîne de raisonnement. Aucun autre document du corpus n’imprime de nombre de tirages. Voilà toute la provenance au niveau de la ligne : une légende, une exception, une ligne nommée, et deux benchmarks sur six groupes nommés dotés d’un chiffre d’échantillonnage.

Quand une procédure est imprimée, elle est imprimée

Magistral, publié le 10 juin 2025, montre la même sélectivité pointée dans l’autre sens (mistral.ai/news/magistral). La page imprime une procédure de test à côté d’un second score pour le même modèle : 73,6 % sur AIME2024, et 90 % avec un vote majoritaire sur 64 échantillons. Magistral Small reçoit 70,7 % et 83,3 %. Mon calcul, pas celui de Mistral : les deux chiffres Medium diffèrent de 16,4 points et les deux chiffres Small de 12,6 points, et la seule condition que la page imprime entre eux est ce vote majoritaire sur 64 tirages. Aucune autre configuration n’est imprimée pour l’un ou l’autre score : l’écart est visible, la liste complète de ses causes ne l’est pas. Qui cite un de ces deux chiffres sans l’autre cite un autre instrument que celui qui cite les deux.

La page qui invite à comparer et n’imprime rien

L’adresse de documentation dont le chemin se termine par /benchmark/ est l’exemple le plus pur de la forme (docs.mistral.ai/getting-started/models/benchmark). À la récupération, elle s’affichait comme Models Overview et se décrivait comme l’endroit pour explorer la gamme, comparer les benchmarks et trouver le bon modèle. Le texte récupéré contient un catalogue : familles de modèles, licences, versions, lignes de dépréciation. Il ne contient pas de score, pas de légende de tableau, pas de nom de harnais, pas de nombre de tirages, pas d’intervalle. L’adresse invite à une comparaison. La comparaison vit ailleurs, et quand le lecteur arrive ailleurs, la première chose imprimée est une politique.

Ce qu’un acheteur peut encore vérifier

Codestral 25.08, publié le 30 juillet 2025, est la seule page du corpus qui rapporte des écarts relatifs au lieu de scores (mistral.ai/news/codestral-25-08) : 30 % de complétions acceptées en plus, 10 % de code retenu après suggestion en plus, 50 % de générations emballées en moins, et deux gains de 5 %, l’un sur le suivi d’instructions mesuré sur IF eval v8, l’autre en moyenne sur MultiPL-E. Un progrès relatif ne veut rien dire sans sa base de comparaison, et l’extrait récupéré n’imprime de base pour aucun des cinq. La page ajoute que ces améliorations ont été validées en usage réel dans des bases de code de production — une autre nature de preuve qu’un benchmark — sans nommer de nombre de bases, de période ni de version antérieure.

Sur les six adresses, les mêmes champs manquent : aucun harnais d’évaluation n’est nommé, aucun format d’invite n’est imprimé, aucune configuration de décodage n’apparaît au-delà de ce vote majoritaire à 64 échantillons, aucun nombre de répétitions n’est donné, et aucun score ne porte d’intervalle de confiance ni de variance. La provenance apparaît comme une règle sur trois pages et comme une étiquette de ligne une seule fois.

Les lignes numériques de comparaison ne se sont pas rendues dans le texte récupéré de ces pages. Cela ne les rend pas absentes des pages ; cela les rend indisponibles pour moi. Aussi ce texte ne formule aucune affirmation sur un score individuel, sur le concurrent arrivé devant, ni sur la ligne que Mistral a mesurée elle-même et celle qu’elle a importée. Les constats d’absence sont circonscrits au texte récupéré de six adresses lues le 22 novembre 2026, non aux pages dans toutes leurs restitutions, non à un PDF ou à un graphique interactif, et non à une page de Mistral hors de ce corpus.

La page Codestral est arrivée en extrait, et un extrait est un instrument plus faible qu’une page. Aucune page inspectée ne nomme non plus de personne morale comme partie évaluatrice : elles parlent à la première personne du pluriel, et je ne convertis pas « we » en signature sociale.

La question vérifiable est petite et nette. Pour chaque ligne : ce chiffre a-t-il été produit ici ou emprunté, et sur quelle configuration ? Mistral imprime la règle, imprime une procédure quand il le décide, nomme une exception dans une légende, et laisse la ligne sans étiquette. Un tableau de comparaison dont les lignes ne portent aucune étiquette de source demande au lecteur de croire l’arrangement de l’éditeur plutôt que de l’inspecter. Ce n’est pas un scandale. C’est une consigne de lecture qui a été omise du tableau.