Zusammenfassung

  • Mistral veröffentlicht die Herkunftsregel einer Benchmark-Tabelle statt eines Herkunftsetiketts an jeder Zahl: In sechs am 22. November 2026 gelesenen Adressen ist genau eine Ausnahme auf Zeilenebene benannt, in einer Unterschrift, und keine Zahl trägt ihr eigenes Quellenetikett.
  • Die Medium-3-Ankündigung druckt sowohl «we use numbers reported previously by other providers wherever available, otherwise we use our own evaluation harness» als auch «Performance accuracy on all benchmarks were obtained through the same internal evaluation pipeline», ohne einen Satz, der beide Aussagen zusammenführt.

Zwei Regeln für eine Tabelle

Die am 7. Mai 2025 veröffentlichte Ankündigung von Medium 3 ist der klarste Fall im Korpus (mistral.ai/news/mistral-medium-3). Vor ihrem Benchmark-Abschnitt legt sie dar, woher die Zahlen kommen:

In the evaluations below, we use numbers reported previously by other providers wherever available, otherwise we use our own evaluation harness.

Wenige Zeilen später druckt sie die entgegengesetzte Regelung, als wiederholte Fußnote unter den Ergebnissen:

Performance accuracy on all benchmarks were obtained through the same internal evaluation pipeline.

Beide Sätze gelten für dieselben Zeilen. Der erste sagt, ein Teil des Folgenden sei anderswo entstanden; der zweite sagt, alles sei durch einen einzigen Durchlauf gegangen. Wer wissen will, welche Vergleichszahl eingekauft und welche im Haus neu gemessen wurde, hat keine Zeile zum Nachschlagen, weil die Seite nie ein Etikett neben eine Zahl setzt. Das ist kein bewiesener Widerspruch. Es sind zwei gedruckte Aussagen, eine Tabelle und kein Satz, der sie verbindet – und gedruckt hat beide der Eigentümer der Tabelle.

Die Regel reist, das Etikett nicht

Small 3.1, veröffentlicht am 17. März 2025, formuliert dieselbe Regelung mit anderen Worten: Wo möglich zeigt die Seite Zahlen, die andere Anbieter zuvor veröffentlicht haben; andernfalls bewertet sie Modelle mit ihrem gemeinsamen Evaluations-Harness (mistral.ai/news/mistral-small-3-1). Das Vokabular hat sich geändert, die Anlage nicht. Die Seite ordnet ihre Ergebnisse unter fünf Überschriften, von Text-Instruct-Benchmarks über Multilingual, Long Context und Pretrained Performance, druckt einen einzigen Maßstabshinweis – MM-MT-Bench auf den Bereich zwischen 0 und 100 gebracht – und behauptet im Fließtext, Small 3.1 übertreffe «comparable models like Gemma 3 and GPT-4o Mini». Welche dieser Vergleichszahlen aus Gemmas eigener Veröffentlichung stammt und welche aus Mistrals Harness, bleibt dort, wo die Regel es gelassen hat: im Allgemeinen.

Das eine Mal, in dem eine Zeile benannt wird

Large Enough, veröffentlicht am 24. Juli 2024, belegt, dass das Etikett verfügbar ist, wenn das Unternehmen eines will (mistral.ai/news/mistral-large-2407). Die MultiPL-E-Unterschrift nimmt eine Zeile namentlich aus dem gemeinsamen Durchlauf heraus: alle Modelle wurden durch dieselbe Evaluations-Pipeline gemessen, außer der Zeile «paper». Vier weitere Unterschriften derselben Seite tragen die allgemeine Aussage ohne Ausnahme: Codegenerierung, GSM8K und MATH, allgemeine Ausrichtung und multilinguales MMLU. Eine davon erledigt eine zweite Aufgabe, nämlich die Zahl der Beispiele zu drucken: GSM8K mit 8, MATH mit 0 und ohne Gedankenkette. Kein anderes Dokument im Korpus druckt eine Beispielzahl. Das ist die gesamte Herkunftsangabe auf Zeilenebene: eine Unterschrift, eine Ausnahme, eine benannte Zeile und zwei von sechs benannten Gruppen mit einer Stichprobenzahl.

Wird ein Verfahren gedruckt, wird es gedruckt

Magistral, veröffentlicht am 10. Juni 2025, zeigt dieselbe Selektivität in die andere Richtung (mistral.ai/news/magistral). Die Seite druckt ein Inferenzverfahren neben eine zweite Punktzahl desselben Modells: 73,6 % auf AIME2024 und 90 % mit Mehrheitsentscheid über 64 Stichproben. Magistral Small erhält 70,7 % und 83,3 %. Meine Rechnung, nicht die von Mistral: Die beiden Medium-Zahlen liegen 16,4 Punkte auseinander, die beiden Small-Zahlen 12,6 Punkte, und die einzige Bedingung, die die Seite dazwischen druckt, ist diese Mehrheitsentscheidung über 64 Stichproben. Für keine der beiden Punktzahlen wird eine weitere Konfiguration gedruckt, die Lücke ist also sichtbar und ihre vollständige Ursachenliste nicht. Wer eine der beiden Zahlen ohne die andere zitiert, zitiert ein anderes Instrument als der, der beide zitiert.

Die Seite, die zum Vergleichen einlädt und nichts druckt

Die Dokumentationsadresse, deren Pfad auf /benchmark/ endet, ist das reinste Beispiel dieser Form (docs.mistral.ai/getting-started/models/benchmark). Beim Abruf erschien sie als Models Overview und beschrieb sich als Ort, an dem man das Sortiment erkundet, Benchmarks vergleicht und das passende Modell findet. Der abgerufene Text enthält einen Katalog: Modellfamilien, Lizenzen, Versionen, Abkündigungszeilen. Was er nicht enthält: eine Benchmark-Punktzahl, eine Tabellenunterschrift, einen Harness-Namen, eine Beispielzahl, ein Intervall. Die Adresse lädt zu einem Vergleich ein. Der Vergleich wohnt anderswo, und wenn der Leser am Anderswo ankommt, ist das erste Gedruckte eine Regel.

Was ein Käufer noch prüfen kann

Codestral 25.08, veröffentlicht am 30. Juli 2025, ist die einzige Seite im Korpus, die relative Veränderungen statt Punktzahlen berichtet (mistral.ai/news/codestral-25-08/): 30 % mehr akzeptierte Vervollständigungen, 10 % mehr behaltener Code nach dem Vorschlag, 50 % weniger ausufernde Generierungen und zwei Zuwächse von 5 %, einer beim Befehlsfolgen gemessen an IF eval v8, einer im Mittel über MultiPL-E. Eine relative Verbesserung bedeutet ohne ihre Bezugsgröße nichts, und der abgerufene Auszug druckt für keinen der fünf Werte eine Bezugsgröße. Die Seite ergänzt, diese Verbesserungen seien «were validated in live IDE usage across production codebases» – eine andere Art von Beleg als ein Benchmark –, und der Auszug nennt weder die Zahl der Codebasen noch den Zeitraum noch die Vorversion.

Über alle sechs Adressen fehlen dieselben Felder: kein Evaluations-Harness wird genannt, kein Prompt-Format gedruckt, keine Dekodierkonfiguration erscheint über jene Mehrheitsentscheidung bei 64 Stichproben hinaus, keine Wiederholungszahl wird gegeben, und keine Punktzahl trägt ein Konfidenzintervall oder eine Varianz. Herkunft erscheint als Regel auf drei Seiten und als Zeilenetikett genau einmal.

Die numerischen Vergleichszeilen wurden im abgerufenen Text dieser Seiten nicht gerendert. Das macht sie nicht zu Abwesenden auf den Seiten, sondern zu für mich Unzugänglichen. Deshalb behauptet dieser Text nichts über eine einzelne Punktzahl, nichts darüber, welcher Wettbewerber vorn lag, und nichts darüber, welche Zeile Mistral selbst gefahren und welche sie eingekauft hat.

Die Befunde über Abwesenheit sind auf den abgerufenen Text von sechs am 22. November 2026 gelesenen Adressen begrenzt, nicht auf die Seiten in jeder Darstellungsform, nicht auf ein PDF oder ein interaktives Diagramm und nicht auf eine Mistral-Seite außerhalb dieses Korpus. Die Codestral-Seite kam als Auszug, und ein Auszug ist ein schwächeres Instrument als eine Seite. Auch nennt keine geprüfte Seite eine juristische Person als bewertende Partei: Sie sprechen in der ersten Person Plural, und ich verwandle dieses «we» nicht in eine Unterschrift des Unternehmens.

Die prüfbare Frage ist klein und scharf. Für jede Zeile: Wurde diese Zahl hier erzeugt oder entliehen, und in welcher Konfiguration wurde sie erzeugt? Mistral druckt die Regel, druckt ein Verfahren, wenn es das entscheidet, benennt eine Ausnahme in einer Unterschrift und lässt die Zeile ohne Etikett. Eine Vergleichstabelle, deren Zeilen kein Quellenetikett tragen, verlangt vom Leser, der Anlage des Herausgebers zu glauben statt sie zu prüfen. Das ist kein Skandal. Es ist eine Leseanweisung, die aus der Tabelle herausgefallen ist.