Кратко

  • Mistral публикует правило происхождения для таблицы бенчмарка, а не метку происхождения у каждого числа: в шести адресах, прочитанных 22 ноября 2026 года, названо ровно одно исключение на уровне строки, в подписи, и ни одно число не несёт собственной метки источника.
  • Анонс Medium 3 печатает одновременно «we use numbers reported previously by other providers wherever available, otherwise we use our own evaluation harness» и «Performance accuracy on all benchmarks were obtained through the same internal evaluation pipeline», не приводя фразы, которая бы их примиряла.

Два правила для одной таблицы

Анонс Medium 3, опубликованный 7 мая 2025 года, — самый ясный случай в корпусе (mistral.ai/news/mistral-medium-3). Перед разделом результатов он объясняет, откуда берутся числа:

In the evaluations below, we use numbers reported previously by other providers wherever available, otherwise we use our own evaluation harness.

Несколько строк спустя он печатает обратную схему, повторяемой сноской под результатами:

Performance accuracy on all benchmarks were obtained through the same internal evaluation pipeline.

Обе фразы управляют одними и теми же строками. Первая говорит, что часть последующего произведена кем-то другим; вторая говорит, что всё прошло через один конвейер. Тот, кто хочет узнать, какое число конкурента было импортировано, а какое перемерено у себя, не найдёт строки для проверки, потому что страница никогда не ставит метку рядом с числом. Это не доказанное противоречие. Это два напечатанных утверждения, одна таблица и отсутствующая фраза, которая их соединяет; и напечатал оба владелец таблицы.

Правило едет, метка нет

Small 3.1, опубликованный 17 марта 2025 года, пересказывает ту же схему другими словами: где возможно, страница показывает числа, ранее опубликованные другими поставщиками, иначе оценивает модели своим общим стендом оценки (mistral.ai/news/mistral-small-3-1). Словарь сменился, устройство нет. Страница раскладывает результаты под пятью заголовками, от текстовых инструктивных бенчмарков до мультиязычности, длинного контекста и качества предобученной модели, печатает единственную пометку о шкале — MM-MT-Bench приведён к диапазону от 0 до 100 — и утверждает в тексте, что Small 3.1 превосходит «comparable models like Gemma 3 and GPT-4o Mini». Какое из этих сравнительных чисел пришло из собственной публикации Gemma 3, а какое из стенда Mistral, остаётся там, куда его положило правило: в общем.

Единственный раз, когда строка получает имя

Large Enough, опубликованный 24 июля 2024 года, доказывает, что метка доступна, когда компания её захочет (mistral.ai/news/mistral-large-2407). Подпись к MultiPL-E называет одну строку, исключённую из общего конвейера: все модели оценивались через один и тот же конвейер оценки, за исключением строки «paper». Ещё четыре подписи на той же странице несут общее утверждение без исключения: генерация кода, GSM8K и MATH, общая выравненность, мультиязычный MMLU. Одна из них выполняет вторую работу — печатает число примеров: GSM8K с восемью, MATH с нулём и без цепочки рассуждений. Ни один другой документ корпуса число примеров не печатает. Вот и всё происхождение на уровне строки: одна подпись, одно исключение, одна названная строка и две из шести названных групп с числом выборки.

Когда процедура печатается, она печатается

Magistral, опубликованный 10 июня 2025 года, показывает ту же избирательность, направленную в другую сторону (mistral.ai/news/magistral). Страница печатает процедуру времени вывода рядом со вторым результатом той же модели: 73,6% на AIME2024 и 90% при мажоритарном голосовании по 64 выборкам. Magistral Small получает 70,7% и 83,3%. Это моя арифметика, а не Mistral: два числа Medium расходятся на 16,4 пункта, два числа Small — на 12,6 пункта, и единственное условие, которое страница печатает между ними, — то самое голосование по 64 выборкам. Для обоих результатов больше никакая конфигурация не напечатана, поэтому разрыв виден, а полный список его причин нет. Кто цитирует одно из этих двух чисел без другого, цитирует иной инструмент, чем тот, кто цитирует оба.

Страница, которая приглашает сравнивать и ничего не печатает

Адрес документации, путь которого оканчивается на /benchmark/, — самый чистый пример этой формы (docs.mistral.ai/getting-started/models/benchmark). При получении он отобразился как Models Overview и описал себя как место, где можно изучить линейку, сравнить бенчмарки и найти подходящую модель. Полученный текст содержит каталог: семейства моделей, лицензии, версии, строки о снятии с поддержки. Чего в нём нет: ни результата бенчмарка, ни подписи к таблице, ни названия стенда, ни числа примеров, ни интервала. Адрес приглашает к сравнению. Сравнение живёт в другом месте, и, когда читатель добирается до этого другого места, первое, что печатается, — правило.

Что покупатель ещё может проверить

Codestral 25.08, опубликованный 30 июля 2025 года, — единственная страница корпуса, которая сообщает относительные приросты вместо результатов (mistral.ai/news/codestral-25-08/): на 30% больше принятых автодополнений, на 10% больше сохранённого кода после подсказки, на 50% меньше неуправляемых генераций и два прироста по 5%, один по следованию инструкциям на IF eval v8, другой в среднем по MultiPL-E. Относительное улучшение ничего не значит без своей базы, а полученный фрагмент не печатает базу ни для одного из пяти. Страница добавляет, что эти улучшения «were validated in live IDE usage across production codebases», — иной род доказательства, чем бенчмарк, — а фрагмент не называет ни числа кодовых баз, ни периода, ни предыдущей версии.

Во всех шести адресах отсутствуют одни и те же поля: не назван ни один стенд оценки, не напечатан формат запроса, не появляется конфигурация декодирования сверх того голосования по 64 выборкам, не дано число повторов, и ни один результат не несёт доверительного интервала или дисперсии. Происхождение выступает правилом на трёх страницах и меткой строки ровно один раз.

Числовые строки сравнения не отрисовались в полученном тексте этих страниц. Это не делает их отсутствующими на страницах, это делает их недоступными для меня. Поэтому текст не утверждает ничего о отдельном результате, о том, какой конкурент оказался впереди, и о том, какую строку Mistral прогнала сама, а какую импортировала. Выводы об отсутствии ограничены полученным текстом шести адресов, прочитанных 22 ноября 2026 года, а не страницами во всех вариантах отображения, не PDF и не интерактивным графиком и не какой-либо страницей Mistral вне этого корпуса. Страница Codestral пришла фрагментом, а фрагмент — более слабый инструмент, чем страница.

Ни одна проверенная страница также не называет юридическое лицо оценивающей стороной: они говорят в первом лице множественного числа, и я не превращаю это «we» в подпись компании.

Проверяемый вопрос мал и точен. Для каждой строки: это число произведено здесь или заимствовано, и в какой конфигурации оно произведено? Mistral печатает правило, печатает процедуру, когда решает это сделать, называет одно исключение в одной подписи — и оставляет строку без метки. Таблица сравнения, строки которой не несут метки источника, просит читателя верить устройству издателя, а не проверять его. Это не скандал. Это инструкция по чтению, которая выпала из таблицы.