요약

  • Mistral이 공개하는 것은 벤치마크 표의 출처 규칙이지 각 숫자에 붙는 출처 라벨이 아니다. 2026년 11월 22일 읽은 여섯 주소에서 행 단위 예외는 캡션 안에 하나만 이름이 붙었고, 어느 숫자도 자기 출처 라벨을 달지 않았다.
  • Medium 3 발표문은 다른 제공자가 앞서 공개한 숫자를 쓰고 없으면 자체 평가 하네스를 쓴다는 문장과, 모든 벤치마크 정확도가 같은 내부 평가 파이프라인을 거쳤다는 문장을 함께 인쇄하면서 둘을 화해시키는 문장을 두지 않는다.

한 표에 두 규칙

2025년 5월 7일 공개된 Medium 3 발표문은 이 자료군에서 가장 선명한 사례다(mistral.ai/news/mistral-medium-3). 벤치마크 절에 들어가기 전 숫자의 출처를 이렇게 밝힌다.

In the evaluations below, we use numbers reported previously by other providers wherever available, otherwise we use our own evaluation harness.

몇 줄 뒤에는 반대되는 배열을 결과 아래 반복되는 각주로 인쇄한다.

Performance accuracy on all benchmarks were obtained through the same internal evaluation pipeline.

두 문장이 지배하는 대상은 같은 행들이다. 첫 문장은 뒤따르는 것의 일부가 다른 곳에서 만들어졌다고 말하고, 둘째 문장은 전부가 하나의 파이프라인을 지났다고 말한다. 어떤 경쟁사 숫자를 가져왔고 어떤 숫자를 자체적으로 다시 쟀는지 알고 싶은 독자에게는 확인할 행이 없다. 페이지가 숫자 옆에 라벨을 놓지 않기 때문이다. 이것은 입증된 모순이 아니다. 인쇄된 두 진술과 하나의 표, 그리고 둘을 잇는 문장의 부재이며, 그 두 문장을 인쇄한 주체는 표의 주인이다.

원칙은 이동하고 라벨은 남지 않는다

2025년 3월 17일 공개된 Small 3.1은 같은 배열을 다른 말로 다시 쓴다. 가능한 경우 다른 제공자가 앞서 공개한 숫자를 보여주고, 그렇지 않으면 자체 공통 평가 하네스로 모델을 평가한다고 적는다(mistral.ai/news/mistral-small-3-1). 어휘는 바뀌었지만 설계는 그대로다. 페이지는 결과를 텍스트 지시, 멀티모달 지시, 다국어, 긴 문맥, 사전학습 성능이라는 다섯 제목 아래 배치하고, 척도에 관한 주석을 하나만 인쇄하며(MM-MT-Bench를 0에서 100 사이로 맞춤), 본문에서는 Small 3.1이 Gemma 3와 GPT-4o Mini 같은 비교 가능한 모델을 앞선다고 서술한다. 그 비교 수치 가운데 어느 것이 Gemma 3 자체 발표에서 왔고 어느 것이 Mistral의 하네스에서 왔는지는 원칙이 두 자리에 그대로 둔다. 일반론이다.

행에 이름이 붙은 유일한 경우

2024년 7월 24일 공개된 Large Enough는 회사가 원할 때 라벨을 낼 수 있음을 증명한다(mistral.ai/news/mistral-large-2407). MultiPL-E 캡션은 한 행을 공통 파이프라인에서 이름으로 제외한다. 모든 모델을 같은 평가 파이프라인으로 측정했으나 paper 행만 예외라는 것이다. 같은 페이지의 다른 네 캡션은 예외 없는 일반 주장을 담는다. 코드 생성, GSM8K와 MATH, 일반 정렬, 다국어 MMLU다. 그중 하나는 두 번째 일도 한다. 예시 수를 인쇄하는 것이다. GSM8K는 8-shot, MATH는 추론 사슬 없이 0-shot이다. 이 자료군의 다른 어떤 문서도 예시 수를 인쇄하지 않는다. 행 단위 출처 정보는 여기서 끝난다. 캡션 하나, 예외 하나, 이름이 붙은 행 하나, 그리고 이름이 붙은 여섯 묶음 가운데 표본 수가 붙은 두 묶음이다.

절차를 인쇄할 때는 인쇄한다

2025년 6월 10일 공개된 Magistral은 같은 선택성이 반대 방향을 향하는 사례다(mistral.ai/news/magistral). 페이지는 같은 모델의 두 번째 점수 옆에 추론 시점 절차를 인쇄한다. AIME2024에서 73.6퍼센트, 64개 표본에 대한 다수결로 90퍼센트다. Magistral Small은 각각 70.7퍼센트와 83.3퍼센트를 받는다. 이것은 나의 계산이며 Mistral의 것이 아니다. Medium의 두 수치는 16.4포인트, Small의 두 수치는 12.6포인트 벌어져 있고, 페이지가 그 사이에 인쇄하는 유일한 조건이 그 64표본 다수결이다. 두 점수 어느 쪽에도 다른 설정은 인쇄되지 않았으므로 격차는 보이고 그 원인의 전체 목록은 보이지 않는다. 두 수치 가운데 하나만 인용하는 사람은 둘 다 인용하는 사람과 다른 계기를 인용하는 셈이다.

비교를 권하고 아무것도 인쇄하지 않는 페이지

경로가 /benchmark/로 끝나는 문서 주소는 이 형태의 가장 순수한 예다(docs.mistral.ai/getting-started/models/benchmark). 수집 시점에 그것은 Models Overview로 표시되었고, 전체 라인업을 살펴보고 벤치마크를 비교하며 용도에 맞는 모델을 찾는 자리라고 자기를 소개했다. 수집된 텍스트에 들어 있는 것은 카탈로그다. 모델 계열, 라이선스, 버전, 지원 중단 행이다. 들어 있지 않은 것은 벤치마크 점수, 표 캡션, 하네스 이름, 예시 수, 구간이다. 주소는 비교를 권한다. 비교는 다른 곳에 살고, 독자가 그 다른 곳에 도착하면 가장 먼저 인쇄되는 것이 원칙이다.

구매자가 여전히 확인할 수 있는 것

2025년 7월 30일 공개된 Codestral 25.08은 이 자료군에서 점수가 아니라 상대적 증가를 보고하는 유일한 페이지다(mistral.ai/news/codestral-25-08/). 수용된 완성이 30퍼센트 늘고, 제안 후 유지되는 코드가 10퍼센트 늘고, 폭주 생성이 50퍼센트 줄었으며, 5퍼센트 개선이 둘 있다. 하나는 IF eval v8에서 측정한 지시 따르기이고 다른 하나는 MultiPL-E 평균이다. 상대적 개선은 기준이 없으면 의미가 없는데, 수집된 발췌문은 다섯 값 어느 것에도 기준을 인쇄하지 않는다. 페이지는 이 개선들이 실제 IDE 사용에서 프로덕션 코드베이스 전반에 걸쳐 검증되었다고 덧붙인다. 벤치마크와는 다른 종류의 증거이며, 발췌문은 코드베이스의 수나 기간, 이전 버전을 밝히지 않는다.

여섯 주소 모두에서 빠진 항목은 같다. 평가 하네스의 이름은 없고, 프롬프트 형식도 인쇄되지 않으며, 그 64표본 다수결 밖의 디코딩 설정은 나타나지 않고, 반복 횟수도 주어지지 않으며, 어떤 점수에도 신뢰구간이나 분산이 붙지 않는다. 출처는 세 페이지에서 규칙으로, 한 번만 행 라벨로 나타난다.

이 페이지들의 수집된 텍스트에는 숫자 비교 행이 렌더링되지 않았다. 그것은 페이지에 없다는 뜻이 아니라 내가 쓸 수 없다는 뜻이다. 그래서 이 글은 개별 점수에 대해서도, 어느 경쟁사가 앞섰는지에 대해서도, 어느 행을 Mistral이 직접 돌렸고 어느 행을 가져왔는지에 대해서도 아무것도 주장하지 않는다. 부재에 관한 판단은 2026년 11월 22일 읽은 여섯 주소의 수집된 텍스트로 한정되며, 모든 렌더링에서의 페이지나 PDF, 상호작용 그래프, 이 자료군 밖의 Mistral 페이지에는 미치지 않는다. Codestral 페이지는 발췌문으로 도착했고, 발췌문은 페이지보다 약한 도구다. 검토한 어떤 페이지도 평가 주체로 법인을 지목하지 않는다. 1인칭 복수로 말하며, 나는 그 we를 회사의 서명으로 바꾸지 않는다.

확인 가능한 질문은 작고 날카롭다. 각 행마다 이 숫자가 여기서 생산되었는지 빌려왔는지, 어떤 설정에서 생산되었는지. Mistral은 규칙을 인쇄하고, 결정할 때 절차를 인쇄하며, 캡션 하나에서 예외 하나를 이름으로 남기고, 그 행에는 라벨을 붙이지 않는다. 행에 출처 라벨이 없는 비교 표는 독자에게 검토가 아니라 출판자의 배열을 믿으라고 요구한다. 이것은 스캔들이 아니다. 표에서 빠진 읽기 지시다.