Resumen
- Mistral publica la regla de procedencia de una tabla de benchmark en lugar de una etiqueta de procedencia en cada cifra: en seis direcciones leídas el 22 de noviembre de 2026 se nombra una sola excepción por fila, dentro de un pie de tabla, y ningún número lleva su propia etiqueta de origen.
- El anuncio de Medium 3 imprime a la vez «we use numbers reported previously by other providers wherever available, otherwise we use our own evaluation harness» y «Performance accuracy on all benchmarks were obtained through the same internal evaluation pipeline», sin una frase que las concilie.
Dos reglas para una sola tabla
El anuncio de Medium 3, publicado el 7 de mayo de 2025, es el caso más nítido del corpus (mistral.ai/news/mistral-medium-3). Antes de su sección de resultados explica de dónde salen las cifras:
In the evaluations below, we use numbers reported previously by other providers wherever available, otherwise we use our own evaluation harness.
Pocas líneas después imprime el arreglo contrario, como nota al pie repetida bajo los resultados:
Performance accuracy on all benchmarks were obtained through the same internal evaluation pipeline.
Las dos frases gobiernan las mismas filas. La primera dice que parte de lo que sigue lo produjo otro; la segunda dice que todo pasó por un solo conducto. Quien quiera saber qué cifra de la competencia se importó y cuál se volvió a medir en casa no tiene ninguna fila donde mirar, porque la página nunca pone una etiqueta junto a un número. No es una contradicción demostrada. Son dos declaraciones impresas, una tabla y ninguna frase que las una, y quien imprimió las dos es el dueño de la tabla.
La política viaja, la etiqueta no
Small 3.1, publicado el 17 de marzo de 2025, reformula el mismo arreglo con otras palabras: cuando es posible, la página muestra cifras ya publicadas por otros proveedores y, cuando no, evalúa los modelos con su arnés común de evaluación (mistral.ai/news/mistral-small-3-1). Cambió el vocabulario, no el dispositivo. La página ordena sus resultados bajo cinco rótulos, desde las pruebas de texto instructivo hasta multilingüe, contexto largo y rendimiento del modelo preentrenado, imprime una sola nota de escala —MM-MT-Bench llevado al rango de 0 a 100— y afirma en prosa que Small 3.1 supera a «comparable models like Gemma 3 and GPT-4o Mini». Cuál de esas cifras de comparación salió de la publicación de Gemma 3 y cuál del arnés de Mistral se queda donde la política lo puso: en lo general.
La única vez que una fila recibe nombre
Large Enough, publicado el 24 de julio de 2024, demuestra que la etiqueta existe cuando la empresa la quiere (mistral.ai/news/mistral-large-2407). Su pie de MultiPL-E excluye una fila del conducto común: todos los modelos se evaluaron con la misma canalización, excepto la fila «paper». Otros cuatro pies de la misma página llevan la afirmación general sin excepción: generación de código, GSM8K y MATH, alineación general y MMLU multilingüe. Uno de ellos hace un segundo trabajo, que es imprimir el número de disparos: GSM8K con 8 y MATH con 0 sin cadena de razonamiento. Ningún otro documento del corpus imprime cuántos disparos usa. Eso es toda la procedencia por fila que hay aquí: un pie, una excepción, una fila nombrada y dos referencias de seis grupos nombrados con una cifra de muestreo adjunta.
Cuando se imprime un procedimiento, se imprime
Magistral, publicado el 10 de junio de 2025, muestra la misma selectividad apuntando al otro lado (mistral.ai/news/magistral). La página imprime un procedimiento de inferencia junto a una segunda puntuación del mismo modelo: 73,6% en AIME2024 y 90% con voto mayoritario sobre 64 muestras. Magistral Small recibe 70,7% y 83,3%. Mi aritmética, no la de Mistral: las dos cifras de Medium difieren en 16,4 puntos y las dos de Small en 12,6, y la única condición que la página imprime entre ellas es ese voto mayoritario sobre 64 muestras. No se imprime ninguna otra configuración para ninguna de las dos puntuaciones, así que la brecha es visible mientras que su lista completa de causas no lo es. Quien cita una de esas dos cifras sin la otra está citando un instrumento distinto del que cita ambas.
La página que invita a comparar y no imprime nada
La dirección de documentación cuyo camino termina en /benchmark/ es el ejemplo más puro de la forma (docs.mistral.ai/getting-started/models/benchmark). Al recuperarla se presentó como Models Overview y se describió como el lugar para explorar la gama, comparar benchmarks y encontrar el modelo adecuado. El texto recuperado contiene un catálogo: familias de modelos, licencias, versiones y filas de descontinuación. Lo que no contiene es una puntuación, un pie de tabla, el nombre de un arnés, un número de disparos o un intervalo. La dirección invita a una comparación. La comparación vive en otro sitio, y cuando el lector llega a ese otro sitio lo primero que se imprime es una política.
Lo que un comprador todavía puede comprobar
Codestral 25.08, publicado el 30 de julio de 2025, es la única página del corpus que informa deltas en lugar de puntuaciones (mistral.ai/news/codestral-25-08/): un 30% más de completados aceptados, un 10% más de código retenido tras la sugerencia, un 50% menos de generaciones desbocadas y dos mejoras del 5%, una en seguimiento de instrucciones medida sobre IF eval v8 y otra como media en MultiPL-E. Una mejora relativa no significa nada sin su base de comparación, y el extracto recuperado no imprime base para ninguno de los cinco. La página añade que esas mejoras se validaron en uso real dentro de bases de código en producción, que es otro tipo de prueba distinto de un benchmark, y el extracto no nombra cuántas bases, ni el periodo, ni la versión anterior.
En las seis direcciones faltan los mismos campos: no se nombra ningún arnés de evaluación, no se imprime ningún formato de instrucción, no aparece configuración de decodificación más allá de ese voto mayoritario sobre 64 muestras, no se da ningún número de repeticiones y ninguna puntuación lleva intervalo de confianza ni varianza. La procedencia aparece como regla en tres páginas y como etiqueta de fila una sola vez.
Las filas numéricas de comparación no se representaron en el texto recuperado de estas páginas. Eso no las vuelve ausentes de las páginas; las vuelve inaccesibles para mí. Por eso este texto no afirma nada sobre una puntuación individual, sobre qué competidor quedó delante, ni sobre qué fila midió Mistral y cuál importó. Las conclusiones sobre ausencia se limitan al texto recuperado de seis direcciones leídas el 22 de noviembre de 2026, no a las páginas en todas sus representaciones, no a un PDF ni a un gráfico interactivo, y no a ninguna página de Mistral fuera de este corpus.
La página de Codestral llegó como extracto, y un extracto es un instrumento más débil que una página. Tampoco ninguna página inspeccionada nombra a una persona jurídica como parte evaluadora: hablan en primera persona del plural, y no convierto ese «we» en una firma societaria.
La pregunta comprobable es pequeña y precisa. Para cada fila: ¿esta cifra se produjo aquí o se tomó prestada, y con qué configuración se produjo? Mistral imprime la regla, imprime un procedimiento cuando lo decide, nombra una excepción en un pie y deja la fila sin etiqueta. Una tabla de comparación cuyas filas no llevan etiqueta de origen pide al lector que crea el arreglo del editor en lugar de inspeccionarlo. No es un escándalo. Es una instrucción de lectura que se quedó fuera de la tabla.
Informe para miembros
Leer el informe de tendencia completo
Los miembros leen el informe completo, con las notas de fuente detrás de cada hallazgo.
Círculo Estratégico
Un resumen diario en tu idioma, elaborado a partir de cambios que hemos verificado.
Únete por USD 20 al mesCancela cuando quieras.
Solicita tu admisión a Leadership Alliance
¿Ya eres miembro? Inicia sesión
Los miembros también obtienen toda la biblioteca de investigación, un resumen diario sobre las redes que siguen y el foro privado.






