Resumo
- A Mistral publica a regra de origem de uma tabela de benchmark, não uma etiqueta de origem em cada número: nos seis endereços lidos em 22 de novembro de 2026, uma única exceção por linha é nomeada, dentro de uma legenda, e nenhum número carrega a própria etiqueta de fonte.
- O anúncio do Medium 3 imprime ao mesmo tempo «we use numbers reported previously by other providers wherever available, otherwise we use our own evaluation harness» e «Performance accuracy on all benchmarks were obtained through the same internal evaluation pipeline», sem uma frase que reconcilie as duas.
Duas regras para uma tabela
O anúncio do Medium 3, publicado em 7 de maio de 2025, é o caso mais nítido do conjunto (mistral.ai/news/mistral-medium-3). Antes da seção de resultados, ele declara de onde vêm os números:
In the evaluations below, we use numbers reported previously by other providers wherever available, otherwise we use our own evaluation harness.
Poucas linhas depois, imprime o arranjo contrário, como nota de rodapé repetida sob os resultados:
Performance accuracy on all benchmarks were obtained through the same internal evaluation pipeline.
As duas frases governam as mesmas linhas. A primeira diz que parte do que vem a seguir foi produzida por outra empresa; a segunda diz que tudo passou por um único pipeline. Quem quiser saber qual número de concorrente foi importado e qual foi medido de novo em casa não tem linha alguma para conferir, porque a página nunca põe etiqueta ao lado de um número. Não é uma contradição demonstrada. São duas declarações impressas, uma tabela e nenhuma frase ligando uma à outra — e quem imprimiu as duas foi o dono da tabela.
A política viaja, a etiqueta não
O Small 3.1, publicado em 17 de março de 2025, reformula o mesmo arranjo com outras palavras: sempre que possível, a página mostra números já publicados por outros fornecedores e, quando não, avalia os modelos com seu harness comum de avaliação (mistral.ai/news/mistral-small-3-1). O vocabulário mudou; o desenho não. A página organiza os resultados sob cinco títulos, de benchmarks de texto instrucional a multilíngue, contexto longo e desempenho do modelo pré-treinado, imprime uma única nota de escala — MM-MT-Bench ajustado entre 0 e 100 — e afirma em prosa que o Small 3.1 supera «comparable models like Gemma 3 and GPT-4o Mini». Qual desses números de concorrente saiu da publicação da própria Gemma 3 e qual saiu do harness da Mistral fica onde a política o colocou: no geral.
A única vez em que uma linha é nomeada
O Large Enough, publicado em 24 de julho de 2024, prova que a etiqueta existe quando a empresa quer (mistral.ai/news/mistral-large-2407). A legenda do MultiPL-E exclui uma linha pelo nome: todos os modelos foram medidos pelo mesmo pipeline de avaliação, exceto a linha «paper». Outras quatro legendas da mesma página trazem a afirmação geral sem exceção: geração de código, GSM8K e MATH, alinhamento geral e MMLU multilíngue. Uma delas faz um segundo trabalho, que é imprimir a contagem de exemplos: GSM8K com 8 e MATH com 0, sem cadeia de raciocínio. Nenhum outro documento do conjunto imprime contagem de exemplos. Isso é toda a origem por linha disponível aqui: uma legenda, uma exceção, uma linha nomeada e dois entre seis grupos nomeados com um número de amostragem ao lado.
Quando um procedimento é impresso, ele é impresso
O Magistral, publicado em 10 de junho de 2025, mostra a mesma seletividade apontada para o outro lado (mistral.ai/news/magistral). A página imprime um procedimento de inferência ao lado de uma segunda pontuação do mesmo modelo: 73,6% no AIME2024 e 90% com votação majoritária sobre 64 amostras. O Magistral Small recebe 70,7% e 83,3%. Minha aritmética, não da Mistral: os dois números do Medium diferem em 16,4 pontos e os dois do Small em 12,6, e a única condição que a página imprime entre eles é essa votação majoritária sobre 64 amostras. Nenhuma outra configuração é impressa para qualquer das duas pontuações, então a diferença é visível e a lista completa de causas não. Quem cita um desses dois números sem o outro está citando um instrumento diferente de quem cita os dois.
A página que convida a comparar e não imprime nada
O endereço de documentação cujo caminho termina em /benchmark/ é o exemplo mais puro da forma (docs.mistral.ai/getting-started/models/benchmark). Na coleta, ele apareceu como Models Overview e se descreveu como o lugar para explorar a linha completa, comparar benchmarks e achar o modelo certo para cada uso. O texto recuperado traz um catálogo: famílias de modelos, licenças, versões e linhas de descontinuação. O que não traz é pontuação, legenda de tabela, nome de harness, contagem de exemplos ou intervalo. O endereço convida a uma comparação. A comparação mora em outro lugar, e quando o leitor chega a esse outro lugar a primeira coisa impressa é uma política.
O que um comprador ainda pode conferir
O Codestral 25.08, publicado em 30 de julho de 2025, é a única página do conjunto que informa variações relativas em vez de pontuações (mistral.ai/news/codestral-25-08/): 30% mais completações aceitas, 10% mais código retido depois da sugestão, 50% menos gerações desgovernadas e dois ganhos de 5%, um em seguimento de instruções medido no IF eval v8 e outro na média do MultiPL-E. Melhoria relativa não significa nada sem sua base de comparação, e o trecho recuperado não imprime base para nenhuma das cinco. A página acrescenta que essas melhorias «were validated in live IDE usage across production codebases», que é outro tipo de evidência, diferente de um benchmark, e o trecho não nomeia quantas bases de código, nem o período, nem a versão anterior.
Nos seis endereços faltam os mesmos campos: nenhum harness de avaliação é nomeado, nenhum formato de prompt é impresso, nenhuma configuração de decodificação aparece além daquela votação majoritária sobre 64 amostras, nenhuma contagem de repetições é dada, e nenhuma pontuação traz intervalo de confiança ou variância. A origem aparece como regra em três páginas e como etiqueta de linha uma única vez.
As linhas numéricas de comparação não foram renderizadas no texto recuperado dessas páginas. Isso não as torna ausentes das páginas; torna-as indisponíveis para mim. Por isso este texto não afirma nada sobre uma pontuação individual, sobre qual concorrente ficou na frente, nem sobre qual linha a Mistral rodou e qual importou. As conclusões sobre ausência ficam restritas ao texto recuperado de seis endereços lidos em 22 de novembro de 2026, não às páginas em todas as suas renderizações, não a um PDF ou a um gráfico interativo, e não a qualquer página da Mistral fora deste conjunto.
A página do Codestral chegou como trecho, e um trecho é um instrumento mais fraco que uma página. Nenhuma página inspecionada nomeia uma pessoa jurídica como parte avaliadora: elas falam na primeira pessoa do plural, e não converto esse «we» em assinatura empresarial.
A pergunta verificável é pequena e afiada. Para cada linha: esse número foi produzido aqui ou emprestado, e em que configuração foi produzido? A Mistral imprime a regra, imprime um procedimento quando decide imprimir, nomeia uma exceção em uma legenda e deixa a linha sem etiqueta. Uma tabela de comparação cujas linhas não trazem etiqueta de origem pede ao leitor que confie no arranjo do editor em vez de inspecioná-lo. Não é um escândalo. É uma instrução de leitura que ficou de fora da tabela.
Briefing para membros
Leia o boletim de tendência completo
Os membros leem o boletim completo, com as notas de fonte por trás de cada constatação.
Círculo Estratégico
Um briefing diário no seu idioma, construído a partir de mudanças que verificamos.
Assine por USD 20/mêsCancele quando quiser.
Candidate-se à Leadership Alliance
Os membros também têm toda a biblioteca de pesquisas, um boletim diário sobre as redes que acompanham e o fórum privado.






