Resumo

  • draft-abak-ai-evaluation-claim-preservation-00 propõe requisitos para manter atribuição, significado, escopo e qualificações materiais quando evidências de avaliação de IA atravessam conversores e serviços.
  • Uma etapa posterior pode autenticar exatamente o resumo que recebeu. Isso não demonstra que a etapa anterior preservou métrica, critério, população, incerteza ou acesso à evidência.
  • Contexto recuperado por nova consulta à fonte pode sustentar uma nova visão derivada, mas não pode ser apresentado como se tivesse atravessado intacto a conversão com perda.

A perda também pode ser assinada

O exemplo central é fácil de reconstruir. Uma campanha previa cem amostras. Oitenta foram executadas; 76 atingiram um critério local e quatro não. A fração entre as concluídas foi 76/80, ou 0,95. Vinte amostras não rodaram.

O primeiro exportador mantém apenas 0.95. Ele elimina o denominador e o estado das vinte ausências. O segundo recebe o número, acrescenta uma assinatura válida e publica “avaliação completa aprovada”.

A criptografia da segunda etapa não está necessariamente quebrada. Ela pode autenticar com precisão o ator que assinou e os bytes do resumo. O erro está em usar essa propriedade para dizer que o resumo preservou a afirmação original.

A revisão 00 chama atenção para essa assimetria. Uma etapa posterior não pode apagar uma perda material anterior. Também não pode reintroduzir informação e descrevê-la como se tivesse sobrevivido. Se voltar à fonte identificada, recuperar a população e produzir uma visão nova, deve registrar a consulta direta, a base usada e a relação com o resumo antigo.

Essa regra impede que uma cadeia de assinaturas funcione como máquina de lavar significado. Quanto mais vezes um número é autenticado, mais sólido ele parece. Mas nenhuma assinatura posterior conhece por si só o que não recebeu.

Um relatório de perda não prova que listou tudo

O conversor pode emitir um manifesto descrevendo campos descartados, transformações e limitações. Esse artefato é valioso. Ele permite ao consumidor decidir se a perda afeta a afirmação desejada.

Mesmo assinado, porém, o manifesto continua sendo uma afirmação. Ele não prova que o inventário de perdas é completo. Um conversor comprometido pode omitir justamente a qualificação que altera o resultado. Um conversor honesto pode não reconhecer uma extensão nova que muda a semântica.

Por isso, cada classe de afirmação precisa definir quais qualificações são materiais. Extensões desconhecidas que possam afetá-la devem permanecer não interpretadas ou impedir a conclusão. Não basta ao conversor declará-las irrelevantes.

Uma verificação fim a fim precisa contabilizar todos os saltos ou conferir diretamente uma fonte anterior adequadamente identificada. A proximidade temporal, o mesmo nome de modelo ou a presença no mesmo arquivo não constituem essa ligação.

A execução terminou; o critério continua desconhecido

O rascunho usa um fragmento sintético inspirado em conceitos documentados pelo Inspect. O run termina com status: success e produz precisão 0,734. Nenhum critério aparece.

O estado de processo diz que a execução terminou. O valor diz o que uma métrica reportou. Nenhum deles demonstra que o avaliador original aplicou um limite ou declarou aprovação.

“A fonte afirmou que não havia critério” também difere de “a evidência disponível não estabelece se havia critério”. Um campo ausente só resolve a questão quando o formato nativo define inequivocamente o significado da ausência.

Um consumidor pode criar seu próprio limite e avaliar 0,734. Deve registrar um julgamento novo com ator, entradas, regra, versão, escopo e resultado. Não pode reatribuir essa decisão ao avaliador nem afirmar, sem evidência de ordem, que o critério existia antes do run.

O run não escolhe sozinho uma métrica

O exemplo sintético baseado na estrutura documentada pelo LightEval coloca duas métricas sob a mesma tarefa e o mesmo identificador fictício: 0,62 e 0,8. A frase “run-17 passou 0,75” não seleciona nenhuma delas.

O perfil precisa manter tarefa, avaliador, métrica, tentativa, agregação, conjunto ou split e população quando esses elementos mudam a afirmação. Escolher o primeiro, o último, o maior ou o resultado mais favorável é uma decisão oculta.

JSON Pointer pode localizar um valor numa fotografia identificada. Não carrega definição da métrica, completude da população ou estabilidade da URL. Um digest fixa bytes sob algoritmo e regra de seleção; não fixa as regras semânticas que interpretam esses bytes.

Versões também importam. Quando a revisão da fonte é desconhecida, permanece desconhecida. Tratar uma base nova como se fosse a antiga pode manter o mesmo nome de campo e alterar o significado.

Arredondar é derivar

Outra construção da revisão 00 parte de 0.94996, mostra 0.950 e aplica o limite >= 0.95. A comparação com o valor original falha; a comparação com a apresentação arredondada passa.

O arredondamento pode ser útil, mas precisa aparecer como derivação quando afeta o julgamento. Unidade, escala, definição da métrica, direção do comparador, precisão e incerteza pertencem à afirmação quando alteram a interpretação.

Informação de incerteza ausente não significa incerteza zero. Incerteza declarada pela fonte também não é igual à perda causada pelo conversor. Um novo julgamento baseado no valor arredondado é possível, desde que seja atribuído como novo e não substitua a comparação anterior.

Referência, acesso e digest são estados separados

Um serviço pode receber uma URL privada de log e não ter permissão para buscar os bytes. Ele pode preservar a referência e registrar que não recuperou o objeto nem recalculou um digest.

Não pode fabricar um hash, inferir o conteúdo, inventar um custodiante ou prometer retenção. Localização pública, permissão, recuperação e disponibilidade futura são propriedades distintas.

Copiar um digest informado pela fonte também não equivale a recalculá-lo sobre bytes disponíveis. A mesma sequência hexadecimal pode representar conhecimento diferente. E um hash de conteúdo não identifica por si só as regras usadas para interpretar o conteúdo.

Uma referência ainda não é autorização para buscar ou executar o destino. Logs, prompts e saídas de ferramentas continuam sendo dados não confiáveis. O consumidor precisa limitar redirecionamentos, esquemas, destinos, expansão de arquivos, profundidade e custo de processamento.

Verificações precisam manter seus tipos

RATS separa evidência, apreciação e política da parte que confia. SCITT fornece transparência e recibos de declarações. in-toto oferece subjects ligados a digest e predicates tipados. Esses mecanismos podem proteger o histórico de uma conversão.

Eles não garantem que um conversor interpretou a métrica corretamente. Validação estrutural, recálculo de digest, verificação de assinatura, apreciação de attestation, verificação do mapping e julgamento substantivo são operações diferentes.

Um carrier pode verificar e o perfil semântico continuar não suportado. O consumidor pode armazenar ou encaminhar o registro como opaco sem aceitar sua afirmação. Uma interface que reduz todos os testes a um selo verde desfaz, na última tela, as distinções preservadas no arquivo.

Preservar não torna verdadeiro

Uma afirmação falsa, enviesada ou seletiva pode ser preservada com perfeição. Uma fonte comprometida pode assinar falsidades. A preservação não certifica competência do avaliador, validade científica do benchmark, identidade exata do modelo nem segurança de implantação.

Também não cria autoridade ou efeito. Uma nova avaliação pode alimentar uma decisão; o registro não prova que o ator tinha mandato, que o controle chegou ao destino, que foi executado ou que produziu o resultado externo.

A revisão 00 define requisitos e cenários sintéticos, não um formato de rede, certificação ou mecanismo de entrega de controle. Ela não reivindica implementação nem interoperabilidade. Um schema válido não é teste semântico completo; testes do mesmo autor não são independência.

O teste das camadas de realidade

Pela doutrina de Heng Lu, bytes de origem, resultado selecionado, afirmação semântica, carrier autenticado, julgamento local, decisão autorizada, execução e efeito observado são camadas relacionadas e não substituíveis.

Especificação inicial mínima significa escolher um conjunto limitado de afirmações e preservar o conjunto mínimo completo necessário para elas. Não significa reduzir tudo ao campo mais portátil.

Primazia do código em funcionamento pede comportamento observável entre produtor e consumidor independentes, com versões fixadas. Eles mantêm visível uma perda anterior? Recusam perfil desconhecido? Distinguem contexto recuperado de contexto preservado? Sem esses testes, uma assinatura posterior apenas torna a lacuna mais bem embalada.

Fontes e limites

As fontes foram congeladas em 30 de setembro de 2026, Asia/Shanghai. A revisão 00 é um Internet-Draft individual ativo com destino Informational. Não é RFC, consenso IETF, produto de Working Group, benchmark, certificação, implementação ou medição de implantação. Os exemplos são sintéticos. A aplicação da doutrina de Heng Lu é análise de Daniel Kade.