摘要

  • draft-abak-ai-evaluation-claim-preservation-00 讨论 AI 评估记录跨格式、服务和组织边界流转时，怎样保留原始主张的归属、含义、范围与关键限定。
  • 76 个成功样本除以 80 个已完成样本等于 95%，但这并不证明计划中的 100 个样本有 95 个成功；未运行、错误、排除、失效与未知部分都属于证据范围。
  • 后续签名可以认证一个只剩 0.95 的摘要，却不能补回第一次转换已经丢掉的总体、标准、指标与访问限制。

分母不是统计装饰

修订 00 给出一个合成案例：计划总体是 100 个样本，80 个完成，76 个达到局部标准，4 个没有达到，20 个未运行。若问题是“完成的样本中有多大比例达到标准”，答案确实是 76/80，也就是 0.95。

若问题换成“整项计划有多少样本达到标准”，同一个 0.95 就不再回答问题。它既不能证明 95 个计划样本成功，也不能说明剩下 20 个为什么没有结果。

这类错位常发生在导出环节。源记录保留了计划规模、完成数与未运行数；摘要只保留一个便于比较的比例。下一套系统再把这个比例放入绿色卡片，读者看到的是精确数字，却看不到数字适用的总体已经改变。

草案要求，凡是涉及完整评估活动或总体的主张，都必须标明总体或可复现的纳入规则、来源与计数方法。未运行样本、错误、排除项、失效项和未知部分不能因为聚合只计算成功记录就消失。总数不知道，就应继续记为不知道，不能为了填满目的格式而虚构一个分母。

分母还是治理面。谁决定重试算新尝试还是覆盖旧结果？重复记录如何去重？样本集发生变化时，旧比例与新比例能否直接比较？这些不是清洗细节，而是决定结果含义的规则。

全部收到，不等于全部发生

即使转换器忠实保留了源方交来的每一条记录，也不能证明现实中所有尝试都被交出。主张保全解决的是“这份被选择的源主张在转换中是否变形”，不负责把不完整或不诚实的源变成完整、真实的源。

这条界限很重要。否则，一个格式只要完整搬运收到的八十条记录，就会被误称为“证明评估完整”。真正能说的只是：在已识别的源快照中，这八十条记录及其限定被保留了。

同样，签名过的损失清单仍然只是签名者对损失的主张。它可以帮助审计，却不能独立证明清单穷尽了一切被删除的信息。

运行成功不是指标通过

草案引用 Inspect 把运行状态与评分结果分开记录的做法，并构造了一个 status: success、准确率 0.734、没有提供标准的例子。这不是对 Inspect 的缺陷指控，而是在说明转换器必须保留的边界。

success 可以表示评估程序顺利结束。0.734 可以表示某个指标的观测值。二者都不能单独推出原评估者宣布“通过”。

还要区分两种看似相同的空白：源明确声明没有应用标准；现有材料没有证明标准是否存在。除非源格式明确定义字段缺失的含义，否则一个空字段不能把第二种不确定性改写成第一种明确否定。

消费者当然可以自行设置阈值。它必须新增一条有自己归属的判断，记录判断者、输入、规则版本、范围与结果。新判断不能回写成源方结论，也不能在没有顺序证据时声称该标准早于评估运行。

一个 run 编号可能指向多个结果

LightEval 文档展示了按任务组织的数值结果。草案据此构造另一个合成片段：同一个虚构 run 和任务下面同时有 0.62 与 0.8 两个不同指标。

“run-17 超过 0.75”没有选中其中任何一个。转换配置如果默认取第一个、最后一个、最大值或最有利值，实际上就是在暗中选择哪一份证据进入决策。

因此，结果单元需要在与主张有关时保留任务、评分器、指标、尝试、聚合规则、数据集或切分以及总体上下文。JSON Pointer 可以精确指到一个值，却不会自动带上指标定义，也不会证明总体完整。指向可变 URL 的指针，还可能在未来指向另一份内容。

选择器必须针对已识别的源快照解释。源对象、选择规则、映射信息与输出之间要有明确绑定，而不是因为它们放在同一个文件或时间接近就假定有关联。

0.94996 与 0.950 不是同一份门槛证据

数值本身也会在看似无害的呈现中改变结论。草案的合成案例把精确十进制 0.94996 显示为 0.950，标准是 >= 0.95。用源值比较得到失败，用显示值比较得到通过。

四舍五入并非禁止操作。问题在于它一旦影响解释，就必须标记为派生：输入是什么、规则是什么、保留多少精度、由谁执行。消费者若明确采用“按显示值比较”的新规则，可以产生新的判断，但不能说源评估原本就通过。

单位、尺度、指标定义、比较方向、精度与不确定性也遵循同一原则。缺少不确定性信息不等于不确定性为零。转换丢掉的信息也不能冒充源方给出的统计置信度。

受限链接不是已验证字节

评估证据常以链接存在。发布者可能拿到一个私有日志 URL，却无权读取。它可以保留链接，并说明本次转换没有取回对象、没有本地重算摘要、对象存在只来自源方陈述。

它不能填一个虚假摘要来满足目标字段，不能声称自己看过内容，也不能保证日志完整或永久保留。公开位置、访问许可、成功取回与未来留存是四种不同属性。

即使有摘要，也要说明是谁算的。消费者从源方复制的摘要，与消费者拿到字节后自行重算的摘要，十六进制字符串可能一样，证据能力却不同。内容摘要识别的是按某种算法选择的字节，不是解释这些字节的语义规则。

链接也不是下载或执行许可。日志、提示词与工具输出即使装在有效签名中，仍属于不可信数据。目标地址、重定向、协议、解压规模、嵌套深度与资源消耗都需要独立策略。

后签名会把早先的缺失一起封存

RATS 区分证据评估与依赖方策略；SCITT 提供透明声明与回执；in-toto 可以绑定主题摘要和类型化谓词。这些机制能够保护映射记录，却不会替转换器判断指标语义。

如果第一跳只导出 0.95，第二跳再给这个摘要签名，签名可以正确认证第二个转换者。它无法恢复第一跳丢掉的 20 个未运行样本。

后续系统可以回到已识别的原始材料直接复核，并生成一份新的派生视图。但它必须记录这次复核，不能把重新找回的信息描述成“始终穿过了前一跳”。若消费者不支持某个语义配置，它可以把有效载体当作不透明对象转发，不能把其中主张标为已经建立。

结构校验、摘要重算、签名验证、证明评估、映射验证与实质评估判断是不同类型的结果。界面如果只显示一个绿色图标，就会在最后一层重新制造语义丢失。

保全不是真实、授权或结果

错误、偏见或选择性发布的源主张也可以被完美保全。受损源可以签署虚假陈述，合格转换器可以忠实搬运。主张保全不证明评估者能力、基准科学有效性、模型确切身份或部署安全。

它也不产生授权。消费者的新阈值可以支持一项政策判断；依赖记录可以说明某个行动者引用了哪些输入。它们都不能单独证明行动者有权决定、控制已经送达、系统已经执行或外部结果已经出现。

修订 00 明确不定义线格式、认证或控制协议。它声称的是要求与合成测试义务，不是已部署实现。模式校验不是完整语义测试，同一作者的生产者与消费者也不是独立互操作。

现实层测试

按 Heng Lu 的现实层原则，源字节、被选结果、语义主张、经认证载体、消费者判断、授权决定、执行与外部效果是相互关联但不可互换的层。

“最小初始规范”在这里不是只保留最少字段，而是为选定主张保留最小完整证据，并明确列出无法支持的更强主张。对于覆盖率，分母就是这个最小集合的一部分。

“运行代码优先”要求版本固定、可观察的负面行为。独立生产者与消费者能否把 76/80 与 95/100 分开？能否保留未知标准和不可访问证据？能否拒绝把新语义配置当作旧版本？没有这些结果，所谓“保全主张”仍只是文档标签。

来源与限制

证据冻结于 2026 年 9 月 30 日（Asia/Shanghai）。修订 00 是以 Informational 为目标的活跃个人 Internet-Draft，不是 RFC、IETF 共识、工作组成果、基准测量、安全认证、实现报告或部署证据。文中案例均为合成案例。对 Heng Lu 原则的应用是 Daniel Kade 的分析，不是草案原文。