摘要

  • 配置或逻辑变更可能让自动化输出偏离预期，却不触发基础设施告警。
  • Sepuri主张持续核验工作流输出，并把生产行为反馈进后续测试。

绿色仪表盘能证明服务器还在响应、延迟没有越线、错误率没有升高。它证明不了系统做出的决定是对的。Shruthi Sepuri在NANOG 98的演讲，把这个落差放到了可靠性的中心。

她的演讲题为“From Testing to Reliability: Detecting Silent Failures in Production Systems”。NANOG官方日程显示，这场三十分钟的报告于2026年10月19日在迈阿密举行。官方摘要谈的是配置、规则和依赖关系：它们可能在基础设施指标保持平稳时，悄悄改变自动化系统的行为。

演示文稿用一个示意流程说明风险：基础设施仍显示正常，规则引擎却失败，决策输出变错，校验被跳过，审计记录留下缺口。公开材料没有指明哪个生产服务或客户经历过这件事；它展示的是一种失效路径，而不是事故复盘。关键差别很清楚：服务在线，与服务正确完成任务，是两件事。

Sepuri把监测点从机器健康推向决策链条。她列出输出正确率、配置校验覆盖完整度、输出分布异常，以及规则是否按已知测试案例执行等指标。方法还包括让合成业务流量穿过生产逻辑、在变更后把输出与已知正确结果逐项比较，再把线上行为反馈给测试用例。

这些建议要求团队先说清楚“正确”是什么。某项决策应由哪些输入决定？哪些字段必须完整？规则走了哪条路径？结果又怎样关联到配置版本？若这些问题没有答案，多加一个输出指标只会让图表墙更满。

分布变化本身不是错误证明。流量、业务或策略都可能发生合理变化。告警需要配上变更记录、预期结果和能判断差异的人。这样，异常才会进入调查，而不是被误当作自动回滚命令或被一堆噪声淹没。

Sepuri的核心主张可以概括为：看系统实际做了什么，而不只看它报告自己有多健康。测试要进入生产逻辑，再带着可追溯的证据回来。否则，所有机器都能亮绿灯，错误决定也能照常流向下游。

来源：NANOG 98官方演讲页 · 官方演示文稿 · 官方演讲者照片。