摘要

  • IETF 指导委员会于 10 月 29 日批准 BPM 工作组章程,把受控实验室基准测试和变化中的生产网络测量放进同一个工作范围。
  • BPM 负责指标、方法和报告规范,却明确不替采购方规定性能要求或验收线。数字如何变成合同上的“通过”,必须由使用网络的人决定。

一份设备测试报告摆在桌上,数字漂亮,图表整齐。采购会议却还缺最后一页:达到什么条件才可以签收?IETF 新成立的 Benchmarking & Performance Measurements 工作组能够让各方用更接近的方式测量,却不会替买方填上这一页。章程把这条界线写得很直白。

10 月 29 日获批准的 BPM 章程覆盖数据交付服务及应用的质量、性能、可靠性和规模。路由器、防火墙、数据中心网络、控制器、虚拟化与容器化基础设施、网管软件和终端都在范围内。数据、控制、管理三个平面也都在范围内。它要处理的不是某一种设备的漂亮跑分,而是一组可以让不同测试者说清楚“测了什么、怎样测”的共同方法。

这份章程把两个老工作组的领域接到一起。BMWG 长期研究隔离环境里的基准方法。它现有的章程规定使用受控刺激,不给正在运行的网络制定基准;它还把验收标准和性能要求留给具体部署。IPPM 则研究 IP 服务和应用的性能指标与测量协议,考虑主动、被动及混合测量。新章程称 BPM 为两者的继任工作组,并让它维护前两组的 RFC。11 月 2 日查阅时,BMWG 与 IPPM 的 Datatracker 页面仍标着“Active”;章程已经分配了新职责,目录中的行政状态尚未同步。

把实验室和生产网放进同一章程,不会抹掉它们之间那堵墙。实验室可以隔离设备、固定流量模式、校准仪器,再做一次。生产网里的流量组合、路径、终端负载和相邻业务会变。BPM 要建立共同指标、程序和术语,也要求生产测量尽量减少对业务以及数据、控制、管理平面的影响。共同语言让两份报告能够对话;采集条件决定它们究竟能比较到什么程度。

设想采购文件同时附上一个实验室吞吐量结果和一份生产网服务记录。它们可能用同一个指标名,回答的却是两道题。前者描述某设备在指定刺激下的能力;后者描述某段时间内业务实际遇到的网络。决定是否验收,还需要配置、流量、拓扑、采样时段、校准办法,以及合同究竟承诺了什么服务。BPM 可以把测试环境和结果报告写得清楚。服务义务只能由采购方和运营者写。

这个边界并非临时刹车。旧 BMWG 章程就把统一的验收标准排除在工作外,因为各处部署要求不同。BPM 扩大了测量领域,继续要求基准建议说明性能特征、测试环境和无歧义的结果报告,同时尽力跨厂商适用;验收条件仍留在本地。标准委员会可以让大家拿同一种尺,不能替每一家网络决定该买多长的桌子。

RFC 6390,即 BCP 170,说明平均数为什么不能直接充当签字笔。它用丢包举例:平均丢包率能描述一部分问题;对短时连续丢包敏感的应用,还需要知道丢包如何聚集。两份平均值相近的记录,对应用可能有不同后果。该文件要求指标作者考虑使用者、测量方式、采样、拓扑、准确度和报告周期。数字的含义就在这些条件里,不能只把条件放进没人翻到的附录。

生产测量本身还会占用网络。BPM 章程要求新方法处理测试流量对同路业务的影响,以及流量误送给并未预期测试的终端这一问题。一次探测可能改变它观察的对象。上生产网之前,应把测试负责人、流量上限、运行时段和停止条件写进方案。协议已经存在,并不等于可以随时向任何端点发包。

BPM 的工作也将进入管理系统。章程包括主动、被动、混合性能协议,还包括用于配置和运行的 YANG 模型、用于遥测导出的 IPFIX 实体。机器可读的字段可以帮助运营者大规模收集结果;一条写错的及格线也能随之大规模执行。把字段接到告警、采购评分或服务罚则上,是标准之外的第二次决策。那次决策的责任人要在本机构找。

因此,一份有用的采购合同至少应把两件事分开写。测试方法列出指标、设备、配置、流量、校准和报告格式。验收附表写明目标服务、负载、时段、通过阈值、例外处理和复测规则。供应商递来一个耀眼的实验室数字之前,第二份文件就该存在。否则大家会反复争论测试报告是否“权威”,却没人说明这笔采购要解决的业务问题。

新工作组让行业有机会少争论量尺。量尺变得可信之后,争论才真正开始:谁承担这项服务的风险,谁写下及格线,谁在结果不合格时签字负责?

资料:IESG 批准记录;BPM 已批准章程;BPM 工作组页面;BMWG 章程;IPPM 章程;BCP 170 / RFC 6390。