摘要

  • Arista EOS 的 Quality of Service 文档（页面标注版本 4.37.0F）把拥塞标记的落点交到运维者手里：random-detect ecn 命令为单播发送队列开启 ECN 标记，并以队列尺寸来表达阈值。
  • RFC 3168 规定了这种标记在线路上的含义——一个两比特字段、四个码点，以及拥塞路由器标记而非丢弃——因此这个阈值正是集群停止吸收流量、转而开口说话的瞬间。

要问什么让一个 AI 集群网络变快，你得到的答案会是一个以千兆比特计的数字。四百、八百，通往 1.6T 的路。Arista 自己的文档却用一个远小得多的数字回答了一个更难堪的问题：33 毫秒，敲进某块接口上的某一个队列。

那份页面是 EOS 的 Quality of Service 手册，标注为 4.37.0F 版本（Arista EOS Quality of Service）。它描述按发送队列配置的、基于时延的 ECN，然后逐行走过一段操作：进入 interface Ethernet 1/1，选中 tx-queue 3，设定 random-detect ecn delay threshold 33 milliseconds。一个期待规格表的读者，走进了配置提示符。这正是重点。决定这部集群何时叫发送端减速的数值，并没有印在机箱上。它由人敲进去。

标记究竟做了什么

机制来自标准，不来自厂商。RFC 3168 把 IPv4 TOS 八位组的第 6、7 比特指定为 ECN 字段，指出该字段在 IPv6 的 Traffic Class 八位组中定义完全相同，并在这两个比特上排开四个码点：00 Not-ECT、01 ECT(1)、10 ECT(0)、11 CE（RFC 3168）。一台初现拥塞的路由器，对已经具备 ECN 能力的报文打上 Congestion Experienced 码点，而不是把它扔掉。

把这段放在 Arista 的描述旁边看。手册称 Explicit Congestion Notification 是 IP 与 TCP 的扩展，使端到端的拥塞通知不必丢包即可完成，并说它识别早期拥塞、置起发往相关主机的标志。于是一个队列在「本来会丢包」之前就动了手。下游的每一台主机，都在对上游更早做出的决定作出反应，而那个位置，机柜之外的人看不见。

WRED 是页面给出的实现方式：一种主动队列管理算法，它扩展 Random Early Detection，为单个队列定义多个阈值。阈值，复数，逐队列。页面说，random-detect ecn 命令为配置模式下的单播发送队列开启 ECN 标记，并指定以队列尺寸计的阈值。

所以同一个队列里嵌着两类决定——以队列尺寸表达的占用阈值，和以毫秒表达的时延阈值——由运维者选择哪一个说了算、它落在哪里。在一张跑 all-to-all 流量的训练集群里，这个选择决定网络是在还有余量时往回推，还是等到缓冲区几乎填满、剩下的信号样样昂贵时才动。

那个括号比数字更要紧

接着是标注，这是页面上最要紧的一处细节。这条命令被写成 random-detect ecn (Arad/Jericho)。交换机操作系统在说：你敲的那条命令，以及它背后的行为，取决于盖子下面的硅片。

这一个括号，把一个配置数值变成了一个工程计划。一部集群口不是一个交换机；它是几百台乃至几千台，常常分批采购，常常随着集群扩张横跨不止一代硅片。如果标记命令按平台划分，那么在一族芯片上正确的数值，并不能原样搬到另一族——它得重新推导、重新测试、针对集群实际跑的流量重新给出理由。这活儿是真的，是重复的，而且产不出任何客户能拍下来的东西。

端口速率的叙事就是在这里悄悄失效的。400G 的一条通道和 800G 的一条通道，区别在于有多少流量能到达某个队列。二者都不决定该队列在什么填充水平上开始标记报文、而不是继续吸收。买了更快的模块，你只是买到了更多流量抵达同一个旋钮。

为什么担子落在运维这侧

厂商可以交付一条命令、给出一个例子、在一只接口上公开一段完整操作。它做不到的，是从工厂里知道你的集群有几条 rail、哪些流共享同一个队列、你的集合通信在彼此撞上的那一刻长什么样。阈值是文档与部署的联合产物，而部署那一半属于握着控制台的人。

成本形态值得直说。配置状态不是一次买断，而是长期维护。它只有在被写下来之后，才扛得住人员流动；只有在有人注意到命令家族发生了变化之后，才扛得住一次硬件换代。而它在采购真正进行的那场比较里是隐形的——两台端口数相同、模块相同的交换机，在表格里一模一样，不论它们的拥塞标记默认值是否可达、是否有文档、是否可测。

证据到这里为止

本次核查从 EOS 的 Quality of Service 页面和 RFC 3168 取得了可读正文，从 Arista 的 Priority Flow Control 页面、Traffic Management 页面和 AI networking 页面没有取得任何可读正文。因此本文不断言暂停阈值、不断言缓冲区预留数值、不断言 GPU 后端网络的拓扑规则，也不断言任何具名客户的集群行为，因为这些页面没有被读到。

旋钮就是产品

把营销剥掉，一个 AI 后端集群是个披着昂贵光模块的队列管理问题。Arista 把队列管理那一半写得足够坦诚：这是命令，这是阈值，这是带着 33 毫秒的例子，还有一条注释告诉你这条命令取决于你买了哪款芯片。对负责选型的人来说，有用的结论并不光鲜。去问：标记阈值会是多少，谁来敲，怎么记录，以及下一批硬件到货之后你如何知道它仍然正确——因为更快的那条通道会如期到货，而它不会回答上面任何一个问题。这家公司在 BTW 的 Arista Networks, Inc. 名录条目 中被持续跟踪。