AT&T 1990 年长途网络中断：SS7 交换机重启级联如何把变更隔离变成责任测试

摘要

1990 年 1 月 15 日 AT&T 长途网络中断的核心，不在纽约一个 4ESS 交换机出现的轻微硬件事件本身，而在一个中期软件更新使 4ESS/CCS7 恢复状态暴露出共同模式缺陷：相邻交换机收到有效的 Initial Address Message 后，在 Direct Link Node 状态图更新期间遇到极窄时序窗口，重复处理器又运行同一逻辑，冗余因此没有形成独立边界。
这起事件要求把电信连续性责任放在运行代码、真实状态、版本清单、信令隔离、回滚能力和独立验证上，而不是放在“有备份”“有冗余”“实验室测过”这样的标签上。AT&T 后续通过降低备份信令链路流量、回退到上一程序、实验室复现并修正缺陷稳定了网络；但公开证据也留下了测试矩阵、逐交换机时间线、影响总量和内部授权记录等关键空白。

事件边界与证据边界

本文只讨论 1990 年 1 月 15 日 AT&T 长途网络的 4ESS/CCS7 信令级联中断，以及随后立即发生的稳定、回退、实验室复现和控制层分析。它不合并 2024 年无线网络配置事件，不合并 1991 年纽约电力或光纤事件，不合并 911 中断、帧中继故障或后来关于 SS7 恶意利用的安全叙事。本文中的 AT&T 指 1990 年历史语境下的 American Telephone & Telegraph Company 及其长途网络运营边界；相关目录身份可以映射到今天的 entity:att，但不能把今天 AT&T Inc. 的公司形态倒推为当时事件的组织结构。

这一起中断的事实链条需要拆开看。第一层是触发：AT&T 的技术说明把起点放在美国东部时间 1990 年 1 月 15 日约下午 2:30，纽约一个 4ESS 收费交换机出现轻微硬件问题。该问题触发了正常恢复逻辑，新呼叫处理被暂停约四到六秒，并通知相连的 4ESS 交换机暂时不要向它发送新业务。第二层是潜伏缺陷：AT&T 说，一个 12 月中旬引入的共同软件更新，使 Direct Link Node 处理器在更新状态图并识别纽约交换机恢复服务时，对极短间隔内到达的 IAM 敏感。第三层是传播条件：相邻交换机、重复处理器和持续呼叫信令压力使同一个状态转换反复出现。第四层是缓解和恢复：AT&T 降低备份信令链路上的信令流量，清理链路，随后回退到此前程序，在实验室复现并修正缺陷。

这种边界比“一个软件 bug 导致全国故障”的说法更严格。公开材料支持的是：一个有效信令消息组合在特定恢复状态中触发了潜在实现缺陷，且该缺陷已经通过共同软件更新进入广泛 4ESS 交换机群。公开材料不支持的是：全部 114 个系统在同一瞬间失效、每位客户受到同样影响、存在攻击或病毒、存在已公开核验的完整源代码、存在已核验的美元损失，或存在可以归咎于某个个人的法律责任结论。

纽约 4ESS 恢复触发点

纽约的初始事件重要，但它不是全国中断的根因结论。AT&T 的说明称，纽约 4ESS 的问题是轻微硬件问题，触发了原本正常的故障恢复程序。这个恢复程序的功能并不奇怪：交换机检测到内部问题后短暂停止新呼叫处理，向相邻交换机报告状态，随后在四到六秒内返回服务。正常情况下，这种短暂停止应被网络吸收，用户最多看到局部、短时的呼叫建立失败或延迟。

责任分析的关键就在这里。一个国家级长途网络不可能完全消除局部硬件事件。接口、处理器、链路和外设都会发生孤立故障。电信连续性的控制问题不是“能否保证纽约某个部件永远不触发恢复”，而是“局部恢复状态能否被隔离、观测、限速、回滚，并防止成为全网共同故障的输入”。纽约事件只是把系统带入一个状态转换；真正使影响扩大的是相邻交换机如何处理“它恢复了”的信令消息，以及同一软件版本如何让多个节点暴露在同一时序条件下。

因此，报道中如果把硬件触发写成全国根因，会遮蔽最重要的控制事实。硬件事件解释了为什么第一台交换机进入恢复；它不能解释为什么邻居在收到有效 IAM 后会重启，不能解释为什么重复处理器没有提供独立性，也不能解释为什么一个恢复通告会在更多交换机之间变成传播机制。硬件触发、软件缺陷、信令传播和缓解措施必须分层描述。

IAM 时序如何暴露 DLN 缺陷

AT&T 对关键机制的描述集中在 Initial Address Message 和 Direct Link Node 处理器。纽约交换机恢复呼叫处理后，向相邻交换机发送 IAM。IAM 在呼叫建立中是正常、有效的信令消息，不是异常载荷，也不是攻击证据。接收交换机中的 DLN 处理器使用这些消息更新状态图，识别纽约交换机已经回到服务状态。AT&T 报告称，在这一更新期间，处理器有几秒钟处于脆弱状态；如果两个 IAM 在百分之一秒内到达，数据可能受损，处理器会重新初始化。

这个描述把缺陷限定在运行状态和时序上，而不是把问题抽象成“代码有错”四个字。一个缺陷只有在状态图恢复、IAM 到达间隔和处理器接管路径同时满足时，才会表现为故障。也正因为如此，AT&T 可以同时说该软件经过实验室严格测试，而准确组合没有被预见。前者并不自动证明控制充分，后者也不自动证明事件不可避免。真正的问题是：测试是否覆盖了恢复状态中的消息突发，是否覆盖了两个 IAM 在百分之一秒内接连抵达，是否把重复 DLN 处理器当作一个耦合系统来测试，是否在持续 CCS7 负载下验证返回服务状态。

公开材料中存在后来的软件工程叙述，称相关缺陷可能类似一个 misplaced break statement。这样的描述只能作为归属明确的二级叙事，而不是本文的源代码证据。本文不能说已经看到了 AT&T 的源代码，不能说缺陷被公开证明为某一行语句，也不能从后来的教学叙事推导出编译器行为、数据结构布局或完整控制流。可证的边界是 AT&T 归因的 IAM/DLN 时序机制和后续实验室复现、修正。

重复处理器为什么没有形成独立边界

4ESS 交换机中 DLN 处理器存在重复配置，本应在一个处理器重新初始化时由另一个处理器接过业务。但这起事件显示，重复配置不等于独立冗余。AT&T 的描述是：第一个处理器因特定 IAM 时序受损并重新初始化后，重复的 mate processor 接收业务；如果又有一组紧密间隔的消息在它同样脆弱的恢复状态中到达，它也可能被迫重新初始化。结果不是一台处理器失败另一台稳住，而是两个处理器先后暴露在相同代码、相同状态转换、相同消息压力下。

这对电信基础设施尤其重要。冗余通常被展示为容量和可用性的保证，但真实边界取决于失效域是否独立。两个处理器如果运行同一版本、执行同一恢复逻辑、共享同一种状态图更新路径，并面对同一个 CCS7 消息模式，它们就是高度相关的冗余。它们可以提高硬件部件损坏时的可用性，却不能自动吸收共同软件缺陷。备用信令网络也类似：如果 12 月中旬的软件更新原本是为了让交换机更快到达备份信令网络，而该更新本身成为共享缺陷，那么“有备份”并没有形成独立控制层。

因此，1990 年事件的责任问题不是否定冗余，而是要求证明冗余是否真正独立。独立性需要版本隔离、状态隔离、故障注入、消息速率控制和可验证的切换路径。只要两个冗余单元在同一段运行代码里遇到同一个时序窗口，连续性控制就不能只按硬件数量计算。

CCS7 恢复状态如何成为传播机制

CCS7 是共同信道信令系统，承载呼叫建立、路由、状态和管理类信令。ITU-T Q.700 系列说明了这类架构中消息传递、信令网络功能、性能、监测和测量的基础背景；这些文档不能被用作 1990 年 AT&T 违反某条建议的追溯证明，但它们帮助解释为什么信令层本身就是可用性的控制层。电话承载通道可以存在，交换设备可以通电，客户也可以拨号；如果控制平面无法可靠传递状态和呼叫建立消息，长途网络仍会对大量呼叫表现为不可用。

AT&T 的故障机制使恢复状态变成传播状态。一个交换机失去信令处理能力时，会向网络呈现不可用状态；重新初始化后，它恢复呼叫信令并把状态变化传递给邻居。邻居为了识别它回到服务，会处理 IAM 和状态图更新；如果此时进入同一敏感窗口，也可能重新初始化。随后这个邻居自身又从不可用转为可用，把相似的恢复信号传给其他节点。由此，网络管理行为没有阻止故障，而是在持续业务压力下反复制造触发条件。

后来的学术研究把这类事件作为控制平面 poison-message 失稳的例子：消息本身可以是协议上有效的，危险来自它触发了实现中的潜在缺陷，并借由网络控制反馈继续传播。这里的“poison”不应被误读为恶意载荷。公开资料没有提供攻击、病毒或破坏证据。它说明的是一类更难管理的现实：合法消息、正常恢复、共同代码和高耦合状态机组合在一起，也可以产生大范围故障。

12 月中旬共同软件更新的边界

AT&T 说，缺陷进入 4ESS 交换机群，是因为 12 月中旬一次软件更新。该更新的意图是让交换机更快到达备份信令网络。从目的看，这是可靠性改进；从结果看，它把同一时序敏感缺陷带到了一个广泛部署边界内。RISKS 中转载的当时 Telephony 叙述称，新代码被加载到全部 114 个 4ESS 系统的前端处理器中。这个说法应被视为当时报道和运营方陈述的部署范围证据，而不是公开源代码审计。

共同软件更新是本文责任论证的中心。一个局部硬件触发只有在它遇到共同代码时，才会获得跨地区复制的条件。没有共同版本，纽约的恢复可能只是局部异常；有了共同版本，相邻节点在处理同样信令状态时都可能进入相同脆弱窗口。这里不需要声称 114 个系统全部同时失败，也不需要声称每个系统都经历相同次数或相同时间的重启。责任边界已经足够清楚：运营方控制了共同软件变更、部署节奏、回退路径、版本清单和故障观测。

这也是为什么“实验室严格测试”不能结束问题。实验室测试如果没有覆盖运行网络中的恢复消息突发、双处理器接管、备份链路切换和连续业务负载，它就不能证明共同部署风险已被隔离。真实网络里，状态并不是静止配置表，而是在每一次 unavailable、available、reroute、call setup 和 link management 中移动。共同变更越接近信令恢复路径，测试就越应该把状态转换当作主体，而不是把正常呼叫处理当作唯一主体。

发现、诊断与稳定

公开材料显示，AT&T 工程团队最初尝试了标准程序，但发现不足以解决问题。随后他们检查错误消息模式和交换机行为，技术支持和 Bell Labs 团队参与分析。这个过程本身说明：故障不是一个一眼可见的单机硬件替换问题，而是需要从多个交换机的状态、消息、处理器重启和信令链路行为中重建模式。

稳定措施同样发生在信令层。AT&T 称，公司通过暂时暂停备份信令链路上的信令流量，降低到受影响处理器的消息压力，使网络恢复稳定。最后一条链路在美国东部时间晚上 11:30 被清理。这一措施并不是根本修复软件缺陷，而是切断或减弱导致重复触发的信令压力，让交换机有机会完成恢复而不继续把恢复状态变成传播机制。

这一步对责任分析很关键。真正有效的应急控制不是泛泛地“重启更多设备”或“等待流量下降”，而是识别控制平面中哪一类消息和链路正在维持不稳定状态，并临时隔离它。换言之，运营方需要在事件中能够区分触发、传播和恢复：纽约硬件事件是触发，IAM/DLN 时序是缺陷暴露点，恢复通告和相邻交换机状态识别是传播路径，备份信令链路流量降低是稳定手段。把这些层次混成一个叙事，会直接降低下一次事件的可操作性。

回退、实验室复现与修正

AT&T 随后在星期二移除了有缺陷的更新，临时回到之前的程序，并在实验室中复现问题、修正缺陷、测试变更，然后恢复备份链路。这个顺序显示了一个基础设施运营方必须掌握的最低控制栈：保存可回退版本，知道哪些交换机运行哪个程序，能把新旧版本切换到可验证状态，能在实验室重现运行网络中看到的时序组合，并能在恢复备份路径前确认修正没有重新引入同类风险。

回退不是失败后的行政动作，而是连续性控制的一部分。对于共同信令软件，回退能力必须在部署前就存在：上一程序是否可保留，回退会不会破坏状态格式，回退需要多长时间，哪些链路或交换机要先隔离，谁有授权，如何验证每个节点确实回到预期版本，如何判断备份链路恢复后不会再次触发故障。1990 年事件表明，回退之所以有效，是因为运营方能够把网络从新程序暴露的状态中移出；但公开资料没有给出完整回退时间线、逐交换机清单或授权记录，因此不能把“最终回退成功”扩展成“部署控制充分”。

实验室复现也有同样限制。复现证明 AT&T 找到了可触发缺陷的条件并能够修正；它不证明早期测试矩阵覆盖充分，也不证明全部变更控制都没有缺口。相反，复现结果应反向更新测试制度：以后不仅要测试正常呼叫路径，还要测试返回服务、邻居状态识别、重复处理器接管、备份信令通路、消息突发和持续负载下的状态转换。

客户和服务影响：估计必须分开归属

当时公开影响估计并不完全一致。AT&T 和主要报纸报道，在中断的相当部分时间里，大约一半长途呼叫尝试失败。这是一个比例估计，说明服务可用性受到严重影响，但它不能自动换算成一个精确的总呼叫数。UPI 报道过 5,000 万通受阻呼叫的估计，并提到 800 号码和计算机线路服务受到影响。后来叙述中还出现过更高的受阻呼叫数字。本文不能把这些估计合并成一个看似精确的最终总量，也不能在没有公开审计证据的情况下发明美元损失。

影响分析应该保持三个分离。第一是网络层影响：4ESS/CCS7 信令状态导致呼叫建立失败或受限。第二是服务层影响：长途语音、800 号码、计算机线路等依赖长途网络的服务受到不同程度影响。第三是经济和社会影响：客户、企业、金融、紧急通信或数据交易可能遭遇损失或延误，但当前资料包没有提供完整客户名单、逐行业影响、紧急服务明细或独立审计的经济损失。严谨的问责文章要把这些空白写出来，而不是用一个大数字填平它们。

“大约一半呼叫失败”和“UPI 报道 5,000 万受阻呼叫估计”都可以出现在同一篇文章中，但它们不是同一个指标。前者描述比例，后者描述总量估计；两者来源、口径、时间范围可能不同。把它们合并会制造虚假的精度，也会让后续控制改进无法针对真实测量口径展开。

触发、根因、传播和缓解必须拆开

这起事件最常见的误读，是把触发、根因、传播和缓解写成一条模糊链：“硬件出错，软件有 bug，网络崩了，后来修好。”这种写法省略了基础设施责任的关键中间层。更准确的拆分是：纽约 4ESS 轻微硬件问题触发正常恢复；12 月中旬共同软件更新在 DLN 状态图恢复路径中留下时序敏感缺陷；两个 IAM 在百分之一秒内到达可使处理器数据受损并重新初始化；重复处理器因运行同一代码且面对同样时序，不构成独立安全边界；暂时失去 CCS7 信令连接的交换机恢复后又向邻居发出状态变化，邻居可能重复同一过程；AT&T 通过降低备份信令链路流量稳定网络，再回退、复现、修正。

这样的拆分不是文字洁癖，而是控制设计的前提。触发层需要局部容错和健康检查；缺陷层需要代码审查、状态机测试和实验室复现；传播层需要信令隔离、速率限制、拓扑级观测和故障域分离；缓解层需要回退、版本清单、链路恢复程序和独立验证。若把所有层次都归为“软件故障”，下一次改进就可能只加强普通代码测试，却仍然漏掉共同恢复状态和信令反馈回路。

控制平面问责

长途网络的可用性并不只由线路、交换机硬件或容量决定。CCS7 共同信道信令把呼叫建立、状态更新、路由和管理信息集中到一个控制层。ITU-T Q.700、Q.701、Q.704、Q.705、Q.706 和 Q.752 提供了理解 SS7 架构、消息传递、信令网络功能、性能目标、监测和测量的背景。NTIA 文档提供了电信网络可靠性和公共通信连续性的政策与技术语境。GAO 材料则提示大型公共通信系统中可用性、管理、监测和责任边界需要可审计证据。它们不是 1990 年 AT&T 个案的违规证明；它们是解释为什么信令状态本身构成关键运营事实的背景。

问责的实质是控制权与可见性的对应。1990 年的长途运营方控制共同软件发布，控制 4ESS 交换机群，控制 CCS7 恢复行为，控制监测证据，控制回退路径，也控制对公众和客户的影响说明。一个小硬件事件之所以具有全国意义，是因为运行中的共同代码和耦合恢复转换让同一种故障模式可以重复出现。一个网络是否“冗余”，不由设计标签决定，而由运行代码、状态转换、版本事实、信令路径和恢复行为共同决定。备份存在但与缺陷共享同一变更时，备份不是独立保证；重复处理器存在但运行同一脆弱逻辑时，重复不是独立隔离。

这类问责不是宣传式归罪。公开资料没有恶意攻击证据，没有病毒证据，没有个人故意行为证据，也没有可支持法律责任判断的完整内部记录。本文的问责边界是运营控制：谁能验证共同变更，谁能限制暴露范围，谁能在状态异常时隔离信令，谁能知道每个交换机的版本和状态，谁能回退，谁能向外部准确区分已测量影响和估计影响。

运行代码、准确状态和连续性

1990 年事件显示，基础设施的真实控制层存在于运行代码和准确状态中。设计文档说有备份，宣传材料说有冗余，实验室报告说已测试，这些都不等于运行网络在某个状态转换中真的安全。可用性取决于当时每台 4ESS 上运行的程序版本、DLN 处理器处于哪个状态、邻居如何理解它的状态、IAM 以什么间隔到达、CCS7 链路如何承载恢复消息、备份链路是否加剧消息压力、监控是否能把这些事实拼成一张及时状态图。

准确状态不是事后报告里的抽象表格，而是事件处理中可操作的账本：交换机 A 当前运行哪个版本，DLN 主处理器和 mate processor 是否刚重新初始化，哪些相邻交换机已收到 unavailable 或 available 状态，哪些备份信令链路仍在传递高压力消息，哪些节点已经回退，哪些节点仍暴露在新程序下。没有这张运行状态账本，运营方只能在症状之间追逐；有了它，运营方才可能把触发、传播和恢复分开。

连续性也不是“不中断”这个结果词，而是一组可执行控制。局部失败能否被限制在局部，恢复消息能否被限速，重复处理器能否避免共同模式，备份网络能否独立于正在变更的软件，版本能否分阶段暴露，回退能否在分钟级别被授权和验证，公众影响能否按测量和估计分开说明。这些问题都比“有没有 bug”更接近运营责任。

实际网络等价的状态转换测试

如果要从 1990 年事件提取一个测试原则，重点不是把所有未来输入都穷举完。重点是把自动恢复视为关键业务逻辑，而不是维护便利功能。恢复状态会发消息，会改变邻居状态图，会触发接管，会切换链路，会影响后续呼叫建立。它不是故障之后的外围动作，而是故障期间最重要的运行逻辑。

因此，测试必须包括返回服务状态中的消息突发和重放。两个 IAM 在百分之一秒内到达，是 AT&T 描述中的关键时序条件。测试矩阵应覆盖正常呼叫负载、低流量、高流量、链路恢复、交换机从不可用到可用、邻居状态图更新、DLN 主处理器重启、mate processor 接管、再次进入脆弱窗口、备份信令链路参与和撤出等组合。测试还应验证消息本身有效但触发实现缺陷的场景，因为这类故障不会被简单的协议合法性检查挡住。

测试环境还要处理相关冗余。把两个重复处理器分别测过，不等于测过它们作为一个耦合恢复系统的行为。把主信令路径和备份信令路径分别测过，不等于测过共同软件更新改变二者关系后的行为。把单台交换机测过，不等于测过一个广泛部署版本在邻接拓扑中如何传播状态。真正的目标不是证明软件在理想路径下能工作，而是证明它在恢复路径、消息压力和共同部署中不会把局部异常转换成群体异常。

分阶段暴露、版本清单和停止条件

共同软件发布的危险在于，它可以把一个尚未触发的缺陷复制到许多节点。AT&T 所述的 12 月中旬更新意在改进到备份信令网络的访问速度；当时 Telephony 叙述称该代码加载到全部 114 个 4ESS 系统前端处理器中。即使不声称所有 114 个系统同时失败，这个部署边界也足以提出分阶段暴露问题。

一个国家级交换机群的变更不应只回答“是否安装成功”。它还要回答：第一批安装哪些交换机，为什么选这些交换机，观察多久，观察哪些指标，什么信令错误率触发停止，什么 DLN 重启模式触发回退，是否保留未升级对照组，是否能按地区、拓扑或业务角色限制暴露，是否有逐节点版本清单，是否能确认备份链路和主链路的行为差异。没有这些条件，广泛部署会把未知缺陷变成共同命运。

版本清单在这里是连续性的核心资产。事件发生时，运营方需要立即知道哪些 4ESS 运行 12 月中旬程序，哪些仍在旧程序，哪些已回退，哪些处在不确定状态。清单不能只是维护记录，还必须与实时状态、处理器健康、信令链路状态和变更授权关联。否则，回退可能变成盲目操作，稳定措施也难以确认覆盖范围。

信令隔离与消息级可观测性

AT&T 稳定网络的公开措施之一，是暂时暂停备份信令链路流量，降低到受影响处理器的消息负荷。这说明信令隔离不是理论选项，而是事件中可改变结果的控制。未来控制应把信令隔离设计成可预案执行的能力：哪些消息可以限速，哪些链路可以暂时隔离，隔离会影响哪些恢复可见性，如何避免隔离本身造成更大不可达，怎样逐步恢复链路，恢复时如何监测同一缺陷是否再次出现。

消息级可观测性同样必要。1990 年事件的关键在“两个 IAM 在百分之一秒内到达”这样的时序条件。如果监测只能看到呼叫失败率、交换机可用性或链路总流量，就很难重建缺陷触发点。需要保留足够粒度的信令事件：IAM 到达顺序、状态图更新开始和结束、处理器重新初始化时间、mate processor 接管时间、unavailable/available 通告、备份链路流量变化、相邻交换机响应。不是所有细节都必须公开，但运营方内部必须能用这些证据回答事故机制，而不是只给出汇总症状。

信令隔离也要求独立验证。由同一软件变更影响的监控路径，可能在最需要它时给出延迟、缺口或误导。外部可审计的可靠性报告不必公开敏感拓扑，却应能够说明测量口径：影响估计如何得出，哪些指标来自实际计数，哪些是模型估计，哪些服务类型被纳入，哪些未知仍未知。否则，公共报告容易把严重中断讲成一个已经完全解释的工程插曲。

证据账本与公众报告

公众报告应当清楚区分已确认事实、归属估计和未知事项。已确认事实包括：AT&T 将起始纽约 4ESS 恢复事件放在 1990 年 1 月 15 日约下午 2:30；恢复程序正常暂停新呼叫处理约四到六秒；AT&T 把 IAM/DLN 时序作为缺陷触发机制；两条 IAM 在百分之一秒内抵达可导致处理器数据受损并重新初始化；mate processor 可能遭遇同一条件；交换机可能暂时从 CCS7 信令网络隔离；恢复状态在持续消息压力下传播；AT&T 降低备份信令链路流量稳定网络，随后回退、复现并修正。

归属估计包括：大约一半呼叫失败的当时报导，UPI 关于 5,000 万受阻呼叫和 800 号码、计算机线路影响的估计，以及后来叙事中更高的受阻呼叫总量。未知事项包括：完整源代码、完整测试矩阵、逐交换机部署顺序、逐交换机故障和恢复时间线、客户级影响、紧急服务和金融交易细节、独立审计经济损失、内部授权和告警确认记录、原始硬件故障原因，以及后续流程改进是否被独立验证。

把这些层次写清楚，是为了避免两种相反错误。一种是夸大确定性，把估计当事实，把二级叙事当源代码，把局部触发当全国根因。另一种是缩小责任，把事件说成不可预见的单点异常，从而忽略共同变更、状态转换、相关冗余和信令传播。基础设施问责需要在两者之间保持现实层：只说证据支持的事，但把证据支持的控制缺口说完整。