摘要
- 2022 年 7 月 8 日凌晨,Rogers 员工在 IP 核心升级的第六阶段移除了一条路由策略过滤器。完整 BGP 路由表被重新分发到 OSPF,超载了缺乏有效过载限制的核心路由器。因共享受影响核心,加拿大全国有线和无线服务均中断。
- 此次中断不仅是客户接入问题。大量 Rogers 客户无法拨打 911,无线公共警报中断,Interac Debit 和 Interac e-Transfer 无法使用,政府和市政服务失去连接,小企业同时失去通信和支付渠道。
- 恢复因故障网络内的依赖而放缓。Rogers 的管理访问依赖其 IP 核心,关键站点缺乏足够的替代运营商连接,响应人员拥有的第三方 SIM 卡太少,工程师最初无法访问识别原因所需的日志。独立评估称根本原因在约 14 小时内未能确定。
- Rogers 接受了高管问责,发放了五天客户信用,添加了路由保护措施,更改了其风险与审查流程,建立了独立管理网络,扩大了替代连接,并开始分离其有线和无线核心。这些措施是有意义的,但问责取决于测试结果和公众保证,而非总体资本计划规模。
- 更广泛的教训是共享的。运营商有责任控制自身故障并保持紧急接入。公共机构、支付运营商和中小企业有责任了解哪些看似独立的功能共享同一运营商,并维护不会随之故障的实用后备方案。
这是一次国家连续性事件
2022 年 7 月 8 日星期五东部夏令时间凌晨 4:43,一条策略过滤器从 Rogers 网络内的分发路由器上被移除。根据后来的独立技术评估,两分钟内核心网关开始故障。到凌晨 4:58,路由器被超过其处理能力的路由信息淹没,加拿大全国有线和无线服务停止运行。恢复持续到次日早晨。评估将 7 月 9 日上午 7:00 视为广泛事件的结束,同时承认服务是逐步恢复而非在一个全国性时刻同时恢复。
这一压缩的起始至关重要。破坏路径从一次经批准的维护活动在几分钟内发展到全国服务丧失。恢复路径则需要诊断、物理访问、受控变更、区域排序以及谨慎管理数百万重新连接设备。这种不平衡在复杂基础设施中是正常的:表达危险状态远比在压力下理解并逆转它容易。这也是为什么运营商最重要的控制必须在变更发生前和变更期间运作,而非仅在警报开始后。
由 Xona Partners 进行的 CRTC 发布的评估描述了超过 1200 万客户失去有线和无线服务。该人群包括移动用户、家庭互联网用户、批发客户、企业客户以及提供关键服务的机构。这个数字不是同时尝试拨打电话或支付款项的 1200 万人的计数,而是暴露于共同故障的服务人口的衡量。
外部测量独立确认了公共网络的突然影响。Cloudflare 观察到了 Rogers 的 AS812 流量几乎完全丢失始于大约 08:45 UTC,同时出现了 BGP 更新和大量前缀撤销。ThousandEyes 的中断分析发现网络可达性恶化,并指出公共 BGP 撤销与内部故障一致,同时警告外部测量无法确定内部引发原因。互联网协会后来的审查同样将外部路由丢失视为严重内部问题的表现,而非证明 BGP 在公共互联网上引发此事件。
这种区分很重要。说“BGP 搞垮了 Rogers”将治理失败变成了协议故事。BGP 承载并暴露了路由后果。引发故障的是一个生产配置变更,允许完整 BGP 表淹没内部 OSPF 域,加上缺少过载保护、无效验证,以及将核心路由变更视为低风险的风险流程。这些都是可控的组织条件。
该事件还超出了运营商中断的通常边界。移动用户失去数据是服务故障。城市同时失去员工通信、长期护理记录、支付受理和远程交通控制链路,这是连续性故障。当 911 接入和公共警报受到影响时,就变成了公共安全故障。当 Interac 的国家借记和转账服务变得不可用时,就变成了经济依赖故障。Rogers 是技术起源,但爆炸半径揭示了整个生态系统中做出的风险选择。

