Resumen

  • En las primeras horas del 8 de julio de 2022, el personal de Rogers eliminó un filtro de política de enrutamiento durante la sexta fase de una actualización del núcleo IP. Las tablas completas de enrutamiento BGP se redistribuyeron en OSPF, saturando los enrutadores centrales que carecían de límites de sobrecarga efectivos. La falla afectó tanto a los servicios inalámbricos como alámbricos en todo Canadá porque compartían el núcleo afectado.
  • La interrupción no fue solo un incidente de acceso al cliente. Una gran proporción de los clientes de Rogers no pudieron comunicarse con el 9-1-1, las alertas públicas inalámbricas se interrumpieron, Interac Debit e Interac e-Transfer no estuvieron disponibles, los servicios gubernamentales y municipales perdieron conectividad, y las pequeñas empresas perdieron comunicaciones y canales de pago al mismo tiempo.
  • La recuperación se vio ralentizada por dependencias dentro de la red fallida. El acceso de gestión de Rogers dependía de su núcleo IP, los sitios críticos carecían de suficiente conectividad de operadores alternativos, los respondedores tenían muy pocas tarjetas SIM de terceros y los ingenieros no pudieron acceder inicialmente a los registros necesarios para identificar la causa. La evaluación independiente indica que la causa raíz no se identificó durante aproximadamente 14 horas.
  • Rogers aceptó la responsabilidad ejecutiva, emitió créditos de cinco días para los clientes, agregó salvaguardas de enrutamiento, cambió sus procesos de riesgo y revisión, construyó una red de gestión separada, amplió la conectividad alternativa y comenzó a separar sus núcleos inalámbricos y alámbricos. Estas son medidas significativas, pero la rendición de cuentas depende de resultados probados y garantía pública, no del tamaño de un programa de capital general.
  • La lección más amplia es compartida. Un operador es responsable de contener su propia falla y preservar el acceso de emergencia. Los organismos públicos, los operadores de pago y las pymes son responsables de saber qué funciones supuestamente separadas comparten un mismo operador y de mantener alternativas prácticas que no fallen con él.

Esto fue un evento de continuidad nacional

A las 4:43 a.m., hora de verano del este, el viernes 8 de julio de 2022, se eliminó un filtro de políticas de los enrutadores de distribución dentro de la red de Rogers. En dos minutos, según la posterior evaluación técnica independiente, las puertas de enlace centrales comenzaron a fallar. A las 4:58 a.m., los enrutadores se habían inundado con más información de enrutamiento de la que podían procesar, y los servicios inalámbricos y alámbricos en todo Canadá dejaron de funcionar. La restauración continuó hasta la mañana siguiente. La evaluación utiliza las 7:00 a.m.

del 9 de julio como el final del evento amplio, reconociendo que el servicio regresó gradualmente, no en un instante nacional limpio.

Esa apertura comprimida es importante. El camino destructivo fue desde una actividad de mantenimiento aprobada hasta una pérdida nacional de servicio en minutos. El camino restaurativo requirió diagnóstico, acceso físico, cambios controlados, secuenciación regional y manejo cuidadoso de millones de dispositivos reconectándose. Este desequilibrio es normal en infraestructuras complejas: es mucho más fácil expresar un estado peligroso que entenderlo y revertirlo bajo presión. También es la razón por la cual los controles más consecuentes de un operador deben operar antes y durante un cambio, no solo después de que comiencen las alarmas.

La evaluación publicada por la CRTC realizada por Xona Partners describe a más de 12 millones de clientes perdiendo servicios inalámbricos y alámbricos. Esa población incluía suscriptores móviles, usuarios de Internet en el hogar, clientes mayoristas, clientes corporativos e instituciones que brindan servicios críticos. El número no es un recuento de 12 millones de personas que intentan simultáneamente realizar llamadas o pagos. Es una medida de la población de servicios expuesta a la falla común.

Las mediciones externas confirman de forma independiente el efecto abrupto en la red pública. Cloudflare observó una pérdida casi completa de tráfico de AS812 de Rogers que comenzó alrededor de las 08:45 UTC, junto con un pico en las actualizaciones de BGP y grandes retiros de prefijos. El análisis de la interrupción de ThousandEyes vio cómo la accesibilidad de la red se deterioraba y señaló que los retiros públicos de BGP eran consistentes con una falla interna, mientras advertía que las mediciones externas no podían establecer la causa interna iniciadora.

La revisión posterior de la Internet Society trató de manera similar la pérdida de ruta externa como una manifestación de un problema interno grave, no como prueba de que BGP en Internet público había iniciado el incidente.

La distinción es importante. Decir que "BGP derribó a Rogers" convierte una falla de gobernanza en una historia de protocolo. BGP transportó y expuso consecuencias de enrutamiento. La falla iniciadora fue un cambio de configuración de producción que permitió que las tablas BGP completas inundaran un dominio OSPF interno, combinado con protecciones de sobrecarga faltantes, validación ineficaz y un proceso de riesgo que trató un cambio de enrutamiento central como de bajo riesgo. Esas fueron condiciones organizacionales controlables.

El evento también superó el límite habitual de una interrupción de proveedor. Un suscriptor móvil que pierde datos es una falla de servicio. Una ciudad que pierde comunicaciones del personal, registros de cuidados a largo plazo, aceptación de pagos y enlaces de control de tráfico remoto al mismo tiempo es una falla de continuidad. Cuando se ven afectados el acceso al 9-1-1 y las alertas públicas, se convierte en una falla de seguridad pública. Cuando los servicios nacionales de débito y transferencia de Interac dejan de estar disponibles, se convierte en una falla de dependencia económica.

Rogers fue el origen técnico, pero el radio de explosión reveló opciones de riesgo tomadas en todo un ecosistema.