Résumé

  • Le rapport du CRTC situe la panne entre 4 h 58 HAE le 8 juillet et 7 h le 9 juillet, et indique que plus de 12 millions de clients mobiles et fixes ont perdu leur service [1].
  • Pendant la sixième phase d'une mise à niveau en sept étapes, un filtre ACL a été supprimé ; des tables BGP complètes ont été redistribuées dans OSPF et ont épuisé le processeur et la mémoire des routeurs de cœur [1].
  • Les étapes précédentes avaient réussi. Le risque de la sixième phase a donc été abaissé de « élevé » à « faible », sans examen renforcé, approbation supérieure ni essai en laboratoire [1].
  • Le réseau de gestion dépendait du cœur IP défaillant et les sites critiques ne disposaient pas d'une connexion de gestion fournie par un autre opérateur [1].
  • La clôture crédible exige des plafonds de routes, un contrôle sémantique du changement, un retour automatique, une gestion hors bande et des essais par service essentiel.

Une petite modification, un très grand état réseau

Rogers menait depuis plusieurs semaines une mise à niveau de son cœur IP en sept phases. Le rapport du CRTC attribue le déclenchement de la panne à la suppression d'un filtre de politique dans la configuration des routeurs de distribution pendant la sixième phase [1].

La modification a franchi une frontière importante. BGP transporte des routes entre systèmes autonomes et peut contenir de très grandes tables Internet. OSPF distribue l'état interne d'un opérateur. Redistribuer une sélection limitée peut être nécessaire ; injecter une table BGP complète dans le protocole intérieur crée une quantité d'état que les équipements internes n'étaient pas censés traiter.

Le filtre a été retiré à 4 h 43 HAE. En deux minutes, les passerelles du cœur ont commencé à tomber. À 4 h 58, la chronologie enregistre un flot de routes dépassant la capacité de traitement. Le processeur et la mémoire des routeurs de cœur ont été épuisés, interrompant le mobile, la téléphonie fixe, Internet, les accès professionnels et le 9-1-1. Le rétablissement s'est poursuivi jusqu'au lendemain matin [1].

Les premiers messages publics de Rogers étaient moins détaillés. Le 8 juillet, le directeur général a reconnu une panne des réseaux mobiles et fixes et a assumé la responsabilité [4]. Le 9 juillet, l'entreprise a parlé d'une défaillance après une maintenance du cœur, de routeurs devenus défectueux, du retrait d'équipements précis et d'une redirection progressive du trafic [5]. Ces messages décrivent ce que l'opérateur savait alors ; l'évaluation ultérieure du CRTC fixe le mécanisme technique.

La redondance a reproduit le même défaut

Plusieurs routeurs ne suffisent pas si chacun accepte le même état excessif. Le rapport indique qu'en l'absence du filtre, la configuration standard permettait aux routes BGP d'entrer dans OSPF. Il relève l'absence ou l'insuffisance de quatre protections : limite de surcharge du cœur, plafond de routes redistribuées, audit manuel et automatique des commandes de politique, et retour automatique à la configuration antérieure [1].

Un contrat de redistribution devrait préciser les routes admises, leur raison, le volume maximal, les attributs conservés, les équipements destinataires et l'action automatique en cas de dépassement. Le filtre est la frontière exécutable entre deux systèmes d'état. Sa suppression n'est donc pas un simple nettoyage de configuration.

La redondance devient corrélée quand le même flot atteint chaque paire, site ou constructeur. Le bon indicateur n'est pas le nombre d'appareils, mais la capacité d'un état invalide à se propager jusqu'à tous. Une limite matérielle, une validation avant diffusion ou un retour automatique doivent interrompre cette chaîne avant l'épuisement commun.

Le score de risque a récompensé les phases déjà réussies

Le programme avait d'abord été classé à risque élevé. Après le succès des premières phases, l'algorithme de Rogers a abaissé la sixième à un risque faible, y compris la suppression du filtre. Ce classement a retiré l'obligation d'examen supplémentaire, d'approbation de niveau supérieur et d'essai en laboratoire [1].

Le succès d'une étape ne prouve pas l'équivalence de la suivante. Chaque phase peut toucher d'autres appareils, règles ou domaines de panne. Une ligne supprimée peut ouvrir un ensemble de routes immense. L'évaluation doit donc analyser le sens du diff actuel : suppression d'un filtre, redistribution entre protocoles et portée vers un cœur commun sont des motifs d'examen élevé, quelle que soit la réussite passée.

Un dossier de changement solide associe le ticket aux configurations avant et après, à l'intention de routage lisible par machine, au résultat de laboratoire, au nombre attendu de routes, au périmètre de déploiement, au seuil d'arrêt et au responsable. Un canari n'est utile que si son état ne peut pas contaminer tout le cœur avant validation.

Le cœur commun a concentré les conséquences

Les réseaux d'accès mobile et fixe partageaient le même cœur IP. Le rapport ne décrit pas cette architecture, courante chez un opérateur de premier rang, comme une erreur de conception en soi. Il conclut toutefois que la convergence a rendu la portée extrême : une seule défaillance du cœur a supprimé simultanément les deux familles de service [1].

La convergence peut réduire les coûts et améliorer l'utilisation. Elle peut aussi placer voix, données mobiles, Internet fixe, entreprises, urgence, alertes, surveillance et communications internes derrière la même décision de routage. La responsabilité consiste à décider quels services doivent survivre à une panne de contrôle et à prouver leur domaine indépendant.

Le résumé du CRTC indique que Rogers a décidé de séparer les cœurs IP mobile et fixe. Cette réalisation n'était pas terminée lors du rapport [2]. Deux cœurs réduisent le risque seulement si les politiques, déploiements, accès de gestion et exercices ne reproduisent pas la même cause commune.

Le rapport signale aussi des effets sur le 9-1-1 et les alertes publiques. Rogers a averti les fournisseurs du réseau 9-1-1 à 8 h 39, soit trois heures et 56 minutes après le début, puis a publié son premier message client à 8 h 54 [1]. La lettre du CRTC du 12 juillet a critiqué l'absence d'instructions rapides sur les moyens alternatifs d'appeler les urgences [3]. Les chiffres détaillés de certains appels étant caviardés, il faut conserver cette limite.

Perdre le cœur a aussi fait perdre le contrôle

Le réseau de gestion utilisait le cœur IP de production. Quand celui-ci est tombé, les équipes distantes ne pouvaient plus atteindre les équipements critiques. Le centre d'exploitation et plusieurs sites n'avaient pas de connectivité de gestion redondante auprès d'un autre fournisseur. Des techniciens ont dû se rendre physiquement sur place, ce qui a ralenti le diagnostic [1].

Les communications internes dépendaient également des services de Rogers. Le rapport évoque un nombre limité de cartes SIM d'autres opérateurs, l'indisponibilité initiale de journaux d'erreur et environ quatorze heures avant l'identification de la cause. Plusieurs changements effectués pendant la fenêtre compliquaient le choix du ticket à annuler [1].

Une gestion réellement indépendante exige un chemin physique et logique distinct, une identité disponible hors du cœur, des consoles locales, des journaux conservés ailleurs et des moyens de communication fournis par un tiers. La preuve n'est pas un schéma : c'est un exercice où le cœur est inaccessible et où les équipes peuvent encore observer, authentifier, modifier et revenir en arrière.

RFC 6192 décrit de manière générale la protection du plan de contrôle par identification, filtrage ou limitation du trafic légitime et indésirable [8]. Il ne diagnostique pas l'incident Rogers et ne définit pas la redistribution BGP-OSPF. Il rappelle néanmoins que la capacité de transfert et celle du contrôle sont différentes, et que le contrôle doit rester stable sous charge.

La réparation doit être testable

Le CRTC recense des protections ajoutées contre le flot de routes, un réseau de gestion séparé physiquement et logiquement, des liaisons de secours de fournisseurs tiers, des outils de validation, un nouvel algorithme de risque, davantage d'essais, un meilleur retour automatique et des communications de crise indépendantes [1][2]. Il juge l'ensemble satisfaisant pour traiter la cause [2].

Ces mesures doivent produire des preuves d'exécution. Pour le routage : plafond configuré, nombre observé dans BGP et OSPF, rejet d'un dépassement contrôlé, processeur et mémoire bornés. Pour le changement : diff exact, approbation indépendante, laboratoire, canari et retour automatique. Pour la gestion : accès, journaux, identité et communications pendant l'isolement du cœur.

La vérification du service doit venir de l'extérieur : enregistrement mobile, voix, SMS, données, Internet fixe, entreprise, 9-1-1, alertes et transactions représentatives. Une route revenue ne prouve pas qu'un appel aboutit. Un routeur vert ne prouve pas qu'une alerte arrive sur le terminal.

Les données ARIN actuelles associent AS812 à Rogers Communications Canada Inc. [6], et PeeringDB publie aujourd'hui AS812 comme Rogers Cable [7]. Ces registres établissent l'identité publique, pas la topologie privée de juillet 2022. Selon la surface Heng.lu, le registre est un livre de comptes ; l'état du code et des routes en fonctionnement détermine le résultat. Chaque approbation administrative doit donc être reliée à une observation réseau datée.

Sources

  1. https://crtc.gc.ca/eng/publications/reports/xonarp2023.htm
  2. https://crtc.gc.ca/eng/publications/reports/xona2024.htm
  3. https://crtc.gc.ca/eng/archive/2022/lt220712.htm
  4. https://about.rogers.com/news-ideas/a-message-from-tony-staffieri-president-and-ceo-at-rogers/
  5. https://about.rogers.com/news-ideas/a-message-from-rogers-president-and-ceo/
  6. https://rdap.arin.net/registry/autnum/812
  7. https://www.peeringdb.com/api/net?asn=812
  8. https://www.rfc-editor.org/rfc/rfc6192.html