Rogers a fait de la fragilité du plan de contrôle des opérateurs un problème de responsabilité de service public

Résumé

• La panne du 8 juillet 2022 de Rogers a été déclenchée par une modification de maintenance qui a supprimé un filtre de politique de routage, a permis aux tables de routage BGP complètes d'entrer dans OSPF, a submergé les routeurs principaux et a perturbé les services sans fil et filaires. Le problème de responsabilité du 13 juillet n'est pas simplement le filtre supprimé; c'est la fragilité du service public créée lorsque de nombreuses fonctions critiques partageaient le même plan de contrôle de l'opérateur.
• Les appels d'urgence, les alertes publiques sans fil, Interac Débit et e-Transfert, les opérations municipales, les ventes des petites entreprises, les clients de gros, les agences publiques et les abonnés ordinaires ont tous subi les effets d'une seule défaillance de routage interne. Cette ampleur montre pourquoi la résilience des opérateurs doit être mesurée par la préservation des fonctions publiques, et non seulement par le temps de rétablissement au détail du fournisseur.
• Rogers contrôlait la validation des modifications de routage, le partitionnement du cœur, les limites de surcharge, la gestion hors bande, les communications en cas d'incident et la coordination des services d'urgence. Les organismes publics, les opérateurs de paiement, les banques, les agences de transport et les PME contrôlaient leurs propres cartes de dépendance et solutions de repli. La responsabilité suit ces positions de contrôle pratiques, pas la visibilité de la panne sur un seul jour.
• Le dossier de remédiation comprend des mesures de protection du routage, un réseau de gestion séparé, une connectivité avec d'autres fournisseurs, davantage de cartes SIM tierces, un programme de séparation du cœur sans fil/filaire, la diversité des opérateurs d'Interac, des accords d'itinérance d'urgence et d'assistance mutuelle dans l'industrie, et de nouvelles règles de signalement des pannes du CRTC. Le test restant est de savoir si ces mesures sont exercées dans des conditions correspondant à la panne de 2022.

La panne était un événement du plan de contrôle avec un rayon de dégâts sur le service public

À 4 h 43, heure de l'Est, le 8 juillet 2022, le personnel de Rogers a supprimé un filtre de politique lors d'une mise à niveau du cœur IP. Selon l'évaluation indépendante de Xona Partners publiée par le CRTC, ce changement a permis aux tables de routage BGP complètes d'être redistribuées dans OSPF, submergeant les routeurs principaux et mettant hors service les services sans fil et filaires nationaux en quelques minutes.

La version publique du CRTC de l'évaluation de Xona Partners est la synthèse technique la plus solide car elle relie le déclencheur de routage au risque de changement, aux tests en laboratoire, à l'accès à la gestion, aux effets sur les services d'urgence et à la remédiation.

L'incident est souvent décrit comme une panne de télécommunications, ce qui est vrai mais trop limité. Un utilisateur mobile de détail a perdu le service. Un commerçant a perdu l'acceptation des cartes de débit. Une ville a perdu les communications de son personnel et certains liens de contrôle de la circulation à distance. Certains appelants d'urgence n'ont pas pu joindre le 9-1-1. Les services de paiement nationaux d'Interac sont devenus indisponibles. Le même événement d'opérateur a donc franchi la frontière entre la qualité de service privée et la continuité du secteur public et la dépendance économique nationale.

La fragilité du plan de contrôle de l'opérateur est devenue un problème de responsabilité de service public parce que le plan de contrôle ne servait pas seulement Rogers.

Les mesures externes soutiennent l'ampleur publique sans remplacer la cause interne. Le point de vue de Cloudflare sur la panne de Rogers a montré une perte de trafic quasi totale d'AS812 de Rogers et d'importants retraits de routes. L'analyse de la panne par ThousandEyes a observé des échecs d'accessibilité et des changements de routes. L'analyse technique ultérieure de l'Internet Society a expliqué pourquoi les symptômes BGP publics ne doivent pas être confondus avec la cause interne initiale. L'Internet a vu Rogers disparaître; les preuves réglementaires ont montré le défaut de redistribution interne qui a rendu la disparition possible.

La différence est importante pour la responsabilité. Si le récit dit seulement que BGP a échoué, la responsabilité dérive vers un protocole. S'il dit qu'un filtre de politique de routage a été supprimé sans confinement, tests et protection contre les surcharges suffisants, la responsabilité revient aux contrôles organisationnels. BGP et OSPF étaient des outils.

Les décisions responsables étaient l'autorité attachée à un changement, la validation appliquée à ce changement, l'absence de limites efficaces de volume de routes, le sort partagé sans fil et filaire, et la dépendance des outils de récupération sur le réseau de production qui avait échoué.

Déclencheur, problème de responsabilité fondamental et conditions contributives

Le déclencheur était la suppression d'un filtre de politique. Le problème de responsabilité fondamental était le plan de contrôle commun qui a permis à un changement d'opérateur de supprimer de nombreuses fonctions publiques et commerciales ensemble.

Les conditions contributives comprenaient la dégradation du risque d'une mise à niveau en plusieurs phases, des tests en laboratoire insuffisamment représentatifs de la production, des protections contre les surcharges manquantes ou inefficaces, un accès à la gestion qui dépendait du cœur IP affecté, une connectivité insuffisante avec d'autres fournisseurs dans les installations critiques, et des processus de communication qui n'ont pas fourni au public ou aux parties prenantes d'urgence des conseils pratiques rapides.

Le rapport Xona indique que la mise à niveau globale a commencé comme à haut risque, mais les phases antérieures réussies ont influencé l'algorithme de risque et ont contribué à réduire la phase ultérieure à faible risque. C'est un signal de gouvernance, pas seulement technique. Un modèle de risque a tiré la mauvaise leçon du succès antérieur. Les phases antérieures peuvent prouver qu'une équipe de projet peut exécuter un plan; elles ne prouvent pas qu'une phase ultérieure touchant une frontière de routage différente a un rayon de dégâts plus petit.

La décision de contrôle aurait dû être dictée par la conséquence maximale, pas par l'élan du projet.

Les directives de routage avaient depuis longtemps reconnu la nécessité de filtres, de limites et de surveillance. Le RFC 7454 de l'IETF sur les opérations et la sécurité BGP n'est pas une règle spécifique à Rogers et n'a pas décidé de la panne. Il montre cependant que le filtrage des préfixes, les contrôles de préfixes maximums et les opérations de routage disciplinées étaient des préoccupations opérationnelles établies.

L'incident de Rogers impliquait une redistribution interne dans OSPF, mais la même idée de contrôle s'applique: les informations de routage traversant une frontière doivent être limitées et observées car le volume de routes et les erreurs de politique peuvent devenir systémiques.

Les premiers messages publics de Rogers étaient plus généraux. Le message du 8 juillet de son directeur général a reconnu les effets sans fil et filaires, promis des crédits et accepté la responsabilité. Une mise à jour du 9 juillet a attribué l'événement à une mise à jour de maintenance provoquant un dysfonctionnement des routeurs. Ces déclarations étaient des premières admissions importantes, mais elles n'ont pas fourni les détails ultérieurs sur le filtre, l'inondation de routes, le réseau de gestion et les appels d'urgence.

L'écart entre la réassurance précoce et les preuves techniques ultérieures fait partie de la responsabilité de notification.

Les questions réglementaires ont comblé le vide. La demande d'informations du 12 juillet du CRTC exigeait des détails sur la cause, le service d'urgence, la communication publique et la prévention. Son suivi du 5 août insistait sur le filtre supprimé, les tests, le retard de notification du 9-1-1, et pourquoi certains appels d'urgence avaient réussi et d'autres non. Ces lettres montrent ce que le public ne savait pas encore et ce dont le régulateur avait besoin pour transformer des excuses de fournisseur en un dossier de responsabilité.

La validation des changements a échoué à la frontière des conséquences publiques

La caractéristique la plus dangereuse du changement du 8 juillet n'était pas qu'une personne ait commis une erreur. La caractéristique dangereuse était qu'un changement autorisé pouvait supprimer une frontière protectrice et pousser un état de routage complet dans un domaine qui ne pouvait pas l'absorber. Un réseau à haute conséquence doit supposer qu'un opérateur, un script ou un plan de maintenance valablement autorisé peut encore être erroné. Le système de contrôle doit alors se demander: qu'est-ce qui empêche le mauvais changement de se propager, et qu'est-ce qui rend son effet visible avant qu'il ne devienne national?

L'évaluation publique identifie les protections manquantes. Les limites de surcharge efficaces sur les routeurs principaux étaient absentes pour ce mode de défaillance. Les routeurs de distribution manquaient des limites de routes qui auraient arrêté la redistribution excessive. L'audit des changements n'a pas détecté la suppression erronée de la politique. Le rollback automatique n'a pas contenu l'événement. Les tests en laboratoire n'ont pas reproduit l'état de production dangereux. Plusieurs changements pendant la fenêtre ont compliqué le diagnostic.

Pris ensemble, ces faits montrent un problème de plan de contrôle plus profond qu'une seule ligne de configuration.

Une bonne validation des changements de routage comporte plusieurs couches. Elle compare la politique prévue et réelle. Elle simule les comptes de routes et les traversées de frontières. Elle limite les routes au niveau du périphérique. Elle déploie progressivement vers une partie délimitée du réseau. Elle surveille en temps réel le churn de routes et l'utilisation des ressources du périphérique. Elle définit des critères d'abandon avant le début de la fenêtre. Elle maintient la voie de rollback accessible lorsque le cœur normal est perturbé.

Elle examine si le changement peut affecter à la fois les services sans fil et filaires, les voies d'urgence, les liens de gros, les agences publiques et les réseaux de paiement. La remédiation de Rogers a dû aborder ces couches parce que la défaillance les a traversées.

La perspective basée sur les conséquences est importante. Certains changements sont opérationnellement routiniers mais publiquement critiques. Un changement de « nettoyage » qui supprime un filtre entre des domaines de routage n'est pas à faible risque parce que la tâche est courte. Il est à haut risque si son résultat erroné peut supprimer la connectivité nationale. La question de responsabilité pour les conseils d'administration et les régulateurs est de savoir si le processus de changement peut identifier cet effet maximum avant la fenêtre de maintenance, plutôt qu'après qu'un graphique de panne externe l'ait prouvé.

L'évaluation ultérieure du CRTC des mesures de Rogers a rapporté que Xona a trouvé les mesures satisfaisantes pour traiter la cause et améliorer la résilience, tout en exigeant un rapport continu sur l'efficacité et la séparation du cœur. C'est un point d'assurance significatif. Cela laisse toujours un défi de preuve publique. Un changement de processus terminé n'est pas la même chose qu'un rejet démontré d'une tentative dangereuse de redistribution de routes pendant un exercice. Le public n'a pas besoin de chaque détail propriétaire, mais il a besoin de confiance que la classe exacte de défaillance a été testée.

Un cœur commun a fait que des services séparés partagent un même sort

L'évaluation Xona n'a pas qualifié un cœur convergé sans fil et filaire de intrinsèquement défectueux. Les grands opérateurs consolident souvent le trafic sur des cœurs IP communs pour l'efficacité, la performance et la gérabilité. La question de responsabilité est de savoir quels contrôles accompagnent la convergence. Si un cœur logique transporte de nombreux services, alors une seule faute de routage peut avoir de nombreuses conséquences à moins que le partitionnement, les limites et les voies de récupération ne préservent la séparation sous contrainte.

La redondance physique n'a pas résolu le problème du 8 juillet parce que la défaillance était logique. Plusieurs routeurs et régions peuvent encore exécuter le même état nuisible. Le matériel redondant n'est pas indépendant lorsqu'une seule politique peut surcharger tous les périphériques concernés. La diversité des fournisseurs n'est pas suffisante lorsque le même état de routes atteint chaque plateforme. La dispersion géographique ne suffit pas lorsque la décision de contrôle est nationale. L'événement était une leçon de sort commun: les composants peuvent être physiquement séparés et opérationnellement liés.

Rogers a annoncé un programme de séparation physique de ses cœurs IP sans fil et filaires. Son PDG a discuté de ce plan et d'un investissement plus large dans ses remarques d'ouverture au comité industriel de la Chambre des communes. La séparation est une réponse sensée car elle peut réduire la probabilité qu'une condition de cœur désactive les deux catégories d'accès à la fois. Mais la séparation n'est aussi forte que les opérations qui l'entourent.

Deux cœurs peuvent réacquérir un sort commun par une maintenance synchronisée, une orchestration partagée, une identité partagée, un transport commun, une politique de routage commune, ou un réseau de gestion unique.

C'est pourquoi la preuve de séparation durable doit inclure des exercices et des cartes de dépendance. La maintenance sans fil et filaire peut-elle être arrêtée indépendamment? Les politiques de routage sont-elles déployées séparément? Un outil de gestion des changements a-t-il autorité sur les deux en même temps? Le réseau de gestion peut-il atteindre un cœur lorsque l'autre échoue? Les appels d'urgence, les alertes publiques, l'accès de gros et les voies de paiement ont-ils des frontières de sort différentes? Un budget de projet ne peut pas répondre à ces questions. Seules des preuves de test et des preuves architecturales le peuvent.

Le dossier public montre cette leçon voyageant au-delà de Rogers. Le Programme de fiabilité des télécommunications du Canada a conduit à un protocole d'entente entre l'industrie et le gouvernement sur la fiabilité des télécommunications, et la déclaration de septembre 2022 d'ISDE a présenté l'itinérance d'urgence, l'assistance mutuelle et les communications comme des obligations sectorielles. Ces arrangements comptent parce que le sort commun doit être réduit entre les opérateurs et les systèmes publics, pas seulement à l'intérieur du cœur de Rogers.

Les outils de récupération étaient à l'intérieur du rayon de dégâts de la panne

La panne a duré plus longtemps parce que la vue de récupération de Rogers dépendait du réseau en cours de réparation. Xona a constaté que l'accès à la gestion reposait sur le cœur IP, que les journaux clés étaient initialement inaccessibles, que les sites critiques manquaient de connectivité suffisante avec d'autres opérateurs, et que les intervenants ne disposaient pas d'assez de cartes SIM tierces. Les ingénieurs ont dû envoyer des personnes sur les sites et travailler avec des communications perturbées. La cause première n'a pas été identifiée pendant environ 14 heures.

Cela ne prouve pas une incompétence de réponse. Une panne de cœur nationale est complexe, plusieurs changements s'étaient produits, et la restauration devait éviter une surcharge supplémentaire. Cela prouve que la récupération hors bande n'était pas assez indépendante. Un chemin de récupération n'est pas hors bande simplement parce qu'il a une plage d'adresses distincte ou un nom interne différent. Il doit survivre au cœur de production, à l'opérateur en cours de réparation, au site opérationnel principal, à l'accès corporatif normal, et au canal de support ordinaire. Il doit également rester sécurisé.

Un chemin d'urgence non sécurisé peut devenir le prochain incident.

Les mesures rapportées de Rogers ciblent cette faiblesse: un réseau de gestion physique et logique séparé, une connectivité avec d'autres fournisseurs, davantage de cartes SIM tierces pour les équipes de crise, des alarmes améliorées et un rollback amélioré. Ce sont les bonnes catégories. Leur valeur dépend de leur fonctionnement lorsque le routage de production est absent, que les enregistrements de changements récents sont trompeurs, que le personnel ne peut pas compter sur le service mobile de Rogers, et que les parties prenantes gouvernementales ont besoin de mises à jour avant que les ingénieurs n'aient la cause première.

Un exercice sérieux devrait retirer le cœur, refuser l'accès à la gestion ordinaire, exiger la coordination sur le terrain, et mesurer le temps nécessaire pour obtenir des journaux fiables et des conseils publics.

Ce point s'étend aux agences publiques et aux entreprises. Une ville qui a des appareils mobiles de secours tous sur le même opérateur n'a pas de canal d'incident indépendant de l'opérateur. Un terminal de paiement qui peut basculer sur des données mobiles du même fournisseur que le lien fixe peut ne pas avoir de diversité de chemin. Une entreprise qui stocke ses contacts de continuité uniquement dans une application cloud accessible via la connexion défaillante peut ne pas être en mesure de communiquer. L'opérateur possède la panne réseau; les clients possèdent l'hypothèse que leurs propres outils de récupération sont à l'extérieur.

L'examen de l'impact opérationnel de la Ville de Toronto concrétise cela. Plus de la moitié des appareils mobiles professionnels du personnel municipal dépendaient de Rogers. Les foyers de soins de longue durée, les cliniques de vaccination, les refuges, le Wi-Fi public, les paiements, la coordination du personnel et les liens de contrôle de la circulation à distance ont été affectés de différentes manières. La ville s'est adaptée avec des appareils de secours et des processus manuels, ce qui est une force.

L'examen montre aussi pourquoi les organismes publics doivent cartographier la dépendance aux opérateurs entre les départements avant qu'une panne nationale ne la révèle.

Les appels d'urgence sont la dépendance à la plus haute conséquence

L'effet le plus grave sur le service public concernait le 9-1-1. L'évaluation Xona a constaté que de nombreux clients de Rogers ne pouvaient pas joindre les services d'urgence. Certains appels ont réussi via des chemins réseau plus anciens ou d'autres opérateurs, mais la version publique supprime les taux de réussite précis. Un récit responsable ne doit pas inventer un nombre. Il suffit d'énoncer le problème confirmé: la panne a perturbé l'accès d'urgence pour une grande partie des clients concernés, et Rogers n'a pas notifié les fournisseurs de réseau 9-1-1 avant près de quatre heures après le déclencheur.

La continuité des urgences nécessite plus que de prioriser le trafic d'urgence sur un réseau sain. Si le cœur ne peut pas porter l'appel, la priorité n'aide pas. Si le combiné voit toujours son réseau domestique comme présent, il peut ne pas itinérer. Si les centres de réponse d'urgence ne reçoivent pas d'avis précoce, ils ne peuvent pas se préparer. Si le public ne reçoit pas de conseils pratiques alternatifs, les personnes sous stress peuvent ne pas savoir quoi faire. L'objectif de contrôle est l'achèvement de bout en bout de la demande d'urgence, pas l'assurance interne qu'un sous-système fonctionne.

La lettre du comité industriel de la Chambre des communes sur la panne généralisée de Rogers a appelé à des mécanismes de transfert des services d'urgence, de redondance et d'amélioration de la notification des clients. Le protocole d'entente sur la fiabilité a ensuite abordé l'itinérance d'urgence et l'assistance mutuelle, sous réserve de faisabilité technique. La nuance compte. La condition de juillet 2022 est exactement le genre de scénario qui peut rendre l'itinérance d'urgence ordinaire difficile: un réseau peut sembler partiellement présent alors que le cœur nécessaire à l'achèvement de l'appel est indisponible.

La responsabilité des services d'urgence est partagée mais inégale. Rogers avait le contrôle pratique sur son cœur, ses voies d'appels d'urgence, sa notification aux parties prenantes du 9-1-1 et ses messages publics. Les autres opérateurs contrôlaient la capacité et les dispositions techniques pour recevoir le trafic d'urgence lorsque possible. Le gouvernement contrôlait la politique, la supervision réglementaire et les canaux d'alerte publique. Le comportement des appareils et les normes façonnaient le repli. Le public ne devrait pas se faire dire qu'un repli existe sans être informé dans quels états de défaillance il a été testé.

L'avis de consultation en télécom 2023-39 du CRTC et la décision de télécom 2025-225 subséquente montrent la réponse réglementaire évoluant vers une notification obligatoire des pannes majeures, des mises à jour, des avis de rétablissement et des rapports post-panne. Les règles de signalement n'empêchent pas les inondations de routes, mais elles réduisent la probabilité que les acteurs de la sécurité publique et gouvernementaux attendent dans l'incertitude pendant qu'un fournisseur se diagnostique.

Les paiements et les petites entreprises ont montré une concentration cachée

Interac Débit et Interac e-Transfert sont devenus indisponibles pendant la panne de Rogers. Cela a étendu l'événement aux personnes et aux commerçants qui ne se considéraient peut-être pas comme dépendants de Rogers. La mise à jour de statut et de remédiation d'Interac indiquait que l'entreprise disposait de réseaux redondants et d'une diversité de circuits, mais la panne du 8 juillet a montré que ces arrangements restaient trop vulnérables à la maintenance du cœur de Rogers.

Interac a ensuite ajouté un opérateur secondaire, une troisième liaison avec une capacité de secours suffisante, et un mode de secours privé sécurisé pour les entités e-Transfert.

Cette réponse est importante parce qu'elle accepte la responsabilité au niveau du réseau de paiement. Rogers a causé la panne du transporteur, mais Interac contrôlait la conception de la connectivité et du basculement du réseau de paiement. Un système de paiement ne peut pas compter sur l'assurance du fournisseur que les circuits sont diversifiés si ces circuits partagent toujours un seul cœur d'opérateur.

La question responsable est de bout en bout: une autorisation de paiement marchand, une connexion de entité bancaire, un contrôle de fraude, un message de règlement et un transfert visible par le client peuvent-ils continuer lorsqu'un opérateur national disparaît?

Pour les petites entreprises, la panne a supprimé simultanément l'internet, le service mobile, la voix, l'acceptation des paiements, les commandes en ligne, les applications de livraison, la coordination du personnel et le contact client. Le rapport de la Presse canadienne hébergé par CityNews sur les pertes des PME pendant la panne de Rogers donne des exemples d'entreprises perdant des centaines ou des milliers de dollars, mais ce n'est pas un audit national des pertes. Le rapport annuel 2022 de Rogers a rapporté environ 150 millions de dollars en remboursements clients. Ce chiffre est un coût d'entreprise, pas le préjudice économique total.

La continuité des PME doit être réaliste. Une petite boutique ne peut pas acheter une architecture de reprise après sinistre hyperscale. Elle peut savoir si son terminal de paiement peut utiliser Ethernet et Wi-Fi, garder un point d'accès testé sur un autre opérateur, maintenir une procédure en espèces ou de paiement différé, préserver un accès hors ligne aux rendez-vous et aux contacts fournisseurs, et comprendre quels outils de livraison ou de commande partagent le même réseau. Ces étapes n'excusent pas la panne de l'opérateur. Elles réduisent la probabilité qu'une panne d'un fournisseur devienne un arrêt complet de l'activité.

La politique publique devrait également réduire la charge de preuve sur les petites entreprises. L'opérateur contrôle les journaux de panne les plus complets; un commerçant ne voit que des ventes échouées et des clients confus. Un processus équitable devrait fournir rapidement les fenêtres de service affectées, les emplacements et les informations d'éligibilité des clients. Les crédits de service sont utiles mais souvent mal adaptés aux pertes d'activité.

Le dossier de responsabilité devrait séparer les remboursements au détail, les réclamations pour perte consécutive, les pénalités réglementaires et les effets économiques à l'échelle de l'industrie plutôt que de laisser un seul chiffre représenter tout.

Le timing des statuts publics fait partie de la résilience

Les clients et les organismes publics ont besoin d'informations de statut précoces et utiles même lorsque la cause première est inconnue. La première lettre du CRTC critiquait les informations publiques limitées et l'absence de conseils alternatifs pour le 9-1-1. Cette critique ne concerne pas le polissage des relations publiques. Le timing des statuts est opérationnel. Il indique à une ville si elle doit activer un centre d'urgence, à un commerçant s'il doit changer de mode de paiement, à une banque si elle doit avertir ses clients, et à un centre de réponse d'urgence s'il doit s'attendre à des modèles d'appels inhabituels.

Un processus de statut responsable sépare l'impact observé, la cause suspectée et l'action recommandée. « Nous enquêtons » peut être honnête, mais c'est incomplet lorsque les appels d'urgence, les paiements et les services publics sont affectés. Un avis précoce devrait indiquer les catégories de service connues, l'ampleur géographique, les implications pour les appels d'urgence si connues, les méthodes alternatives si disponibles, l'heure de la prochaine mise à jour, et comment les parties prenantes peuvent recevoir des notifications directes. Il devrait marquer les points incertains plutôt que d'attendre un diagnostic parfait.

Le dossier de procédure publique du CRTC documente une longue traînée de demandes d'informations, de différends de divulgation, d'évaluation et de rapports d'avancement. Ce dossier public compte parce que les pannes de télécommunications ne sont pas des incidents privés. Les opérateurs exploitent des infrastructures avec des conséquences de service public. Leurs preuves post-incident doivent être suffisamment disponibles pour que les régulateurs, les municipalités, les concurrents, les organisations d'urgence, les entreprises et les consommateurs puissent voir si la panne a été comprise et si la remédiation est vérifiable.

Les nouvelles règles de signalement du CRTC rendent la notification plus formelle, mais la qualité de la notification dépend toujours de la classification de l'incident. Un seuil basé uniquement sur le nombre de clients ou la durée peut ne pas détecter une panne ayant une signification immédiate pour les urgences, les paiements ou le secteur public. Un fournisseur devrait escalader lorsque des fonctions critiques sont affectées, pas seulement lorsque des métriques de détail arrivent à maturité.

Le même principe s'applique aux clients gouvernementaux: ils devraient exiger des contacts opérationnels directs et des preuves de statut dans les contrats, plutôt que de se fier uniquement aux publications publiques sur les réseaux sociaux.

Les systèmes de statut ont également besoin d'indépendance. Si le site web, le centre d'appels, la messagerie interne et le flux de statut d'un opérateur dépendent tous du réseau affecté, le public perd la carte pendant la panne. Le défi de récupération de Rogers a montré que même les intervenants internes avaient besoin d'une connectivité alternative. La communication publique a besoin de la même diversité: pages hébergées séparément, relations avec les médias de diffusion, canaux de relais gouvernementaux et notifications authentifiées directes aux partenaires d'urgence et du secteur public.

Les clients de gros et institutionnels transforment un opérateur en plusieurs fournisseurs

La responsabilité des opérateurs devient plus difficile lorsque la partie lésée n'achète pas directement le service auprès de l'opérateur défaillant. Les clients de gros, les fournisseurs de services gérés, les banques, les acquéreurs de paiement, les agences publiques et les opérateurs de transport peuvent tous être en aval de la capacité de Rogers sans que chaque utilisateur final comprenne cette relation. Le client voit une application, un terminal, un guichet gouvernemental ou un revendeur. La dépendance cachée est le cœur de l'opérateur en dessous.

Cette structure cachée modifie la notification et la remédiation. Un client direct de détail de Rogers peut recevoir un crédit de facture et une déclaration publique. Un client de gros peut avoir besoin de preuves techniques pour notifier ses propres clients. Une banque ou un fournisseur de paiement peut avoir besoin de savoir si les échecs de transaction provenaient de son application, de la connectivité des entités, des contrôles de fraude ou de l'accessibilité de l'opérateur. Une ville peut avoir besoin de savoir quels appareils et services loués partagent Rogers entre différents départements.

Si Rogers ne peut identifier rapidement qu'un impact de détail large, les institutions en aval portent un intervalle d'incertitude plus long.

Le dossier du CRTC compte parce qu'il transforme cette dépendance cachée en une procédure publique plutôt qu'en une série de tickets de support privés. Les questions du régulateur sur le service d'urgence, les alertes publiques, les effets de gros et la communication n'étaient pas de la curiosité bureaucratique. C'était le mécanisme par lequel une carte de dépendance nationale a commencé à devenir visible. Il en va de même pour la déclaration de remédiation d'Interac. Interac n'a pas simplement dit qu'il était victime de Rogers.

Il a décrit sa propre redondance préexistante, a reconnu que l'événement montrait une faiblesse persistante, et a ajouté la diversité des opérateurs. C'est ainsi qu'un fournisseur en aval devrait se comporter lorsque la panne de l'opérateur amont expose sa propre conception.

Les banques et les grandes entreprises devraient tirer la même leçon. Deux circuits de deux équipes produit peuvent encore converger sur le même cœur d'opérateur. Un terminal de paiement peut avoir une sauvegarde Ethernet et cellulaire tandis que les deux chemins dépendent d'un seul opérateur. Un lien cloud ou centre de données peut sembler séparé parce que la facture utilise un nom de fournisseur différent, tandis que la queue d'accès ou le backbone national reste commun. Un examen de dépendance devrait suivre le service jusqu'au réseau d'accès réel, au cœur, au peering, à l'authentification et au chemin de gestion.

Il devrait demander à qui chacun appartient et si un seul événement de plan de contrôle d'opérateur peut tous les supprimer.

La conséquence publique n'est pas que chaque organisation devrait abandonner Rogers ou acheter une diversité illimitée. La diversité a un coût, et certaines fonctions peuvent tolérer une panne. La conséquence est que les fonctions de sécurité des personnes, de délais légaux, de paiement, de soins, de transport et d'information publique ont besoin d'une séparation explicite des sorts. Un commerçant peut choisir une carte SIM de secours à faible coût d'un autre opérateur. Une banque peut avoir besoin d'une connectivité privée conçue. Une ville peut avoir besoin d'une cartographie directe des opérateurs pour les opérations d'urgence.

Le bon niveau dépend de la conséquence, mais la décision devrait être visible avant le prochain événement national.

Les tests doivent reproduire les parties inconfortables de la panne de 2022

La preuve de remédiation la plus crédible ne serait pas une déclaration selon laquelle de nouveaux contrôles existent. Ce serait un exercice qui reproduit les conditions difficiles du 8 juillet. L'exercice devrait supprimer l'accès à la gestion normal, rendre les enregistrements de maintenance récents ambigus, priver le personnel du réseau mobile primaire, créer une pression des parties prenantes des services d'urgence, et forcer des mises à jour publiques avant que la cause première ne soit définitive.

Il devrait également tester si une erreur de domaine de routage peut encore déplacer un état de route excessif dans le cœur, si les limites automatiques l'arrêtent, et si le rollback fonctionne sans utiliser le chemin défaillant.

De nombreux exercices sont trop polis. Ils supposent que le pont d'incident fonctionne, que les bonnes personnes sont joignables, que le système de surveillance est disponible, et que la première hypothèse est suffisamment proche. La panne de Rogers a montré pourquoi l'exercice doit refuser ces commodités. Un réseau de gestion séparé n'a de valeur que si les ingénieurs peuvent l'utiliser lorsque le cœur IP de production est hors service. La connectivité avec d'autres fournisseurs n'a de valeur que si la capacité, les identifiants et l'accès physique sont prêts.

Les cartes SIM tierces n'ont de valeur que si elles sont attribuées à des rôles, testées, chargées et connues des intervenants. L'itinérance d'urgence n'a de valeur que si la condition du réseau domestique défaillant déclenche effectivement un chemin alternatif utilisable.

Pour les agences publiques, l'exercice correspondant devrait supprimer Rogers d'un jour ouvrable. Le centre d'opérations d'urgence peut-il contacter le personnel sur le terrain? Les foyers de soins peuvent-ils accéder aux informations des résidents? Les cliniques peuvent-elles enregistrer le service manuellement et le rapprocher plus tard? Les sites web publics et les canaux sociaux peuvent-ils être mis à jour via une connexion différente? L'acceptation des paiements peut-elle continuer pour les services essentiels? Les systèmes de circulation peuvent-ils fonctionner localement pendant que la surveillance centrale est en panne?

Le rapport de Toronto a montré de nombreuses adaptations partielles; la prochaine étape est de transformer ces adaptations en procédures testées plutôt qu'en résilience improvisée.

Les exercices des réseaux de paiement devraient être tout aussi concrets. La nouvelle capacité de secours d'Interac devrait être testée avec les banques participantes, les acquéreurs, les contrôles de fraude, la notification aux clients et le volume de transactions. Le test devrait vérifier non seulement que les liens existent, mais que le basculement transporte du trafic réel sans créer d'état de transaction incohérent. Il devrait décider quel mode dégradé est sûr, comment les clients sont informés, quelles preuves les commerçants reçoivent, et comment les processus de règlement et de litige traitent les transactions interrompues.

Un réseau de paiement qui maintient la messagerie centrale disponible pendant que les terminaux ne peuvent pas atteindre les acquéreurs n'a pas préservé le commerce.

Les petites entreprises ont besoin d'une version plus légère de la même réflexion. Un restaurant peut effectuer un exercice matinal dans lequel l'internet principal et le service mobile sont indisponibles pendant une heure. Il peut tester si le personnel connaît le point d'accès alternatif, si le terminal de paiement fonctionne dessus, si les commandes en ligne peuvent être mises en pause, si les clients réguliers peuvent être facturés plus tard, et si les enregistrements de pertes sont capturés. L'exercice n'élimine pas la responsabilité de l'opérateur.

Il donne à l'entreprise un moyen de survivre aux premières heures pendant que l'opérateur et les régulateurs font leur travail.

Les preuves doivent être suffisamment publiques pour changer le comportement

Les opérateurs de télécommunications ne peuvent pas publier les topologies complètes de leurs cœurs, les règles des périphériques ou les routes sensibles à la sécurité. L'assurance publique a encore besoin de plus que des promesses de haut niveau. Un dossier de remédiation public utile résumerait le mode de défaillance, les contrôles ajoutés contre ce mode, la portée de l'examen indépendant, le statut de la séparation du cœur, les tests effectués et les limites qui subsistent.

Il indiquerait si le repli des appels d'urgence a été testé dans une condition de réseau partiel, si la livraison des alertes publiques a été validée séparément, si l'accès à la gestion a survécu à un exercice de défaillance du cœur, et si les communications avec d'autres opérateurs étaient disponibles pour les équipes de crise.

Le même principe de preuve publique s'applique aux institutions qui dépendent de Rogers. La mise à jour d'Interac est précieuse parce qu'elle dit ce qui a changé: un opérateur secondaire, une troisième liaison avec une capacité suffisante, et un mode de secours privé pour les entités e-Transfert. Un rapport de ville est précieux parce qu'il identifie quelles fonctions ont échoué et quelles solutions de contournement ont été utilisées. Une décision du CRTC est précieuse parce qu'elle transforme la notification et le signalement en obligations permanentes.

Chaque pièce change le comportement futur parce qu'elle donne à d'autres organisations quelque chose de spécifique à copier, questionner ou tester.

La preuve la plus faible est une phrase comme « nous avons investi dans la résilience » sans description du domaine de défaillance. L'investissement peut acheter de la capacité, mais l'événement de juillet 2022 n'était pas principalement un manque de capacité. C'était une défaillance du plan de contrôle et du sort commun. La preuve devrait donc porter sur les frontières: quels changements ne peuvent pas passer de BGP à OSPF sans limites, quelles fonctions centrales sont séparées, quels chemins de gestion ne dépendent pas du cœur de production, quels chemins d'urgence ont été testés, et quels partenaires en aval ont une notification directe.

L'argent est l'entrée. La séparation des sorts est le résultat qui compte.

Quelles preuves boucleraient la boucle de responsabilité

Le dossier de Rogers est plus solide que de nombreux dossiers de panne parce que l'évaluation indépendante explique le mécanisme de routage et de nombreuses étapes de remédiation. La boucle de responsabilité nécessite encore des preuves dans le temps. Un rapport ponctuel peut décrire de nouveaux contrôles; seuls des tests répétés peuvent montrer qu'ils restent efficaces lorsque le personnel, la topologie, les fournisseurs et les modèles de trafic changent.

Pour Rogers, des preuves utiles incluraient la preuve que les limites de redistribution de routes sont appliquées, que les changements à haute conséquence restent à haut risque indépendamment du succès de la phase antérieure, que les tests en laboratoire incluent des comptes de routes à l'échelle de la production, que le rollback automatique est exercé, que le réseau de gestion survit à une défaillance du cœur, que la séparation sans fil et filaire n'est pas compromise par des opérations partagées, et que le repli des appels d'urgence a été testé dans une condition où le réseau domestique semble partiellement disponible.

Des résumés publics peuvent fournir une assurance sans exposer une configuration sensible.

Pour Interac et les banques, les preuves incluraient des tests de basculement à l'échelle de l'opérateur, une preuve de capacité des entités, des exercices de mode de secours, le comportement des contrôles de fraude en fonctionnement dégradé, les voies de communication avec les clients et le rapprochement des règlements.

Pour les municipalités et les agences publiques, les preuves incluraient des inventaires de diversité des opérateurs, une cartographie des processus de sécurité des personnes, des appareils alternatifs attribués à des rôles nommés, des procédures manuelles et des exercices qui retirent l'opérateur principal sans avertissement. Pour les PME, les preuves peuvent être plus simples: un chemin de paiement alternatif testé, un point d'accès d'un autre opérateur, des listes de contacts hors ligne et des enregistrements de réclamations documentés.

Le rôle du régulateur est d'empêcher les preuves de se dissoudre dans l'assurance privée. Le CRTC n'a pas besoin de publier chaque secret réseau pour exiger des performances contre le mode de défaillance connu. Il peut exiger des rapports d'avancement, des rapports d'incidents, des métriques de services d'urgence et des droits d'audit. ISDE peut maintenir des arrangements sectoriels pour l'assistance mutuelle et l'itinérance d'urgence. Les acheteurs municipaux peuvent exiger une transparence des dépendances. La responsabilité publique devient réelle lorsque les personnes lésées par le sort commun peuvent voir que le sort commun a été réduit.

La panne de Rogers n'a pas prouvé qu'un cœur d'opérateur convergé est toujours mauvais. Elle a prouvé que la convergence comporte des devoirs publics. Un opérateur qui réunit de nombreux services via un seul plan de contrôle doit valider les changements par leurs conséquences, garder les outils de récupération en dehors du domaine de défaillance, préserver l'accès d'urgence, communiquer avant que la certitude ne soit complète, et montrer des preuves testées qu'une seule faute de routage interne ne supprimera plus les paiements, les services publics, l'accès d'urgence et la connectivité ordinaire ensemble. Les noms de protocole comptent.

Les fonctions de service public comptent davantage.