Rogers a transformé la fragilité du plan de contrôle en problème de responsabilité publique

Résumé

• La panne de Rogers du 8 juillet 2022 a été déclenchée par une modification de maintenance qui a supprimé un filtre de politique de routage, a laissé les tables de routage BGP complètes entrer dans OSPF, a submergé les routeurs centraux et a perturbé les services sans fil et filaires. Le problème de responsabilité du round 13 ne réside pas uniquement dans le filtre supprimé; c'est la fragilité du service public créée lorsque de nombreuses fonctions critiques partageaient le même plan de contrôle de l'opérateur.
• Les appels d'urgence, les alertes publiques sans fil, Interac Debit et e-Transfer, les opérations municipales, les ventes des petites entreprises, les clients de gros, les organismes publics et les abonnés ordinaires ont tous subi les effets d'une seule panne de routage interne. Cette ampleur montre pourquoi la résilience des opérateurs doit être mesurée par les fonctions publiques préservées, et pas seulement par le temps de rétablissement du service au détail du fournisseur.
• Rogers contrôlait la validation des changements de routage, le partitionnement du réseau central, les limites de surcharge, la gestion hors bande, les communications d'incident et la coordination des services d'urgence. Les organismes publics, les opérateurs de paiement, les banques, les agences de transport et les PME contrôlaient leurs propres cartographies des dépendances et leurs solutions de repli. La responsabilité découle de ces positions de contrôle effectives, et non de la visibilité de la panne un jour donné.
• Le bilan des mesures correctives comprend des protections de routage, un réseau de gestion distinct, une connectivité à des fournisseurs alternatifs, davantage de cartes SIM tierces, un programme de séparation du réseau central sans fil/filaire, la diversification des opérateurs par Interac, des accords industriels d'itinérance d'urgence et d'assistance mutuelle, ainsi que de nouvelles règles de signalement des pannes du CRTC. Le test restant consiste à vérifier si ces mesures sont testées dans des conditions reproduisant la panne de 2022.

La panne était un événement du plan de contrôle avec un rayon d'impact sur les services publics

Le 8 juillet 2022 à 4 h 43, heure de l'Est, le personnel de Rogers a supprimé un filtre de politique lors d'une mise à niveau du réseau central IP. Selon l'évaluation indépendante de Xona Partners publiée par le CRTC, cette modification a permis la redistribution complète des tables de routage BGP dans OSPF, submergeant les routeurs centraux et mettant hors service les services sans fil et filaires nationaux en quelques minutes. La version publique de l'évaluation de Xona Partnerspar le CRTC constitue la meilleure synthèse technique car elle relie le déclencheur de routage au risque de changement, aux tests en laboratoire, à l'accès de gestion, aux effets sur les services d'urgence et aux mesures correctives.

L'incident est souvent décrit comme une panne de télécommunications, ce qui est vrai mais insuffisant. Un utilisateur mobile a perdu le service. Un commerçant a perdu l'acceptation de paiements par débit. Une ville a perdu ses communications internes et certains liens de contrôle de la circulation à distance. Certains appelants d'urgence n'ont pas pu joindre le 9-1-1. Les services de paiement nationaux d'Interac sont devenus indisponibles. Le même événement de l'opérateur est donc passé de la qualité de service privée à la continuité du secteur public et à une dépendance économique nationale.

La fragilité du plan de contrôle de l'opérateur est devenue un problème de responsabilité du service public parce que le plan de contrôle ne desservait pas seulement Rogers.

Des mesures externes confirment l'ampleur publique sans remplacer la cause interne.Le point de vue de Cloudflare sur la panne de Rogersa montré une perte de trafic quasi totale de l'AS812 de Rogers et d'importants retraits de routes.L'analyse de la panne par ThousandEyesa observé des échecs d'accessibilité et des changements de route. Larevue techniqueultérieure de l'Internet Society a expliqué pourquoi les symptômes BGP publics ne doivent pas être confondus avec la cause initiale interne. L'internet a vu Rogers disparaître; les preuves réglementaires ont montré la défaillance de redistribution interne qui a rendu cette disparition possible.

La différence est importante pour la responsabilité. Si le récit se limite à dire que BGP a échoué, la responsabilité se déplace vers un protocole. S'il dit qu'un filtre de politique de routage a été supprimé sans confinement, tests et protection contre les surcharges suffisants, la responsabilité revient aux contrôles organisationnels. BGP et OSPF étaient des outils.

Les décisions engageant la responsabilité étaient l'autorité attachée à un changement, la validation appliquée à ce changement, l'absence de limites efficaces de volume de routes, le destin partagé du sans-fil et du filaire, et la dépendance des outils de récupération au réseau de production qui avait échoué.

Déclencheur, problème de responsabilité fondamental et conditions contributives

Le déclencheur a été la suppression d'un filtre de politique. Le problème de responsabilité fondamental était le plan de contrôle commun qui a permis à un seul changement de l'opérateur de supprimer simultanément de nombreuses fonctions publiques et commerciales.

Parmi les conditions contributives figuraient la baisse de la classification de risque d'une mise à niveau en plusieurs phases, des tests en laboratoire insuffisamment représentatifs de la production, des protections contre les surcharges manquantes ou inefficaces, un accès de gestion dépendant du réseau central IP affecté, une connectivité à des fournisseurs alternatifs trop faible dans les installations critiques, et des processus de communication qui n'ont pas fourni aux intervenants publics et d'urgence des conseils pratiques rapides.

Le rapport Xona indique que la mise à niveau globale a débuté comme à haut risque, mais que les phases antérieures réussies ont influencé l'algorithme de risque et ont contribué à réduire le risque de la phase ultérieure à faible. C'est un signal de gouvernance, pas seulement technique. Un modèle de risque a tiré la mauvaise leçon des succès précédents. Les phases antérieures peuvent prouver qu'une équipe projet peut exécuter un plan; elles ne prouvent pas qu'une phase ultérieure touchant une frontière de routage différente a un rayon d'impact plus petit.

La décision de contrôle aurait dû être motivée par la conséquence maximale, et non par la dynamique du projet.

Les recommandations de routage reconnaissaient depuis longtemps la nécessité de filtres, de limites et de surveillance. LaRFC 7454 sur les opérations et la sécurité BGPde l'IETF n'est pas une règle propre à Rogers et n'a pas déterminé la panne. Elle montre cependant que le filtrage de préfixes, les contrôles de nombre maximal de préfixes et des opérations de routage disciplinées étaient des préoccupations opérationnelles établies. L'incident de Rogers impliquait une redistribution interne dans OSPF, mais la même idée de contrôle s'applique: l'information de routage traversant une frontière doit être limitée et observée car le volume de routes et les erreurs de politique peuvent devenir systémiques.

Les premiers messages publics de Rogers étaient plus généraux. Lemessage du 8 juilletde son chef de la direction a reconnu les effets sur le sans-fil et le filaire, a promis des crédits et a accepté la responsabilité. Unemise à jour du 9 juilleta attribué l'événement à une mise à jour de maintenance provoquant un dysfonctionnement des routeurs. Ces déclarations étaient des premiers aveux importants, mais elles n'ont pas fourni les détails ultérieurs sur le filtre, l'inondation de routes, le réseau de gestion et les appels d'urgence. L'écart entre les premières assurances et les preuves techniques ultérieures fait partie de la responsabilité de notification.

Les questions réglementaires ont comblé cette lacune. Lademande de renseignements du 12 juilletdu CRTC exigeait des détails sur la cause, le service d'urgence, la communication publique et la prévention. Sonsuivi du 5 aoûta insisté sur le filtre supprimé, les tests, le retard de notification au 9-1-1, et pourquoi certains appels d'urgence ont abouti alors que d'autres non. Ces lettres montrent ce que le public ne savait pas encore et ce dont le régulateur avait besoin pour transformer les excuses d'un fournisseur en un dossier de responsabilité.

La validation des changements a échoué à la frontière des conséquences publiques

La caractéristique la plus dangereuse du changement du 8 juillet n'était pas qu'une personne ait commis une erreur. La caractéristique dangereuse était qu'un changement autorisé pouvait supprimer une frontière de protection et pousser l'état de routage complet dans un domaine qui ne pouvait pas l'absorber. Un réseau à fortes conséquences doit supposer qu'un opérateur, un script ou un plan de maintenance valablement autorisé peut toujours être erroné. Le système de contrôle doit alors se demander: qu'est-ce qui empêche le changement erroné de se propager, et qu'est-ce qui rend son effet visible avant qu'il ne devienne national?

L'évaluation publique identifie les protections manquantes. Des limites de surcharge efficaces sur les routeurs centraux étaient absentes pour ce mode de défaillance. Les routeurs de distribution ne disposaient pas des limites de routes qui auraient arrêté la redistribution excessive. L'audit des changements n'a pas détecté la suppression erronée de la politique. La restauration automatique n'a pas contenu l'événement. Les tests en laboratoire n'ont pas reproduit l'état de production dangereux. Plusieurs modifications pendant la fenêtre ont compliqué le diagnostic.

Pris ensemble, ces faits montrent un problème de plan de contrôle plus profond qu'une simple ligne de configuration.

Une bonne validation des changements de routage comporte plusieurs couches. Elle compare la politique prévue et réelle. Elle simule le nombre de routes et les franchissements de frontières. Elle limite les routes au niveau de l'équipement. Elle déploie par étapes vers une partie limitée du réseau. Elle surveille le taux de changement de routes et l'utilisation des ressources de l'équipement en temps réel. Elle définit des critères d'abandon avant le début de la fenêtre. Elle maintient le chemin de restauration accessible lorsque le réseau central normal est altéré.

Elle examine si le changement peut affecter à la fois les services sans fil et filaires, les chemins d'urgence, les liaisons de gros, les organismes publics et les réseaux de paiement. Les mesures correctives de Rogers devaient traiter ces couches parce que la défaillance les a toutes traversées.

Le prisme basé sur les conséquences est important. Certains changements sont routiniers sur le plan opérationnel mais critiques pour le public. Un changement de "nettoyage" qui supprime un filtre entre des domaines de routage n'est pas à faible risque parce que la tâche est courte. Il est à haut risque si son résultat erroné peut supprimer la connectivité nationale. La question de responsabilité pour les conseils d'administration et les régulateurs est de savoir si le processus de changement peut identifier cet effet maximal avant la fenêtre de maintenance, plutôt qu'après qu'un graphique de panne externe le prouve.

L'évaluation ultérieure des mesures de Rogerspar le CRTC a indiqué que Xona les avait jugées satisfaisantes pour traiter la cause et améliorer la résilience, tout en exigeant un rapport continu sur l'efficacité et la séparation du réseau central. C'est un point d'assurance significatif. Il reste néanmoins un défi en matière de preuves publiques. Un changement de processus achevé n'est pas la même chose qu'un rejet démontré d'une tentative dangereuse de redistribution de routes au cours d'un exercice. Le public n'a pas besoin de tous les détails exclusifs, mais il a besoin d'être sûr que la classe exacte de défaillance a été testée.

Un réseau central commun a fait partager le même destin à des services distincts

L'évaluation Xona n'a pas qualifié un réseau central convergé pour le sans-fil et le filaire de foncièrement défectueux. Les grands opérateurs consolident souvent le trafic sur des réseaux centraux IP communs pour des raisons d'efficacité, de performance et de gérabilité. Le problème de responsabilité est de savoir quels contrôles accompagnent cette convergence. Si un seul réseau central logique transporte de nombreux services, alors une seule défaillance de routage peut avoir de nombreuses conséquences à moins que le partitionnement, les limites et les chemins de récupération ne préservent la séparation en situation de stress.

La redondance physique n'a pas résolu le problème du 8 juillet parce que la défaillance était logique. Plusieurs routeurs et régions peuvent encore exécuter le même état nuisible. Le matériel redondant n'est pas indépendant lorsqu'une seule politique peut surcharger tous les équipements concernés. La diversité des fournisseurs ne suffit pas lorsque le même état de route atteint toutes les plateformes. La répartition géographique ne suffit pas lorsque la décision de contrôle est nationale. L'événement était une leçon de destin commun: les composants peuvent être physiquement séparés et opérationnellement liés.

Rogers a annoncé un programme visant à séparer physiquement ses réseaux centraux IP sans fil et filaire. Son chef de la direction a discuté de ce plan et de l'investissement plus large dans desremarques liminaires devant le comité de l'industrie de la Chambre des communes. La séparation est une réponse sensée car elle peut réduire le risque qu'un seul état du réseau central désactive les deux catégories d'accès à la fois. Mais la séparation n'est aussi forte que les opérations qui l'entourent. Deux réseaux centraux peuvent retrouver un destin commun par le biais d'une maintenance synchronisée, d'une orchestration partagée, d'une identité partagée, d'un transport commun, d'une politique de routage commune ou d'un seul réseau de gestion.

C'est pourquoi la preuve d'une séparation durable doit inclure des exercices et des cartographies des dépendances. Peut-on arrêter indépendamment la maintenance sans fil et filaire? Les politiques de routage sont-elles déployées séparément? Un outil de gestion des changements a-t-il autorité sur les deux en même temps? Le réseau de gestion peut-il atteindre un réseau central lorsque l'autre tombe en panne? Les appels d'urgence, les alertes publiques, l'accès de gros et les chemins de paiement ont-ils des frontières de destin différentes? Un budget de projet ne peut répondre à ces questions.

Seuls des tests et des preuves d'architecture le peuvent.

Le dossier public montre que cette leçon s'est propagée au-delà de Rogers. Le programme canadien de fiabilité des télécommunications a mené à unprotocole d'entente sur la fiabilité des télécommunicationsentre l'industrie et le gouvernement, et ladéclaration de septembre 2022d'ISED a défini l'itinérance d'urgence, l'assistance mutuelle et les communications comme des obligations sectorielles. Ces dispositions sont importantes car le destin commun doit être réduit entre les opérateurs et les systèmes publics, et pas seulement à l'intérieur du réseau central de Rogers.

Les outils de récupération étaient à l'intérieur du rayon d'impact de la panne

La panne a duré plus longtemps parce que la vue de récupération de Rogers dépendait du réseau en réparation. Xona a constaté que l'accès de gestion reposait sur le réseau central IP, que les journaux clés étaient initialement inaccessibles, que les sites critiques manquaient de connectivité suffisante à des opérateurs alternatifs et que les intervenants ne disposaient pas d'assez de cartes SIM tierces. Les ingénieurs ont dû envoyer du personnel sur place et travailler avec des communications défaillantes. La cause profonde n'a pas été identifiée pendant environ 14 heures.

Cela ne prouve pas l'incompétence de la réponse. Une panne de réseau central national est complexe, plusieurs changements avaient eu lieu et la restauration devait éviter toute surcharge supplémentaire. Cela prouve que la récupération hors bande n'était pas assez indépendante. Un chemin de récupération n'est pas hors bande simplement parce qu'il a une plage d'adresses distincte ou un nom interne différent. Il doit survivre au réseau central de production, à l'opérateur en réparation, au site d'exploitation principal, à l'accès normal de l'entreprise et au canal d'assistance ordinaire. Il doit également rester sécurisé.

Un chemin d'urgence non sécurisé peut devenir l'incident suivant.

Les mesures rapportées par Rogers ciblent cette faiblesse: un réseau de gestion physique et logique distinct, une connectivité à des fournisseurs alternatifs, plus de cartes SIM tierces pour les équipes de crise, des alarmes améliorées et une meilleure restauration. Ce sont les bonnes catégories.

Leur valeur dépend de leur fonctionnement lorsque le routage de production est hors service, lorsque les enregistrements de changements récents sont trompeurs, lorsque le personnel ne peut pas compter sur le service mobile de Rogers et lorsque les intervenants gouvernementaux ont besoin de mises à jour avant que les ingénieurs n'aient trouvé la cause profonde. Un exercice sérieux devrait supprimer le réseau central, refuser l'accès de gestion ordinaire, exiger une coordination sur le terrain et mesurer le temps nécessaire pour obtenir des journaux fiables et des conseils publics.

Ce point s'étend aux organismes publics et aux entreprises. Une ville qui dispose d'appareils mobiles de secours tous sur le même opérateur ne dispose pas d'un canal d'incident indépendant de l'opérateur. Un terminal de paiement qui peut basculer sur les données mobiles du même fournisseur que la liaison fixe peut ne pas avoir de diversité de chemin. Une entreprise qui ne stocke ses contacts de continuité que dans une application cloud atteinte par la connexion défaillante peut ne pas être en mesure de communiquer.

L'opérateur est responsable de la panne de réseau; les clients sont responsables de supposer que leurs propres outils de récupération en sont indépendants.

L'examen de l'impact opérationnel de la Ville de Torontorend cela concret. Plus de la moitié des appareils mobiles professionnels du personnel de la ville dépendaient de Rogers. Les foyers de soins de longue durée, les cliniques de vaccination, les refuges, le Wi-Fi public, les paiements, la coordination du personnel et les liens de contrôle de la circulation à distance ont été affectés de différentes manières. La ville s'est adaptée avec des appareils de secours et des processus manuels, ce qui est une force. L'examen montre également pourquoi les organismes publics doivent cartographier leur dépendance aux opérateurs dans tous les services avant qu'une panne nationale ne la révèle.

Les appels d'urgence sont la dépendance aux conséquences les plus élevées

L'effet le plus grave sur le service public concernait le 9-1-1. L'évaluation Xona a révélé que de nombreux clients de Rogers ne pouvaient pas joindre les services d'urgence. Certains appels ont abouti via d'anciens chemins réseau ou d'autres opérateurs, mais la version publique occulte les taux de réussite précis. Un compte rendu responsable ne doit pas inventer de chiffre. Il suffit d'indiquer le problème confirmé: la panne a altéré l'accès aux services d'urgence pour une grande partie des clients touchés, et Rogers n'a pas informé les fournisseurs de réseau 9-1-1 avant près de quatre heures après le déclenchement.

La continuité des services d'urgence exige plus que la priorisation du trafic d'urgence sur un réseau sain. Si le réseau central ne peut pas acheminer l'appel, la priorité n'aide pas. Si le combiné voit toujours son réseau domestique comme présent, il peut ne pas passer en itinérance. Si les centres d'appels d'urgence ne reçoivent pas un préavis, ils ne peuvent pas se préparer. Si le public ne reçoit aucune consigne alternative pratique, les personnes stressées peuvent ne pas savoir quoi faire. L'objectif de contrôle est l'achèvement de bout en bout de la demande d'urgence, et non l'assurance interne qu'un sous-système fonctionne.

Lalettre du comité de l'industrie de la Chambre des communes sur la panne généralisée de Rogersdemandait des mécanismes de transfert des services d'urgence, de la redondance et des améliorations de la notification aux clients. Le protocole d'entente sur la fiabilité a par la suite abordé l'itinérance d'urgence et l'assistance mutuelle, sous réserve de faisabilité technique. La réserve est importante. La situation de juillet 2022 est exactement le genre de scénario qui peut rendre difficile l'itinérance d'urgence ordinaire: un réseau peut sembler partiellement présent alors que le réseau central nécessaire pour acheminer l'appel est indisponible.

La responsabilité des services d'urgence est partagée mais inégale. Rogers avait le contrôle pratique de son réseau central, de ses chemins d'appels d'urgence, de sa notification aux intervenants du 9-1-1 et de sa communication publique. Les autres opérateurs contrôlaient la capacité et les dispositions techniques pour recevoir le trafic d'urgence lorsque cela était possible. Le gouvernement contrôlait la politique, la surveillance réglementaire et les canaux d'alerte publique. Le comportement des appareils et les normes façonnaient la solution de repli.

On ne devrait pas dire au public qu'une solution de repli existe sans lui dire dans quelles situations de panne elle a été testée.

L'avis de consultation de télécom 2023-39du CRTC et ladécision de télécom 2025-225ultérieure montrent que la réponse réglementaire évolue vers une notification obligatoire des pannes majeures, des mises à jour, des avis de rétablissement et des rapports post-panne. Les règles de signalement n'empêchent pas les inondations de routes, mais elles réduisent la probabilité que les acteurs de la sécurité publique et du gouvernement attendent dans l'incertitude pendant qu'un fournisseur s'auto-diagnostique.

Les paiements et les petites entreprises ont révélé une concentration cachée

Interac Debit et Interac e-Transfer sont devenus indisponibles pendant la panne de Rogers. Cela a étendu l'événement à des personnes et des commerçants qui ne pensaient peut-être pas dépendre de Rogers. La propremise à jour d'Interac sur l'état et les mesures correctivesindiquait que la société disposait de réseaux redondants et d'une diversité de circuits, mais la panne du 8 juillet a montré que ces dispositions restaient trop vulnérables à la maintenance du réseau central de Rogers. Interac a par la suite ajouté un opérateur secondaire, une troisième liaison avec une capacité de secours suffisante et un mode de secours privé sécurisé pour les entités à e-Transfer.

Cette réponse est importante car elle accepte la responsabilité au niveau du réseau de paiement. Rogers a causé la panne de l'opérateur, mais Interac contrôlait la conception de la connectivité et du basculement du réseau de paiement. Un système de paiement ne peut pas se fier à l'assurance du fournisseur que les circuits sont diversifiés si ces circuits partagent toujours le même réseau central d'opérateur.

La question de responsabilité est de bout en bout: une autorisation de paiement par un commerçant, la connexion d'un entité bancaire, le contrôle de la fraude, le message de règlement et le transfert face au client peuvent-ils se poursuivre lorsqu'un opérateur national disparaît?

Pour les petites entreprises, la panne a supprimé simultanément l'internet, le service mobile, la voix, l'acceptation des paiements, les commandes en ligne, les applications de livraison, la coordination du personnel et le contact avec les clients. Le reportage de La Presse canadienne hébergé par CityNews sur lespertes des PME lors de la panne de Rogersdonne des exemples d'entreprises perdant des centaines ou des milliers de dollars, mais ce n'est pas un audit national des pertes. Lerapport annuel 2022 de Rogersa fait état d'environ 150 millions de dollars de remboursements aux clients. Ce chiffre est un coût pour l'entreprise, pas le préjudice économique total.

La continuité des PME doit être réaliste. Un petit commerce ne peut pas acheter une architecture de reprise après sinistre à grande échelle. Il peut savoir si son terminal de paiement peut utiliser Ethernet et le Wi-Fi, conserver un point d'accès testé sur un autre opérateur, maintenir une procédure de paiement en espèces ou différé, préserver un accès hors ligne aux rendez-vous et aux contacts des fournisseurs, et comprendre quels outils de livraison ou de commande partagent le même réseau. Ces mesures n'excusent pas la défaillance de l'opérateur.

Elles réduisent le risque qu'une panne d'un fournisseur devienne un arrêt complet de l'entreprise.

La politique publique devrait également réduire la charge de la preuve pour les petites entreprises. L'opérateur contrôle les journaux de panne les plus complets; un commerçant ne voit que des ventes ratées et des clients confus. Un processus équitable devrait fournir rapidement les fenêtres de service affectées, les emplacements et les informations d'admissibilité des clients. Les crédits de service sont utiles mais souvent inadaptés aux pertes d'exploitation.

Le dossier de responsabilité devrait séparer les remboursements au détail, les réclamations pour pertes indirectes, les sanctions réglementaires et les effets économiques à l'échelle du secteur plutôt que de laisser un seul chiffre représenter le tout.

Le moment de la communication de l'état du service fait partie de la résilience

Les clients et les organismes publics ont besoin d'informations précoces et utiles sur l'état du service, même lorsque la cause profonde est inconnue. La première lettre du CRTC critiquait le peu d'informations publiques et l'absence de consignes alternatives pour le 9-1-1. Cette critique ne porte pas sur la qualité des relations publiques. Le moment de la communication est opérationnel. Il indique à une ville s'il faut activer un centre d'urgence, à un commerçant s'il doit changer de mode de paiement, à une banque si elle doit avertir ses clients et à un centre d'appels d'urgence s'il doit s'attendre à des schémas d'appels inhabituels.

Un processus de communication responsable sépare l'impact observé, la cause suspectée et l'action recommandée. "Nous enquêtons" peut être honnête, mais c'est incomplet lorsque les appels d'urgence, les paiements et les services publics sont affectés. Un avis précoce doit indiquer les catégories de services connues, l'étendue géographique, les implications pour les appels d'urgence si elles sont connues, les méthodes alternatives si disponibles, l'heure de la prochaine mise à jour et la manière dont les parties prenantes peuvent recevoir des notifications directes.

Il doit signaler les points incertains plutôt que d'attendre un diagnostic parfait.

Ledossier de la procédure publique du CRTCdocumente une longue série de demandes de renseignements, de litiges sur la divulgation, d'évaluations et de rapports d'avancement. Ce dossier public est important parce que les pannes de télécommunications ne sont pas des incidents privés. Les opérateurs exploitent des infrastructures ayant des conséquences sur les services publics. Leurs preuves post-incident doivent être suffisamment accessibles aux régulateurs, aux municipalités, aux concurrents, aux organisations d'urgence, aux entreprises et aux consommateurs pour voir si la panne a été comprise et si les mesures correctives sont vérifiables.

Les nouvelles règles de signalement du CRTC rendent la notification plus formelle, mais la qualité de la notification dépend encore de la classification de l'incident. Un seuil basé uniquement sur le nombre de clients ou la durée peut ne pas détecter une panne ayant une importance immédiate pour les services d'urgence, les paiements ou le secteur public. Un fournisseur doit faire remonter l'incident lorsque des fonctions critiques sont affectées, et pas seulement lorsque les indicateurs de détail arrivent à maturité.

Le même principe s'applique aux clients gouvernementaux: ils doivent exiger des contacts opérationnels directs et des preuves d'état dans les contrats, plutôt que de se fier uniquement aux publications sur les médias sociaux publics.

Les systèmes de communication d'état doivent également être indépendants. Si le site Web, le centre d'appels, la messagerie interne et le flux d'état d'un opérateur dépendent tous du réseau affecté, le public perd la carte pendant la panne. Le défi de récupération de Rogers a montré que même les intervenants internes avaient besoin d'une connectivité alternative. La communication publique nécessite la même diversité: des pages hébergées séparément, des relations avec les médias audiovisuels, des canaux de relais gouvernementaux et des notifications directes authentifiées aux partenaires des services d'urgence et du secteur public.

Les clients de gros et institutionnels transforment un opérateur en de nombreux fournisseurs

La responsabilité de l'opérateur devient plus difficile lorsque la partie lésée n'achète pas de service directement auprès de l'opérateur qui a défailli. Les clients de gros, les fournisseurs de services gérés, les banques, les acquéreurs de paiement, les organismes publics et les opérateurs de transport peuvent tous se trouver en aval de la capacité de Rogers sans que chaque utilisateur final comprenne cette relation. Le client voit une application, un terminal, un guichet gouvernemental ou un revendeur. La dépendance cachée est le réseau central de l'opérateur sous-jacent.

Cette structure cachée modifie la notification et les mesures correctives. Un client de détail direct de Rogers peut recevoir un crédit sur sa facture et une déclaration publique. Un client de gros peut avoir besoin de preuves techniques pour informer ses propres clients. Une banque ou un fournisseur de paiement peut avoir besoin de savoir si les échecs de transaction proviennent de son application, de la connectivité des entités, des contrôles de fraude ou de l'accessibilité de l'opérateur. Une ville peut avoir besoin de savoir quels appareils et services loués partagent Rogers dans différents services.

Si Rogers ne peut identifier rapidement qu'un impact général sur le détail, les institutions en aval subissent un intervalle d'incertitude plus long.

Le dossier du CRTC est important parce qu'il transforme cette dépendance cachée en une procédure publique plutôt qu'une série de tickets d'assistance privés. Les questions du régulateur sur le service d'urgence, les alertes publiques, les effets sur le gros et la communication n'étaient pas une curiosité bureaucratique. Elles étaient le mécanisme par lequel une carte des dépendances nationales a commencé à devenir visible. Il en va de même pour la déclaration de mesures correctives d'Interac. Interac n'a pas simplement dit qu'il était victime de Rogers.

Il a décrit sa propre redondance préexistante, a reconnu que l'événement avait révélé une faiblesse restante et a ajouté une diversité d'opérateurs. C'est ainsi qu'un fournisseur en aval doit se comporter lorsque la défaillance de l'opérateur en amont expose sa propre conception.

Les banques et les grandes entreprises devraient tirer la même leçon. Deux circuits de deux équipes produit peuvent encore converger vers le même réseau central d'opérateur. Un terminal de paiement peut avoir une sauvegarde Ethernet et cellulaire tandis que les deux chemins dépendent d'un seul opérateur. Un lien cloud ou centre de données peut sembler distinct parce que la facture utilise un nom de fournisseur différent, alors que la boucle d'accès ou le réseau fédérateur national reste commun.

Un examen des dépendances doit suivre le service jusqu'au réseau d'accès, au réseau central, au peering, à l'authentification et au chemin de gestion réels. Il doit demander qui possède chaque chemin et si un seul événement sur le plan de contrôle d'un opérateur peut tous les supprimer.

La conséquence publique n'est pas que chaque organisation doive abandonner Rogers ou acheter une diversité illimitée. La diversité a un coût et certaines fonctions peuvent tolérer une panne. La conséquence est que les fonctions de sécurité des personnes, de respect des délais légaux, de paiement, de soins, de transport et d'information publique nécessitent une séparation explicite des destins. Un commerçant peut choisir une carte SIM de secours à faible coût d'un autre opérateur. Une banque peut avoir besoin d'une connectivité privée spécialement conçue.

Une ville peut avoir besoin d'une cartographie directe des opérateurs pour les opérations d'urgence. Le bon niveau dépend des conséquences, mais la décision doit être visible avant le prochain événement national.

Les tests doivent reproduire les aspects inconfortables de la défaillance de 2022

La preuve la plus crédible des mesures correctives ne serait pas une déclaration selon laquelle de nouveaux contrôles existent. Ce serait un exercice qui reproduit les conditions difficiles du 8 juillet. L'exercice devrait supprimer l'accès de gestion normal, rendre ambigus les enregistrements de maintenance récents, priver le personnel du réseau mobile principal, créer une pression de la part des intervenants des services d'urgence et imposer des mises à jour publiques avant que la cause profonde ne soit définitive.

Il devrait également tester si une erreur dans un domaine de routage peut encore pousser un état de route excessif dans le réseau central, si les limites automatiques l'arrêtent et si la restauration fonctionne sans utiliser le chemin défaillant.

De nombreux exercices sont trop polis. Ils supposent que le pont d'incident fonctionne, que les bonnes personnes sont joignables, que le système de surveillance est disponible et que la première hypothèse est suffisamment proche. La panne de Rogers a montré pourquoi l'exercice doit refuser ces conforts. Un réseau de gestion distinct n'a de valeur que si les ingénieurs peuvent l'utiliser lorsque le réseau central IP de production est hors service. La connectivité à des fournisseurs alternatifs n'a de valeur que si la capacité, les identifiants et l'accès physique sont prêts.

Les cartes SIM tierces n'ont de valeur que si elles sont attribuées à des rôles, testées, chargées et connues des intervenants. L'itinérance d'urgence n'a de valeur que si la condition du réseau domestique défaillant déclenche effectivement un chemin alternatif utilisable.

Pour les organismes publics, l'exercice correspondant devrait supprimer Rogers un jour ouvrable. Le centre des opérations d'urgence peut-il contacter le personnel de terrain? Les maisons de soins peuvent-elles accéder aux informations sur les résidents? Les cliniques peuvent-elles enregistrer les services manuellement et effectuer un rapprochement ultérieur? Les sites Web et les canaux sociaux publics peuvent-ils être mis à jour via une connexion différente? L'acceptation des paiements peut-elle se poursuivre pour les services essentiels?

Les systèmes de circulation peuvent-ils fonctionner localement pendant que la surveillance centrale est en panne? Le rapport de Toronto a montré de nombreuses adaptations partielles; la prochaine étape consiste à transformer ces adaptations en procédures testées plutôt qu'en une résilience improvisée.

Les exercices des réseaux de paiement devraient être tout aussi concrets. La nouvelle capacité de secours d'Interac devrait être testée avec les banques participantes, les acquéreurs, les contrôles de fraude, la notification aux clients et le volume de transactions. Le test devrait vérifier non seulement que les liaisons existent, mais que le basculement transporte un trafic réel sans créer d'état de transaction incohérent. Il devrait décider quel mode dégradé est sûr, comment les clients sont informés, quelles preuves les commerçants reçoivent et comment les processus de règlement et de litige traitent les transactions interrompues.

Un réseau de paiement qui maintient la messagerie centrale disponible alors que les terminaux ne peuvent pas joindre les acquéreurs n'a pas préservé le commerce.

Les petites entreprises ont besoin d'une version allégée de la même réflexion. Un restaurant peut effectuer un exercice matinal au cours duquel l'internet et le service mobile principaux sont indisponibles pendant une heure. Il peut tester si le personnel connaît le point d'accès alternatif, si le terminal de paiement fonctionne via celui-ci, si la commande en ligne peut être suspendue, si les clients réguliers peuvent être facturés plus tard et si les enregistrements de pertes sont capturés. L'exercice n'élimine pas la responsabilité de l'opérateur.

Il donne à l'entreprise un moyen de survivre aux premières heures pendant que l'opérateur et les régulateurs font leur travail.

Les preuves doivent être suffisamment publiques pour changer les comportements

Les opérateurs de télécommunications ne peuvent pas publier les topologies complètes de leur réseau central, les règles des équipements ou les routes sensibles pour la sécurité. L'assurance publique a tout de même besoin de plus que des promesses de haut niveau. Un dossier public de mesures correctives utile résumerait le mode de défaillance, les contrôles ajoutés contre ce mode, la portée de l'examen indépendant, l'état de la séparation du réseau central, les tests effectués et les limites qui demeurent.

Il indiquerait si la solution de repli des appels d'urgence a été testée dans une condition de réseau partiel, si la distribution des alertes publiques a été validée séparément, si l'accès de gestion a survécu à un exercice de panne du réseau central et si les communications par opérateurs alternatifs étaient disponibles pour les équipes de crise.

Le même principe de preuve publique s'applique aux institutions qui dépendent de Rogers. La mise à jour d'Interac est précieuse parce qu'elle indique ce qui a changé: un opérateur secondaire, une troisième liaison avec une capacité suffisante et un mode de secours privé pour les entités à e-Transfer. Le rapport d'une ville est précieux parce qu'il identifie les fonctions qui ont échoué et les solutions de contournement utilisées. Une décision du CRTC est précieuse parce qu'elle transforme la notification et le signalement en obligations permanentes.

Chaque élément modifie le comportement futur parce qu'il donne à d'autres organisations quelque chose de spécifique à copier, à remettre en question ou à tester.

La preuve la plus faible est une phrase comme "nous avons investi dans la résilience" sans description du domaine de défaillance. L'investissement peut acheter de la capacité, mais l'événement de juillet 2022 n'était pas principalement un manque de capacité. C'était une défaillance du plan de contrôle et du destin commun.

La preuve devrait donc porter sur les frontières: quels changements ne peuvent pas passer de BGP à OSPF sans limites, quelles fonctions du réseau central sont séparées, quels chemins de gestion ne dépendent pas du réseau central de production, quels chemins d'urgence ont été testés et quels partenaires en aval reçoivent un avis direct. L'argent est un moyen. La séparation des destins est le résultat qui compte.

Quelles preuves boucleraient la boucle de la responsabilité

Le dossier de Rogers est plus solide que de nombreux dossiers de panne parce que l'évaluation indépendante explique le mécanisme de routage et de nombreuses étapes de mesures correctives. La boucle de la responsabilité exige encore des preuves dans le temps. Un rapport ponctuel peut décrire de nouveaux contrôles; seuls des tests répétés peuvent montrer qu'ils restent efficaces lorsque le personnel, la topologie, les fournisseurs et les modèles de trafic changent.

Pour Rogers, des preuves utiles comprendraient la preuve que les limites de redistribution des routes sont appliquées, que les changements à fortes conséquences restent à haut risque quel que soit le succès des phases antérieures, que les tests en laboratoire incluent des volumes de routes à l'échelle de la production, que la restauration automatique est testée, que le réseau de gestion survit à une panne du réseau central, que la séparation sans fil et filaire n'est pas compromise par des opérations partagées et que la solution de repli des appels d'urgence a été testée dans une condition où le réseau domestique semble partiellement

disponible.

Des résumés publics peuvent fournir une assurance sans exposer la configuration sensible.

Pour Interac et les banques, les preuves comprendraient des tests de basculement à l'échelle de l'opérateur, la preuve de la capacité des entités, des exercices de mode de secours, le comportement du contrôle de la fraude en fonctionnement dégradé, les voies de communication avec les clients et le rapprochement des règlements.

Pour les municipalités et les organismes publics, les preuves comprendraient des inventaires de diversité des opérateurs, la cartographie des processus de sécurité des personnes, des appareils alternatifs attribués à des rôles désignés, des procédures manuelles et des exercices qui suppriment l'opérateur principal sans préavis. Pour les PME, les preuves peuvent être plus simples: un chemin de paiement alternatif testé, un point d'accès sur un autre opérateur, des listes de contacts hors ligne et des enregistrements de réclamation documentés.

Le rôle du régulateur est d'empêcher que les preuves ne se dissolvent dans une assurance privée. Le CRTC n'a pas besoin de publier tous les secrets du réseau pour exiger une performance par rapport au mode de défaillance connu. Il peut exiger des rapports d'avancement, des rapports d'incident, des mesures des services d'urgence et des droits d'audit. ISED peut maintenir des arrangements sectoriels pour l'assistance mutuelle et l'itinérance d'urgence. Les acheteurs municipaux peuvent exiger une transparence sur les dépendances.

La responsabilité publique devient réelle lorsque les personnes lésées par le destin commun peuvent constater que ce destin commun a été réduit.

La typographie est l'art et la technique de disposer les caractères pour rendre le langage écrit lisible, compréhensible et visuellement attrayant. Elle implique le choix des polices de caractères, des tailles de points, des longueurs de ligne, de l'interlignage et de l'espacement des lettres.

• La typographie est née avec l'invention des caractères mobiles par Johannes Gutenberg au XVe siècle.
• Les éléments clés comprennent le choix de la police, le crénage, l'approche et l'interlignage.
• Une bonne typographie améliore la lisibilité et transmet une ambiance ou un ton dans le design.

La panne de Rogers n'a pas prouvé qu'un réseau central convergé pour les opérateurs est toujours mauvais. Elle a prouvé que la convergence entraîne des devoirs publics.

Un opérateur qui réunit de nombreux services par un seul plan de contrôle doit valider les changements en fonction des conséquences, garder les outils de récupération en dehors du domaine de défaillance, préserver l'accès aux services d'urgence, communiquer avant que la certitude ne soit complète et montrer des preuves testées qu'une seule défaillance de routage interne ne supprimera pas à nouveau les paiements, les services publics, l'accès aux services d'urgence et la connectivité ordinaire ensemble. Les noms des protocoles comptent. Les fonctions de service public comptent davantage.