Panne KDDI de 61h: preuves, gouvernance et responsabilité réseau

Résumé

KDDI indique qu’une panne de communication a commencé à 1 h 35 (JST) le 2 juillet 2022 et que l’usage du service est revenu au niveau de la semaine précédente à 15 h le 4 juillet. La période d’impact signalée était de 61 heures et 25 minutes, à l’échelle nationale. [1][5][7]
Le déclencheur initial a été beaucoup plus court. Lors de la maintenance d’un routeur de réseau de transport national au centre de réseau de Tama, un paramètre de routage incorrect a interrompu le trafic pendant environ quinze minutes. La correction de ce paramètre n’a pas mis fin à l’incident. [1][5]
Les terminaux et équipements ont renvoyé de manière répétée des demandes de réenregistrement de localisation. La base de données abonnés s’est retrouvée surchargée. Les nœuds VoLTE ont été mis sous pression, et le traitement distribué à travers le réseau de transport national a reporté la pression vers d’autres sites de VoLTE. [1][5][9]
KDDI a estimé qu’en base non consolidée environ 22,78 millions d’utilisateurs voix et au moins 7,65 millions d’utilisateurs données avaient été affectés. En incluant Okinawa Cellular, ces estimations étaient d’environ 23,16 millions d’utilisateurs voix et au moins 7,75 millions d’utilisateurs données. Il s’agit d’estimations d’impact de service, et non d’un décompte unique de personnes distinctes. [1][5][14]
La réponse de novembre à l’orientation administrative indique que la procédure utilisée était erronée, que les contrôles d’approbation et de retour arrière devaient être revus, que le contrôle automatique de congestion était insuffisant, que des états de sauvegarde altérés ont affecté certains redémarrages et que des incohérences de session abonnés ont compliqué la reprise. [8][9]
Le registre public du Parlement indique que les volumes d’appels à l’origine de KDDI vers le 119 étaient d’environ 63 % en dessous de la normale et ceux à l’origine vers le 110 d’environ 45 % en dessous de la normale pendant l’incident, alors que d’autres itinéraires ont absorbé davantage d’appels. Il s’agit de variations observées, pas de preuve que chaque tentative d’appel d’urgence a échoué. [20]
KDDI a annoncé des remboursements basés sur les conditions contractuelles et des excuses financières, et a estimé un effet financier d’environ 7,5 milliards de yens. Les comptes de remboursement, les estimations d’impact de service, les abonnements et les personnes uniques doivent rester des mesures séparées. [1][11]
La responsabilité ne se limite pas à l’identification d’un paramètre incorrect. Elle suit le contrôle pratique de la garde des procédures, de la revue d’experts, des preuves d’approbation, du moment du rollback, des tests en état anormal, de l’observabilité de la congestion, de l’intégrité des sauvegardes, de la reprise d’état des abonnés et de la preuve de restauration spécifique par service.
KDDI a publié de nombreuses mesures correctives, notamment des contrôles de procédure renforcés, des outils de congestion, des contrôles de flux activés, des changements de topologie, une automatisation de reprise, des améliorations de gouvernance qualité et de communication. La publication d’une mesure constitue une preuve d’engagement ou de mise en avant de mise en œuvre, pas une preuve indépendante que chaque classe de panne pertinente a été éliminée. [9][10][15][17]
Le service d’itinérance d’urgence ultérieur au Japon crée un chemin alternatif en cas de panne majeure. Il doit être évalué comme un contrôle de résilience borné, non comme un substitut au remède de la fragilité interne du réseau opérateur, ni comme une politique causée uniquement par cet événement. [22]

Le premier fait de responsabilité est le décalage dans le temps

La chronologie publique de KDDI contient deux horloges très différentes.

La première couvre l’interruption de routage initiale. Pendant la maintenance d’un routeur du réseau de transport national, un paramètre de routage incorrect a interrompu une partie du trafic traversant ce routeur. KDDI décrit cette interruption comme durant environ quinze minutes. La configuration a été rétablie. [1][5]

La seconde couvre l’impact sur les clients et les services. KDDI indique que la panne de communication a commencé à 1 h 35 le samedi 2 juillet 2022. KDDI indique que l’usage voix et données est revenu à un niveau comparable à la même plage horaire une semaine plus tôt à 15 h le lundi 4 juillet. Cela fait 61 heures et 25 minutes. Un contrôle supplémentaire au niveau groupé de l’usage client et de la normalité du trafic a été rapporté le 5 juillet. [1][7]

Qualifier cela d’erreur de routage de 61 heures serait faux. Le qualifier d’une panne de quinze minutes serait également faux.

L’erreur de route fut le déclencheur. La prolongation de l’incident fut un problème de reprise impliquant la charge de signalisation, les nœuds VoLTE, l’authentification des abonnés, un état incohérent, des sauvegardes endommagées et des décisions opérationnelles sur les composants à isoler et au bon moment. Cette distinction est centrale car la responsabilité du déclencheur et la responsabilité de l’amplification ne sont pas identiques.

Un opérateur peut introduire une modification incorrecte et la contenir rapidement si la modification est bornée, si les hypothèses de rollback sont réalistes et si les systèmes aval tolèrent l’échec temporaire. Il peut aussi provoquer une erreur de courte durée qui crée une condition persistante ailleurs. Les appareils réessaiment. Les files d’attente gonflent. Les bases de données reçoivent des requêtes répétées. Les états répliqués diverge. Les actions de reprise ajoutent elles-mêmes de la charge. Les composants redémarrent en état anormal. L’observabilité se dégrade car toutes les alarmes se déclenchent en même temps.

La question de la responsabilité n’est donc pas seulement: « Qui a saisi le mauvais paramètre? »

Elle est:

Qui a approuvé le travail et sur quelles preuves?
Quel modèle d’impact a fixé la limite de rollback?
Quels comportements aval avaient été testés?
Quels télémesures ont montré que le rollback n’avait pas restauré le service?
Qui avait l’autorité pour isoler des nœuds et alléger la charge?
Quel état connu comme sain était disponible pour la reprise?
Quels tests de service ont défini la restauration?

Une enquête orientée blâme tend à réduire cette chaîne au dernier opérateur proche de la ligne de commande. Une enquête orientée contrôle examine les institutions qui ont conçu le travail, approuvé le risque, modélisé le comportement en état anormal du réseau et décidé quand les clients pouvaient être informés de la restauration.

Le propre rapport de réponse réglementaire de KDDI va dans cette direction. Il décrit la gestion des documents de procédure, les vérifications d’experts, les preuves d’approbation, les critères de rollback, la conception de la congestion, les procédures de reprise et la gouvernance qualité. [9] Le récit de l’opérateur soutient donc une leçon plus large: un changement de réseau n’est pas la frappe d’un seul technicien. C’est un objet de contrôle organisationnel.

Comment un changement de route devient une cascade de signalisation

Le service mobile repose sur une grande quantité de signalisation invisible pour l’utilisateur final.

Un téléphone doit prouver qu’il est attaché au réseau et indiquer la zone dans laquelle il peut être joint. Un service voix en VoLTE exige que le réseau connaisse la zone d’enregistrement de l’abonné et les fonctions de contrôle capables d’établir un appel entrant ou sortant. Le service de données dépend également de l’authentification de l’abonné et de l’état de session. Ces opérations impliquent des messages entre terminaux, fonctions du réseau mobile, nœuds VoLTE et bases de données abonnés.

En conditions normales, cette signalisation ne représente qu’une petite fraction de la valeur experientielle d’un client. Le service visible est un appel, un message ou une session de données. Le prérequis caché est une séquence d’échanges réussis de localisation, d’authentification, de politique et de routage.

Le rapport technique de KDDI indique que le mauvais paramètre de route a provoqué l’abandon de demandes d’enregistrement de localisation. Les terminaux et équipements ont alors renvoyé ces demandes. Les retransmissions ont augmenté rapidement. Les nœuds VoLTE de Tama ont été congestionnés, et un traitement distribué via le réseau de transport national a propagé la pression vers des nœuds VoLTE d’autres sites. [1][5]

La base de données abonnés est ensuite entrée dans la cascade. KDDI explique que les nœuds VoLTE et équipements réseau mobile interrogent la base pour l’authentification. La signalisation répétée a donc produit du trafic de base de données répété. Le système n’a pas simplement eu trop d’appels clients. Il a eu trop de requêtes de contrôle générées par un enregistrement incomplet et des mécanismes de retry.

Cette distinction importe pour l’ingénierie comme pour la responsabilité.

La planification de capacité classique peut se demander combien d’appels simultanés, de sessions données ou d’abonnés un nœud peut absorber. La planification d’état anormal s’interroge sur le comportement du système quand les messages échouent en milieu de transaction et sont rejoués par des millions de terminaux. La seconde peut produire une forme de charge différente du pic de demande client.

Un mécanisme de retry est en général une fonction de fiabilité. Il protège les utilisateurs contre un paquet perdu ou une interruption temporaire. À l’échelle nationale, des retries synchronisés ou insuffisamment bornés peuvent devenir un multiplicateur de charge. Une demande échoue; le terminal réessaie; la fonction réseau réessaie; la base de données voit une hausse de trafic d’authentification; des réponses lentes maintiennent plus de transactions ouvertes; la file croissante génère davantage de timeouts puis de nouveaux retries.

L’incident traverse donc plusieurs surfaces de contrôle:

Contrôle du routage:s’assurer que le trafic atteint le chemin prévu.
Contrôle de retry:la réaction des appareils et systèmes quand les réponses attendues n’arrivent pas.
Contrôle d’admission:qu’un nœud saturé rejette, retarde ou modèle le nouveau travail en sécurité.
Protection de base de données:capacité de l’authentification et des systèmes d’état abonnés à limiter la demande répétée.
Contrôle de distribution:le partage de charge contient-il la panne ou la propage-t-il?
Contrôle de reprise:capacité des équipes à identifier et isoler les sources de signalisation excessive.

KDDI indique que des contrôles de débit ont été appliqués pour réduire la congestion de base de données, mais la signalisation excessive a continué. KDDI a finalement isolé six des dix-huit nœuds VoLTE associés aux requêtes anormales persistantes. [1][5]

Cette décision illustre un compromis de reprise difficile. Retirer de la capacité peut réduire une charge nuisible si des nœuds particuliers la génèrent, mais peut aussi laisser moins de capacité pour un service légitime. La décision exige une télémétrie fiable et une autorité claire. Les équipes doivent savoir si un nœud est victime de congestion aval, source de requêtes répétées, ou les deux.

Le dossier public ne révèle pas chaque chemin de paquets, minuteur ou seuil. Il établit néanmoins que le comportement en état anormal du système a été déterminant. L’incident relève d’une responsabilité d’infrastructure réseau car le dommage est né de l’interaction entre routage de transport, contrôle de signalisation, fonctions voix et état des abonnés.

Pourquoi ramener la route n’était pas la reprise

Le rollback est souvent traité comme la réponse la plus sûre à un changement défectueux. L’incident KDDI montre pourquoi cette hypothèse doit être bornée.

Rétablir une configuration peut restaurer la condition existante avant la modification. Cela ne peut pas effacer automatiquement l’état créé pendant la période de changement actif.

Pendant l’interruption, les appareils et systèmes ont rencontré des enregistrements incomplets et généré des retries. Les files et la charge de base de données ont évolué. Certains nœuds sont entrés en congestion. Les informations d’état de session abonnés sont devenues incohérentes. La réponse ultérieure de KDDI dit que certains nœuds VoLTE ont chargé des fichiers de sauvegarde endommagés et redémarré en état anormal, ce qui a entraîné d’autres retries d’enregistrement de localisation. [9]

Le réseau après rollback n’était donc pas le même que le réseau avant la modification.

Ceci est une propriété générale des infrastructures à état. Une entrée de route sans état peut être restaurée vite, mais les services qui dépendent de cette route peuvent conserver:

des transactions en suspens;
des temporisations de retry;
des sessions obsolètes;
des répliques incohérentes;
un état d’authentification partiel;
des files corrompues;
des échecs mis en cache;
des processus surchargés;
des actions de reprise déjà en cours.

Les plans de changement doivent distinguer rollback de configuration et rollback de service.

Un test de rollback de configuration vérifie si les anciens octets ou commandes ont été restaurés. Un test de rollback de service vérifie si les utilisateurs peuvent à nouveau s’enregistrer, s’authentifier, appeler et ouvrir des sessions données sans erreur ni charge anormales. Un test de rollback d’état vérifie si bases de données, files, caches et sauvegardes nœud sont suffisamment cohérents pour soutenir ce service.

Ces tests peuvent fournir des réponses différentes au même instant.

Les mesures publiées par KDDI comprennent la révision du délai autorisé avant rollback pour prendre en compte la congestion des services aval. [9] C’est un changement de contrôle significatif. Il reconnaît qu’attendre trop longtemps peut permettre à une condition réseau au départ réversible de devenir une crise d’état.

Pourtant, un seuil de rollback plus précoce n’est pas suffisant.

L’opérateur doit aussi disposer d’un modèle de ce qui peut s’accumuler pendant l’intervalle autorisé. Combien de retries de réenregistrement peuvent être générés? Quelle base atteint la saturation en premier? Quelle partie du réseau peut être isolée? Quel service reste disponible durant l’isolation? Que se passe-t-il quand la route revient, mais que des millions de terminaux réessaimenent simultanément?

Le plan de reprise devrait définir des déclencheurs fondés sur la santé du service, pas sur l’état du routeur uniquement:

perte brutale du succès d’enregistrement;
croissance des requêtes incomplètes;
profondeur de file des nœuds VoLTE;
temps de réponse de la base d’état abonnés;
taux de rejet d’authentification;
volume de retries par région ou nœud;
établissement et terminaison d’appel;
établissement de session données;
succès des appels d’urgence.

Le rollback reste essentiel. La leçon est que son périmètre doit correspondre au système.

Pour un réseau mobile national étatif, « la route d’origine est revenue » est un fait technique intermédiaire. Ce n’est pas un certificat de restauration.

Un document de procédure fait partie du plan de contrôle de production

Le rapport de novembre de KDDI dit qu’une procédure de travail incorrecte a été utilisée. Il décrit des révisions de la gestion de procédures, de la revue d’experts et de l’approbation du travail. [9]

Cela peut paraître administratif. C’est en réalité concret opérationnellement.

La commande entrée pendant la maintenance est produite par une chaîne:

un résultat réseau attendu;
une demande de conception ou de modification;
un modèle de procédure;
des instructions spécifiques à l’équipement;
une revue par pair ou d’expert;
l’approbation;
la planification;
l’exécution;
la vérification;
le rollback.

Si une mauvaise procédure peut être sélectionnée, le système de production est exposé avant même toute connexion au routeur. La garde documentaire fait donc partie du contrôle de production.

Un système de procédure fiable doit répondre à:

Quel modèle était la référence?
Quel modèle réseau et quelle version logicielle a-t-il supposé?
Qui a créé et relu les instructions finales?
Qu’est-ce qui a changé par rapport à la version approuvée précédente?
Pour quel appareil ou quelle topologie la procédure était-elle prévue?
Quelles preuves ont montré que les résultats simulés ou de laboratoire correspondaient à la production?
Quel niveau de risque et d’approbation s’appliquait?
Quelles vérifications devaient réussir avant l’étape suivante?
Comment la procédure pouvait-elle être stoppée ou rollbackée?

Le mot clé est preuve.

Une seconde paire d’yeux peut devenir formelle si le réviseur ne voit qu’un document final sans état cible, topologie, diff ou sorties attendues. L’approbation devient formelle si l’approbateur coche une case sans voir les conséquences d’une défaillance.

KDDI dit avoir changé le processus pour que du personnel qualifié vérifie les procédures, conserve les preuves de cette vérification et permette aux approbateurs de confirmer ces preuves. KDDI a aussi décrit le travail sur un système de gestion des procédures. [9]

Ces mesures doivent être évaluées par ce qu’elles empêchent.

Un système de gestion devrait rendre difficile:

l’utilisation d’une procédure pour la mauvaise classe d’équipement;
l’exécution d’une version obsolète;
l’omission d’une revue experte obligatoire;
l’approbation d’une séquence de commande non testée;
la modification des instructions après approbation sans invalider l’approbation;
la poursuite lorsque les sorties attendues diffèrent;
la perte de la trace de ce qui a réellement été exécuté.

Les travaux à fort impact exigent aussi une couche machine-vérifiable quand cela est praticable. Les changements de route prévus peuvent être comparés à la topologie et aux politiques. Les diff de configuration peuvent être passés en lint. Des tests en laboratoire ou par jumeau numérique peuvent exercer les chemins attendus et anormaux. Des sondes pré- et post-changement peuvent être automatisées. Des limites peuvent empêcher des commandes de toucher plus de nœuds ou de préfixes qu’autorisé.

L’automatisation ne supprime pas la responsabilité humaine. Elle change la preuve disponible pour les décideurs.

L’opérateur reste responsable de définir ce que le contrôle automatisé doit prouver, comment les exceptions sont autorisées et que faire quand l’état observé diffère du plan. Un système confirmant seulement la syntaxe peut encore approuver une route dangereuse au niveau sémantique.

L’événement KDDI rend visible la gouvernance de procédure comme une gouvernance d’infrastructure. Le document n’était pas un papier adjacent au réseau. Il était la description exécutable de l’autorité de production.

La classification des risques doit suivre le rayon d’impact, pas la familiarité de maintenance

Un travail de routine peut avoir un risque exceptionnel.

Une tâche peut être familière à une équipe expérimentée, utiliser une commande connue et se dérouler dans une fenêtre de maintenance planifiée. Aucune de ces informations ne fixe l’impact client potentiel.

KDDI indique avoir révisé l’évaluation des risques de travail et les niveaux d’approbation selon l’ampleur du dommage si une tâche échouait. KDDI a également élargi les périodes où certains travaux sont supprimés autour d’événements importants. [9]

Cela marque un changement important de la seule probabilité vers la conséquence.

La classification des risques pour un routeur de transport national devrait considérer:

le nombre et le type de services qui le traversent;
si l’échec peut affecter l’enregistrement ou l’authentification;
comment les retries se propagent;
si le partage de charge diffuse l’échec;
l’indépendance des chemins redondants;
les dépendances des appels d’urgence;
les dépendances MVNO et entreprises;
la capacité d’observer et d’isoler le changement;
le délai avant qu’un état devienne difficile à récupérer;
la capacité testée des systèmes de secours.

Un changement à faible probabilité d’erreur peut encore exiger le niveau le plus élevé d’approbation et de test si son échec peut générer un dommage national en mode commun.

La classification doit aussi intégrer le risque temporel. Une fenêtre de maintenance choisie pour un trafic de routine faible n’optimise pas nécessairement le risque de signalisation. De nombreux terminaux peuvent réagir à une panne simultanément, indépendamment de l’activité d’appel des utilisateurs. Une heure calme en usage client n’est pas forcément une heure calme pour les tempêtes d’enregistrement.

De même, un calendrier de suppression de travaux n’est qu’un contrôle. Les grands événements publics, la météo sévère ou les élections peuvent accroître les conséquences d’une panne, alors que les nuits ordinaires contiennent encore des appels d’urgence, de la logistique, des objets connectés, des opérations de transport et des soins essentiels.

Le contrôle le plus robuste est un budget explicite de rayon d’impact.

Avant qu’un travail commence, l’opérateur devrait déclarer:

le nombre maximum de nœuds affectés;
la géographie maximale affectée;
la durée maximum d’interruption de service;
le taux maximum d’échec d’enregistrement;
le délai maximum de rollback;
le temps maximum de reprise aval;
les conditions imposant une isolation immédiate;
la capacité de repli disponible pendant le travail.

Les métriques observées devraient être comparées à ce budget en temps réel. Si le changement dépasse une limite, la poursuite doit exiger une nouvelle autorisation plutôt qu’une hypothèse que l’approbation initiale demeure applicable.

Cette approche transforme la « maintenance de routine » en expérience bornée. Elle reconnaît que le public ne perçoit pas la familiarité de la tâche, il perçoit si le réseau fonctionne.

Le contrôle de congestion doit être testé dans l’état créé par la panne

Le rapport KDDI dit que le contrôle de congestion automatique ne fonctionnait pas comme requis dans la condition anormale. KDDI a ensuite activé ou révisé des fonctions de contrôle de flux, développé des outils de détection plus détaillés et modifié la conception du trafic VoLTE pertinent ainsi que de l’accueil associé. [9][10]

Le contrôle de congestion ne peut être évalué seulement en régime de charge ordinaire.

En charge normale, beaucoup de requêtes valides arrivent avec un calendrier et une distribution attendus. Un incident peut produire des requêtes répétées, incomplètes ou corrélées. Il peut faire passer la moitié d’une transaction sur un chemin et perdre la réponse. Il peut concentrer la charge sur des composants qu’un équilibrage ordinaire répartit bien. Il peut faire réessayer plusieurs fonctions réseau contre la même base abonnés.

Les tests doivent donc inclure la sémantique de panne:

perte partielle de route;
accessibilité asymétrique;
réponses retardées;
requêtes dupliquées;
retries de terminaux synchronisés;
panne d’un chemin sur deux;
latence et incohérence de base de données;
redémarrage de nœud en forte charge;
surveillance perdue;
contention des outils de reprise.

L’objectif est une dégradation gracieuse.

Quand un réseau ne peut pas servir chaque demande, il doit protéger les fonctions de contrôle essentielles et préserver suffisamment de capacité pour reprendre la situation. Il peut être nécessaire de rejeter du travail tôt, appliquer un backoff, séparer des régions, prioriser le service d’urgence ou isoler un domaine défaillant.

KDDI a signalé un passage d’une architecture VoLTE pertinente d’un modèle full-mesh national à une conception séparée est-ouest, et l’activation d’une fonction de régulation de flux pour réduire le risque de propagation de la congestion. [9]

Le principe est le confinement des fautes.

La distribution peut améliorer la résilience quand elle crée une capacité indépendante. Elle peut détériorer la résilience quand chaque nœud participe à la même défaillance. Un full mesh offre de nombreux chemins normaux tout en permettant à une signalisation anormale de se propager au niveau national. La séparation régionale peut sacrifier de la flexibilité au profit d’un domaine de défaillance commun plus petit.

Le rapport public ne prouve pas la topologie complète actuelle ni le résultat de chaque test. Il identifie pourtant une question de remédiation mesurable:

Si la même panne de route partielle survient aujourd’hui, combien de nœuds, régions et abonnés peuvent entrer en congestion avant que les limites de contrôle ne s’activent?

Une réponse responsable inclurait les conditions de test, les seuils observés, le comportement de rejet, la performance des services d’urgence et le délai maximum d’isolation du domaine touché.

Sans ces éléments, « nous avons changé la topologie » reste une déclaration de conception. Avec eux, le changement devient un contrôle de résilience.

L’intégrité des sauvegardes et l’état des abonnés appartiennent à la planification de panne

Les sauvegardes sont souvent discutées comme un contrôle de cybersécurité ou de perte de données. La réponse de KDDI montre leur rôle dans la disponibilité réseau.

Le rapport de novembre dit que certains nœuds VoLTE ont lu des fichiers de sauvegarde endommagés et sont redémarrés en état anormal. Il décrit aussi des incohérences d’état de session de la base abonnés. [9]

Cela place la provenance de l’état de reprise au centre.

Un nœud réseau ne se remet pas simplement parce qu’il redémarre. Il se remet quand l’état logiciel, la configuration et l’état opérationnel chargés au redémarrage sont connus comme sains et compatibles avec le reste du système.

Un processus de reprise digne de confiance devrait établir:

quand la sauvegarde a été créée;
quelles versions logiciel et configuration elle contient;
si elle a été produite en période de congestion ou de panne partielle;
si son intégrité a été vérifiée;
si elle est cohérente avec les nœuds pairs et l’état abonnés;
qui a autorisé son usage;
quels tests de service ont réussi après charge.

Les sauvegardes créées automatiquement pendant une panne peuvent conserver la panne.

Si un nœud enregistre un état anormal et que cet état devient l’image de récupération suivante, le redémarrage peut reproduire la défaillance. Si les bases d’abonnés répliquées divergent, la restauration d’une copie peut invalider des sessions ou provoquer davantage d’enregistrements. Si les intervenants ne peuvent pas déterminer quel état est authoritative, chaque action corrective ajoute un risque.

La réponse n’est pas d’éliminer l’automatisation des sauvegardes. Elle est de distinguer des checkpoints opérationnels des points de reprise indépendamment validés.

Les fonctions réseau critiques devraient disposer de:

une configuration connue saine immuable ou en lecture seule;
des manifestes logiciel et configuration signés;
des vérifications de cohérence entre états répliqués;
une quarantaine pour les sauvegardes créées en conditions anormales;
des procédures de reset testées;
un chemin de management propre;
un redémarrage échelonné avec sondes de service;
un rollback explicite depuis l’action de reprise elle-même.

KDDI indique avoir révisé les procédures de remise à zéro de nœud et développé des outils pour détecter et soulager la congestion sur plusieurs nœuds VoLTE. [9] Ces mesures concernent la vitesse de reprise. Le devoir de preuve est de montrer qu’elles protègent aussi l’intégrité d’état.

Pour un opérateur mobile, la configuration, l’état d’abonné et l’autorité de reprise sont tous des actifs de disponibilité. Une sauvegarde qui ne peut pas être fiable sous stress n’est pas un stock de résilience.

Les chiffres d’impact doivent être interprétés de manière disciplinée

Les incidents importants produisent plusieurs grands chiffres. Ils répondent à des questions différentes.

KDDI a estimé environ 22,78 millions d’utilisateurs voix affectés et au moins 7,65 millions d’utilisateurs données en base non consolidée. Avec Okinawa Cellular incluse, les estimations étaient d’environ 23,16 millions d’utilisateurs voix et au moins 7,75 millions d’utilisateurs données. KDDI explique que les estimations voix et données utilisaient des méthodes distinctes, basées sur des différences d’appels ou d’enregistrement par rapport à une période de comparaison. [1][5][14]

Ces chiffres ne doivent pas être additionnés pour revendiquer plus de trente millions de personnes uniques.

Une même personne peut utiliser voix et données. Un compte peut contenir plusieurs lignes. Une estimation d’impact de données basée sur des différences d’enregistrement n’est pas identique à un décompte de clients ayant effectivement tenté et échoué une session. « Affecté » peut couvrir une dégradation, une intermittence ou une indisponibilité plutôt qu’un état uniforme.

Les chiffres de remboursement répondent à une autre question.

KDDI a annoncé des remboursements basés sur les conditions contractuelles pour 2,71 millions de clients KDDI et 70 000 clients Okinawa Cellular qui remplissaient les conditions de service spécifiées. KDDI a également annoncé un remboursement d’excuse de 200 yens pour 35,89 millions de clients KDDI et 660 000 clients Okinawa Cellular dans des classes de service couvertes. [1]

Ces populations reflètent des décisions contractuelles et politiques. Elles ne sont pas une mesure technique d’impact simultané.

Les ~7,5 milliards de yens d’effet financier divulgués par KDDI constituent une troisième mesure. [11] Elle couvre les conséquences commerciales attendues de l’opérateur selon ses hypothèses comptables et de remboursement. Elle ne mesure pas chaque transaction perdue, chaque appel d’urgence manqué, chaque livraison retardée, chaque appareil connecté perturbé ou le coût en temps client.

Un compte d’impact robuste préserve les quatre dimensions:

Impact de service:quelles fonctions étaient indisponibles ou dégradées.
Usage observé:appels, enregistrements et transactions comparés à la normale.
Remède client:quels comptes ont droit à quel type de remboursement.
Conséquence économique:coût direct de l’opérateur et perte sociale plus large.

Gonfler un chiffre affaiblit l’analyse. La conclusion plus solide n’a pas besoin de gonflement.

L’incident fut national, prolongé et conséquent parce qu’une défaillance de contrôle central a affecté des services mobiles critiques et les systèmes qui en dépendent. Une mesure précise rend cette conclusion plus crédible, pas moins dramatique.

Les appels d’urgence font de la disponibilité une mission publique

Les pannes mobiles deviennent des événements de sécurité publique quand les personnes ne peuvent plus joindre régulièrement les services d’urgence.

Le registre public du Parlement apporte une preuve concrète. Il indique que les volumes d’appels au 119 provenant de KDDI étaient d’environ 63 % sous la normale pendant l’incident. Les appels de mobiles non-KDDI et d’autres itinéraires ont augmenté. Il indique que les volumes d’appels au 110 de KDDI étaient d’environ 45 % sous la normale, tandis que les appels des autres opérateurs et des téléphones publics augmentaient. [20]

Ces chiffres exigent un langage prudent.

Ils montrent un grand changement des volumes observés par itinéraire d’origine. Ils ne révèlent pas chaque appel tenté, ni l’intention de chaque appelant, ni si un appareil a affiché une erreur, ni si chaque appel alternatif s’est connecté, ni le résultat de chaque urgence.

Ils démontrent néanmoins une dépendance.

Lorsqu’un réseau mobile national échoue, la demande d’urgence ne disparaît pas. Certains empruntent un autre téléphone, utilisent le fixe ou un téléphone public. D’autres n’ont pas d’alternative. La charge accrue sur les réseaux et centres de contact survivants peut devenir un risque secondaire.

La continuité des appels d’urgence doit donc reposer sur des preuves au-delà de la disponibilité voix classique:

mise en place d’appel vers le 110, 118 et 119;
gestion de la localisation de l’appelant;
capacité de rappel;
priorisation et traitement de la congestion;
accès depuis les MVNO;
accessibilité pour les personnes en situation de handicap;
performance géographique;
instructions utilisateur lorsque le réseau primaire échoue;
charge transférée vers des réseaux alternatifs.

KDDI rapporte avoir renforcé la communication avec les organisations d’appels d’urgence et participé à des travaux sur des communications alternatives et l’itinérance inter-opérateurs. [9][10]

Ces contrôles répondent à des problèmes différents.

Une meilleure notification aide les autorités et les utilisateurs à comprendre la panne. Des voies alternatives aident les appels à sortir du réseau défaillant. Aucune ne retire à l’opérateur la responsabilité de maintenir sa propre chaîne d’urgence résiliente.

Le standard de responsabilité publique doit être proportionné à la conséquence. Un opérateur peut annoncer la restauration commerciale de la voix alors que la localisation d’urgence, le rappel ou la congestion restent altérés. La matrice de service doit donc isoler les fonctions d’urgence plutôt que traiter cela comme une seule ligne de trafic voix global.

Le contrôle pratique était partagé, mais pas de manière égale

Les incidents de réseau impliquent de nombreux acteurs. La responsabilité doit suivre ce que chaque acteur pouvait effectivement prévenir, détecter, limiter, divulguer ou réparer.

KDDI

KDDI a contrôlé le processus de maintenance, la garde des procédures, l’approbation du travail, la configuration de route, les critères de rollback, la surveillance réseau, l’exploitation des nœuds VoLTE, la reprise de la base d’abonnés, la mesure de service, la communication client et les preuves fournies au régulateur.

Cela ne signifie pas que KDDI contrôlait chaque comportement produit ou pouvait empêcher toute panne. Cela signifie que l’opérateur détenait l’autorité la plus large sur l’environnement de production et la reprise.

Fournisseurs d’équipements et de logiciels

Les fournisseurs ont pu contrôler le logiciel de nœud, le comportement base de données, les caractéristiques de retry, la documentation en haute charge, les formats de sauvegarde et le support technique. La réponse de KDDI dit qu’il a obtenu des informations des fournisseurs et testé le comportement en haute charge. [9]

Le dossier gelé ne divulgue pas la carte complète des fournisseurs, des contrats ni les défauts constatés. Il serait irresponsable d’attribuer la faute à un fournisseur nommé. Exigence de responsabilité: KDDI doit savoir de quel fournisseur il lui faut des preuves et préserver l’autorité de protéger le service quand un produit se comporte de manière inattendue.

Ministère et instances de revue

Le ministère des Affaires intérieures et des Communications a reçu le rapport d’accident grave, émis des instructions administratives et utilisé des structures de revue pour examiner l’incident ainsi que les problèmes plus larges d’accidents télécom. [3][8][9][21]

L’autorité réglementaire inclut l’exigence de preuves, la fixation d’attentes de reporting et l’élaboration de règles de résilience sectorielle. Elle n’opère pas les routeurs KDDI ni ne reprend l’état des abonnés.

Services d’urgence, MVNO et clients entreprises

Ces acteurs détiennent des preuves de dépendance et d’impact. Un MVNO peut observer l’incapacité de ses utilisateurs à s’attacher ou à appeler. Une entreprise peut signaler des dispositifs connectés ou des fonctions logistiques en panne. Les organisations d’urgence peuvent mesurer les variations d’appels et de localisation.

Ils ne contrôlent pas le cœur KDDI défaillant. Leur plan de continuité peut réduire les dommages, mais ne transfère pas la responsabilité primaire d’infrastructure.

Clients

Les utilisateurs peuvent conserver des méthodes de contact alternatives quand c’est possible, mais beaucoup ne peuvent pas économiquement dupliquer un service mobile national. Les téléphones publics, le Wi-Fi, un second opérateur ou un fixe peuvent aider. Ce sont des atténuations bornées, pas une réponse équitable à une panne centrale systémique.

Cette répartition évite deux erreurs.

La première consiste à blâmer la personne ou le composant le plus proche d’un système façonné par de nombreuses décisions de contrôle. La seconde consiste à disperser la responsabilité si largement qu’aucune institution ne reste comptable.

KDDI a assumé le fardeau de responsabilité le plus fort pour montrer pourquoi un problème de routage court est devenu un incident national prolongé et comment cette chaîne est aujourd’hui bornée.

La remédiation doit être testée comme un paquet de preuves reliées

KDDI a publié un programme correctif substantiel. Le rapport de novembre et les divulgations ultérieures décrivent:

un renforcement de la gestion des procédures;
une revue d’experts avec preuves conservées;
des méthodes d’approbation révisées;
des critères plus clairs de normalité de service;
des délais de rollback prenant en compte la congestion;
une classification du risque de travail basée sur l’impact;
des règles d’essai de travaux plus étendues;
des outils détaillés de détection de congestion;
des changements de chemins de trafic et de topologie;
une activation de régulation de flux;
une inspection d’autres systèmes mobiles pour des modes de défaillance similaires;
des procédures de reset et de reprise révisées;
des outils multi-nœuds de décharge de congestion;
des changements de gouvernance qualité;
des exercices à grande échelle;
une communication publique et avec les parties prenantes améliorée. [9][10][15][17]

La liste est utile. Elle ne doit pas être confondue avec une preuve par énumération.

Les contrôles interagissent. Un processus de procédure plus fort peut empêcher la même erreur de route, mais pas une commande sémantiquement différente. Le contrôle de flux peut protéger les nœuds VoLTE mais pas un autre système au comportement de retry similaire. La séparation régionale peut réduire la propagation tout en laissant un partage commun de base de données ou d’identité de gestion. Un outil de reprise peut agir plus vite mais charger le même état non fiable.

Le paquet de remédiation doit relier chaque panne observée à un contrôle et à un test:

Échec observé	Contrôle correctif	Preuve requise
Mauvaise procédure sélectionnée	Gestion versionnée de procédure et revue d’experts	L’usage d’une procédure obsolète ou destinée à un mauvais équipement est bloqué
Risque sous-estimé	Classification basée sur l’impact	Le travail national à mode commun reçoit l’approbation et la profondeur de test requis
Rollback trop tardif pour l’état aval	Seuil de rollback conscient du service	Le test montre que le rollback intervient avant que les limites de retry et de base de données ne soient dépassées
La panne de route partielle a provoqué une signalisation répétée	Contrôles de retry et de flux en mode anormal	Le test de charge montre des retries bornés et des fonctions essentielles protégées
La congestion a diffusé au niveau national	Domaines de panne régionaux et changement de topologie	L’injection de panne reste dans la région définie ou le budget de capacité
Les nœuds nuisibles étaient difficiles à identifier	Télémétrie par nœud d’exigence de requêtes incomplètes	La détection identifie la source dans un délai défini
La reprise a chargé un état endommagé	Points de reprise validés et procédures de remise à zéro	Le redémarrage échelonné rejette les états corrompus et préserve la cohérence
Sessions abonnés divergentes	Contrôles de cohérence et réconciliation de base de données	Le test de reprise prouve un état faisant autorité et un réenregistrement borné
Les informations publiques étaient insuffisantes	Modèles de communication d’incident et équipe dédiée	Un exercice produit des informations de service, d’urgence et de reprise en temps utile
La communication de secours était limitée	Réseaux inter-opérateurs et autres chemins de secours	Le test d’activation démontre la voix, données, SMS et fonctions d’urgence dans un périmètre borné

Les preuves doivent être actuelles et liées au déploiement.

Une politique approuvée après incident ne prouve pas que le réseau de production l’implémente. Un test de formation sur une version logicielle ne prouve pas une topologie ultérieure. Un registre de présence en formation ne prouve pas que les équipes peuvent isoler des nœuds sous télémétrie ambiguë.

Les preuves utiles comprennent:

versions signées des procédures;
enregistrements d’approbation;
empreintes de configuration et topologie;
manifestes de test;
résultats d’injection de panne;
sondes par service;
mesures de temps de reprise;
registre d’exceptions;
revue indépendante;
décisions de risque résiduel.

Le dilemme n’est pas entre secret absolu et divulgation complète. KDDI peut conserver la confidentialité des syntaxes de commande, identifiants et topologie sensible tout en publiant la classe de défaillance, l’objectif de contrôle, la portée du test et le résultat d’assurance.

Pour un opérateur national, une réparation durable devrait être lisible par les régulateurs, les directions, les équipes techniques et les clients critiques. Elle doit rester compréhensible après des changements d’effectifs et de fournisseurs.

« Restauré » nécessite une matrice propre par service

KDDI a utilisé les niveaux de trafic comparés à la même période une semaine auparavant comme partie de sa confirmation de reprise. [1][7]

Cela est utile, mais incomplet.

Le trafic agrégé peut revenir alors que des transactions importantes restent altérées. Le volume de données peut sembler normal parce que les utilisateurs actifs génèrent plus de trafic, même si certains terminaux ne peuvent s’enregistrer. Les minutes voix peuvent se normaliser tandis que l’établissement d’appel échoue dans une région ou que le rappel d’urgence reste altéré.

Une matrice de restauration nationale devrait inclure:

Domaine	Preuve minimale
Enregistrement appareil	succès d’attachement et de mise à jour de localisation par région, appareil et génération réseau
Voix VoLTE	établissement d’appel, complétion, atteignabilité entrante, handover et taux d’erreur
Appels d’urgence	setup 110, 118, 119; localisation; rappel; traitement de congestion
Données mobile	authentification, création de session, DNS et joignabilité public/privé
SMS	soumission, ancienneté des files, livraison et motif d’échec
Base de données abonnés	latence, cohérence, réconciliation de session et santé des réplicats
Service MVNO	attachement, voix, données, SMS et mesures de voies de support
IoT et entreprises	enregistrement représentatif des dispositifs, télémétrie et joignabilité réseaux privés
Interconnexion et itinérance	transactions appelées et de données entrantes/sortantes avec partenaires
Communication client	page de statut, canaux de support et instructions alternatives accessibles

Chaque domaine devrait avoir des seuils fonctionnels et de capacité.

La reprise fonctionnelle signifie qu’une transaction représentative réussit. La reprise de capacité signifie que le service gère la charge attendue sans files instables ni dégradation répétée. La stabilité signifie que le résultat persiste.

La remédiation signifie que la classe de panne initiale a été traitée et rejouée.

Ces phases ne doivent pas partager un unique horodatage.

L’observation indépendante est aussi importante. Si le système de monitoring dépend de la même base abonnés ou du même plan de management en cours de reprise, il peut n’afficher qu’une vue partielle. Des sondes externes, mesures des MVNO, opérateurs interconnectés, organisations d’urgence et transactions utilisateurs échantillonnées fournissent des preuves indépendantes.

La description actuelle de la qualité réseau de KDDI indique que la condition nationale est supervisée de centres d’exploitation et que des normes de capacité, redondance et facilités distribuées sont appliquées. [19] La question de responsabilité est de savoir comment ces contrôles généraux ont mesuré cette classe de défaillance spécifique après remédiation.

L’objectif n’est pas de refuser toute reprise tant que chaque client n’a pas confirmé le service. Il s’agit de définir une frontière crédible statistiquement et opérationnellement.

Quand le public entend « le réseau est de retour », cette déclaration devrait signifier plus qu’une hausse du trafic. Elle doit signifier que les fonctions critiques ont passé des tests nommés, que la capacité est stable et que les exceptions résiduelles sont visibles.

L’itinérance d’urgence est un secours, pas une absolution

En mars 2026, les principaux opérateurs mobiles japonais ont annoncé une Itinérance d’urgence nationale pour les catastrophes majeures et les pannes. Le service comprend un mode complet avec voix, données limitées et SMS, et un mode appels d’urgence uniquement. [22]

Cela constitue une preuve de continuité de secours à portée plus large.

Il crée un chemin alternatif quand le réseau d’un opérateur n’est pas disponible. Cela peut réduire le risque qu’un client avec un seul abonnement soit complètement isolé. Cela reconnaît aussi un fait public exposé par plusieurs incidents: la concurrence au détail ne donne pas automatiquement une redondance d’accès à chaque utilisateur.

Le service a des limites.

Un opérateur alternatif doit avoir couverture et capacité. Les appareils doivent supporter le comportement requis. Le service peut offrir une vitesse de données moindre. Le mode d’urgence seule a des fonctions restreintes et ne permet pas de rappel via la voie sortante sortante décrite. L’activation exige coordination et information publique. Une catastrophe peut affecter plusieurs réseaux simultanément.

L’itinérance d’urgence ne répare pas non plus le réseau défaillant.

Elle ne doit pas atténuer:

les contrôles de changement internes;
la protection contre la congestion;
la reprise d’état des abonnés;
la conception des appels d’urgence;
la preuve de restauration;
la responsabilité de l’opérateur pour la panne primaire.

Le dossier public ne démontre pas que l’événement KDDI de 2022 a seul causé le service lancé en 2026. Le registre du Parlement montre que l’itinérance inter-opérateurs a été discutée après de grands incidents télécoms, et que son lancement ultérieur reflète un travail multi-annuel, multi-opérateurs et gouvernemental. [20][22]

L’approche responsable traite l’itinérance comme une couche parmi d’autres:

empêcher les changements non sûrs;
contenir la panne dans le réseau principal;
récupérer un état de confiance;
préserver le service prioritaire;
offrir un itinéraire alternatif indépendant;
communiquer clairement les limites.

Le secours est le plus utile quand il est testé sous les mêmes conditions de congestion et de demande publique qui en imposent l’usage.

Ce que le dossier public figé ne peut pas prouver

Les sources soutiennent une analyse de contrôle détaillée. Elles ne soutiennent pas une autopsie privée complète.

Elles ne peuvent pas prouver:

les commandes de route exactes;
chaque préfixe affecté ou chemin de paquets;
l’identité ou le processus de décision de l’opérateur ayant exécuté le travail;
la chaîne complète d’approbation;
le fournisseur et la version de chaque nœud ou base de données concernés;
si un défaut fournisseur a contribué;
tous les temporisateurs de retry et seuils de congestion;
la disponibilité de service par région;
tous les appels d’urgence tentés;
l’impact total MVNO, roaming, IoT et entreprise;
la perte client exacte;
la configuration de production actuelle;
l’efficacité indépendante de chaque remédiation annoncée.

Ces lacunes ne peuvent pas être comblées de manière responsable par des spéculations.

Les questions non résolues peuvent être testées avec des preuves telles que:

tickets de changement versionnés et différences de procédures;
simulation de topologie et de politique de route;
télémétrie de signalisation par nœud;
journaux de cohérence de base de données;
empreintes de sauvegarde et résultats de validation;
dossiers de support fournisseur;
sondes par service;
rapports d’injection de panne;
assurance de suivi réglementaire.

L’incertitude n’est pas un motif d’abandon de la responsabilité. Elle définit la demande de preuve.

Un test réutilisable de responsabilité pour les changements de réseau mobile

L’événement KDDI soutient un standard opérationnel pour les travaux télécom à fort impact.

1. Lier l’intention au changement exécutable.
L’objectif approuvé, le modèle de topologie, la procédure, les cibles d’équipement et le diff de configuration exact doivent former un objet versionné unique.

2. Rendre la revue experte evidentiale.
Le réviseur doit voir l’état réseau attendu, les chemins anormaux, les sorties attendues et les conditions de rollback, pas uniquement une liste de commandes.

3. Classifier selon le dommage maximal.
La profondeur d’approbation doit suivre l’impact potentiel sur le service, la géographie, les urgences et le mode commun.

4. Fixer un budget de rayon d’impact.
Définir avant exécution le maximum de nœuds, régions, utilisateurs et état aval pouvant être touchés.

5. Tester la panne partielle.
Exercer des demandes perdues, routage asymétrique, signalisation dupliquée, réponses retardées et perte d’un sur deux chemins.

6. Protéger signalisation et systèmes d’identité.
Bornes de retry, d’admission et de demande de base de données pour qu’une interruption courte ne devienne pas une congestion auto-renforçante.

7. Créer de vrais domaines de panne.
La distribution doit contenir la charge anormale, pas seulement partager la charge normale.

8. Rendre le rollback conscient du service.
Les critères de rollback doivent inclure enregistrement, appel, données et santé base, pas la configuration réseau restaurée seule.

9. Préserver un état connu comme fiable.
Le logiciel, la configuration et l’état essentiel de reprise abonnés ont besoin d’une provenance et d’une intégrité indépendantes.

10. Donner une autorité bornée aux intervenants.
Les équipes doivent savoir quand elles peuvent isoler des nœuds, réduire la charge, séparer des régions et activer un secours.

11. Définir la restauration par transaction.
Mesurer séparément enregistrement, voix, appels d’urgence, données, SMS, MVNO, IoT, entreprise, roaming et fonctions de support.

12. Observer depuis l’extérieur.
Utiliser des sondes et partenaires qui ne dépendent pas du plan de management en cours de réparation.

13. Rejouer la classe de panne.
Tester les variantes sémantiques de la défaillance, pas seulement la commande exacte qui a déclenché le dernier incident.

14. Lier la remédiation à l’état déployé.
Les politiques et diagrammes doivent pointer vers la configuration actuelle, les résultats de test, les exceptions et les décisions de risque résiduel.

15. Maintenir un chemin alternatif borné.
Itinérance d’urgence, autre opérateur, fixe, Wi-Fi ou téléphones publics peuvent réduire le dommage, mais leur capacité et limites doivent être testées et communiquées.

16. Publier une assurance proportionnée.
Expliquer ce qui a échoué, quelle classe de contrôle a changé, comment elle a été testée et ce qui reste incertain, sans exposer commandes sensibles ni architecture propriétaire.

Ce standard n’exige pas qu’un réseau national ne tombe jamais. Il exige que l’autorité corresponde au rayon d’impact et que les affirmations de restauration puissent être examinées.

Conclusion

La panne mobile de KDDI en juillet 2022 a débuté par un paramètre de routage incorrect pendant la maintenance. La configuration a été rétablie après une courte interruption. L’incident a persisté parce que le réseau avait changé d’état.

Les demandes d’enregistrement de localisation se sont répétées. Les nœuds VoLTE ont été congestionnés. Le trafic d’authentification d’abonnés a augmenté. La base abonnés a été saturée et incohérente. Une partie de l’état de reprise a été altérée. Six des dix-huit nœuds ont été isolés pendant la reprise pour réduire la pression de signalisation. Les clients ont connu un impact annoncé de 61 h 25 sur les services voix et données à l’échelle nationale. [1][5][9]

La leçon réellement responsable n’est pas qu’une personne a commis une erreur.

C’est qu’un changement de réseau national est une chaîne de contrôles institutionnels. La garde de procédure, la revue d’experts, l’approbation, l’analyse de rayon d’impact, le timing de rollback, la conception en état anormal, l’observabilité de la congestion, l’intégrité des sauvegardes, l’autorité de reprise et la mesure de service déterminent si une erreur courte reste courte.

KDDI a publié des mesures correctives sur toute cette chaîne. Elles méritent reconnaissance et vérification. Le service d’itinérance d’urgence ultérieur ajoute un chemin alternatif utile aux limites claires. Ni une longue checklist ni un réseau de secours n’exonèrent de la preuve que la classe de panne principale est contenue.

Pour une infrastructure mobile critique, restaurer l’ancienne route ne suffit pas. L’opérateur doit montrer que le système de signalisation est stable, que l’état des abonnés est digne de confiance, que les appels essentiels fonctionnent, que le secours est réel et que le prochain changement à fort impact ne peut plus franchir la même frontière sans être détecté.

C’est le test de responsabilité créé par les 61 heures suivant le retour de la route.

Panne mobile de 61 h de KDDI: test de responsabilité des changements de route

Pourquoi c'est important