Сбой KDDI на 61 час и контроль изменений маршрутизатора

Резюме

KDDI сообщает, что сбой связи начался в 01:35 по японскому времени 2 июля 2022 года, а использование услуг вернулось к уровню предыдущей недели в 15:00 4 июля. Заявленный период воздействия составил 61 час 25 минут по всей Японии. [1][5][7]
Инициирующее нарушение было намного короче. Во время обслуживания маршрутизатора национальной транспортной сети в сетевом центре Тама неверная настройка маршрута прервала трафик примерно на пятнадцать минут. Возврат настройки не завершил инцидент. [1][5]
Устройства и оборудование многократно повторно отправляли запросы регистрации местоположения. Узлы VoLTE перегрузились, распределённая обработка перенесла нагрузку на другие площадки, а повторный аутентификационный трафик перегрузил абонентскую базу данных. [1][5][9]
KDDI оценила, что на неконсолидированной основе затронуты около 22,78 млн пользователей голосовой связи и не менее 7,65 млн пользователей передачи данных. С учётом Okinawa Cellular оценки составили около 23,16 млн голосовых и не менее 7,75 млн пользователей данных. Это оценки воздействия на услуги, а не единый подсчёт уникальных людей. [1][5][14]
В ноябрьском ответе на административное руководство говорится, что использовался неверный процедурный документ, требовали пересмотра контроль согласования и отката, автоматический контроль перегрузок был недостаточен, повреждённое состояние резервных копий повлияло на некоторые перезапуски, а несогласованность абонентских сессий усложнила восстановление. [8][9]
В официальной стенограмме парламента Японии указано, что объём вызовов 119, исходящих от KDDI, был примерно на 63\u00A0% ниже нормы, а объём вызовов 110 — примерно на 45\u00A0% ниже нормы во время инцидента, тогда как другие каналы пропускали больше вызовов. Это наблюдаемые изменения объёмов, а не доказательство того, что каждая попытка экстренного вызова не удалась. [20]
KDDI объявила возвраты на основе условий и извинительные возвраты и оценила финансовый эффект примерно в 7,5 млрд иен. Счета возвратов, оценки воздействия на услуги, подписки и уникальные люди должны оставаться отдельными показателями. [1][11]
Ответственность не заканчивается выявлением неверной настройки. Она следует за практическим контролем над хранением процедур, экспертной проверкой, доказательствами согласования, сроками отката, тестированием аномальных состояний, наблюдаемостью перегрузок, целостностью резервных копий, восстановлением состояния абонентов и доказательствами восстановления конкретных услуг.
KDDI опубликовала множество корректирующих мер, включая более строгий контроль процедур, инструменты контроля перегрузок, включённые регуляторы потоков, изменения топологии, автоматизацию восстановления, управление качеством и улучшение коммуникаций. Публикация меры — это свидетельство заявления о намерении или внедрении, а не независимое доказательство устранения каждого класса сбоев. [9][10][15][17]
Позднейшая услуга аварийного роуминга в Японии создаёт альтернативный путь при крупных авариях. Её следует оценивать как ограниченный механизм устойчивости, а не как замену устранения хрупкости внутри собственной сети оператора или как политику, вызванную исключительно этим событием. [22]

Первый факт ответственности — расхождение во времени

В публичной хронологии KDDI действуют две очень разные системы отсчёта.

Первая относится к первоначальному нарушению маршрутизации. Во время обслуживания маршрутизатора в национальной транспортной сети неверная настройка маршрута остановила часть трафика, проходившего через этот маршрутизатор. KDDI описывает нарушение как продлившееся примерно пятнадцать минут. Конфигурация была возвращена. [1][5]

Вторая относится к воздействию на клиентов и услуги. KDDI сообщает, что сбой связи начался в 01:35 в субботу, 2 июля 2022 года. По её данным, использование голоса и данных вернулось к уровню, сопоставимому с тем же периодом неделей ранее, в 15:00 в понедельник, 4 июля. Это 61 час 25 минут. Дополнительная проверка использования услуг клиентами и нормальности трафика на уровне групп была отражена 5 июля. [1][7]

Назвать это 61-часовой ошибкой маршрутизации было бы ложью. Назвать это пятнадцатиминутным сбоем — тоже ложь.

Ошибка маршрута была триггером. Длительный инцидент стал проблемой восстановления, в которой участвовали сигнальная нагрузка, узлы VoLTE, аутентификация абонентов, несогласованное состояние, повреждённые резервные материалы и операционные решения о том, какие компоненты изолировать и когда. Это различие принципиально, поскольку ответственность за триггер и ответственность за усиление последствий не обязательно совпадают.

Оператор может внести неверное изменение и всё же быстро ограничить его, если изменение ограничено, допущения об откате реалистичны, а нижестоящие системы переносят временный сбой. Он также может допустить кратковременную ошибку, которая создаёт устойчивое состояние в другом месте. Устройства повторяют попытки. Очереди растут. Базы данных получают повторяющиеся запросы. Реплицированное состояние расходится. Сами восстановительные действия добавляют нагрузку. Компоненты перезапускаются в аномальное состояние. Наблюдаемость ухудшается, потому что все аварийные сигналы срабатывают одновременно.

Поэтому ответственный вопрос — не просто «Кто ввёл неверный параметр?».

Он звучит так:

Кто согласовал работу и на основании каких доказательств?
Какая модель воздействия определила предел отката?
Какие нижестоящие сценарии поведения были протестированы?
Какая телеметрия показала, что откат не восстановил услугу?
У кого были полномочия изолировать узлы и сбрасывать нагрузку?
Какое заведомо исправное состояние было доступно для восстановления?
Какие сервисные тесты определяли восстановление?

Расследование, ориентированное на поиск виновного, обычно сводит эту цепочку к человеку, ближайшему к командной строке. Расследование, ориентированное на контроль, изучает институты, которые спроектировали работу, согласовали риск, выстроили поведение сети в аномальных состояниях и решили, когда клиентам можно сообщить о восстановлении услуги.

Собственный отчёт KDDI для регулятора указывает в этом направлении. В нём описаны управление процедурными документами, экспертные проверки, доказательства согласования, критерии отката, проектирование защиты от перегрузок, процедуры восстановления и управление качеством. [9] Таким образом, объяснение оператора подтверждает более широкий урок: изменение сети — это не нажатие клавиш одним техником. Это объект организационного контроля.

Как изменение маршрута стало сигнальным каскадом

Мобильная связь зависит от большого объёма сигнализации, которую клиенты никогда не видят.

Телефон должен подтвердить, что он подключён к сети, и определить зону, в которой он доступен. Голосовая услуга на базе VoLTE требует, чтобы сеть знала, где зарегистрирован абонент и какие управляющие функции могут установить входящий или исходящий вызов. Передача данных также зависит от аутентификации абонента и состояния сессии. Эти операции включают обмен сообщениями между устройствами, функциями мобильной сети, узлами VoLTE и абонентскими базами данных.

В нормальных условиях эта сигнализация составляет малую часть ценности, которую получает клиент. Видимая услуга — вызов, сообщение или сессия передачи данных. Скрытая предпосылка — последовательность успешных обменов регистрации, аутентификации, применения политик и маршрутизации.

Техническое объяснение KDDI гласит, что неверная настройка маршрута привела к прекращению запросов регистрации местоположения. Затем устройства и оборудование повторно отправляли запросы. Повторные передачи быстро росли. Узлы VoLTE в Тама перегрузились, а распределённая обработка через национальную транспортную сеть перенесла нагрузку на узлы VoLTE на других площадках. [1][5]

Затем частью каскада стала абонентская база данных. KDDI поясняет, что узлы VoLTE и оборудование мобильной сети обращаются к базе данных для аутентификации. Повторная сигнализация, таким образом, создавала повторный трафик базы данных. В системе было не просто слишком много клиентских вызовов. В ней было слишком много управляющих запросов, порождённых незавершённой регистрацией и поведением повторных попыток.

Это различие важно и для инженерии, и для ответственности.

Обычное планирование ёмкости может спрашивать, сколько одновременных вызовов, сессий данных или абонентов может обслужить узел. Планирование аномальных состояний спрашивает, как поведёт себя система, когда сообщения срываются на середине транзакции и повторяются миллионами устройств. Второе может породить профиль нагрузки, непохожий на пиковый клиентский спрос.

Механизм повторных попыток обычно является элементом надёжности. Он защищает пользователей от потерянного пакета или временного перерыва. В национальном масштабе синхронизированные или недостаточно ограниченные повторы могут стать множителем нагрузки. Запрос не удаётся; устройство пробует снова; сетевая функция пробует снова; база данных видит повторяющийся аутентификационный трафик; медленные ответы держат открытыми ещё больше транзакций; растущая очередь порождает новые тайм-ауты и повторы.

Таким образом, сбой пересекает несколько поверхностей контроля:

Контроль маршрутизации:доходит ли трафик до намеченного пути.
Контроль повторов:как устройства и системы реагируют, когда ожидаемые ответы не приходят.
Контроль допуска:безопасно ли перегруженные узлы отклоняют, задерживают или формируют новую работу.
Защита базы данных:могут ли системы аутентификации и состояния абонентов ограничивать повторный спрос.
Контроль распределения:сдерживает ли балансировка нагрузки сбой или распространяет его.
Контроль восстановления:могут ли реагирующие выявить и изолировать источники избыточной сигнализации.

KDDI сообщает, что для снижения перегрузки базы данных применялись ограничения скорости потоков, но избыточная сигнализация продолжалась. В итоге были отделены шесть из восемнадцати узлов VoLTE, связанных с продолжающимися аномальными запросами. [1][5]

Это действие иллюстрирует трудный компромисс восстановления. Снятие ёмкости может уменьшить вредную нагрузку, если её создают конкретные узлы, но может оставить меньше ёмкости для легитимного обслуживания. Решение требует надёжной телеметрии и полномочий. Реагирующие должны знать, является ли узел жертвой нижестоящей перегрузки, источником повторяющихся запросов или тем и другим одновременно.

Публичная запись не раскрывает каждый путь пакета, таймер или порог. Она устанавливает, что поведение системы в аномальном состоянии было решающим. Инцидент относится к ответственности за сетевую инфраструктуру, поскольку вред последовал за взаимодействием транспортной маршрутизации, сигнального контроля, голосовых функций и состояния абонентов.

Почему возврат маршрута не был восстановлением

Откат часто считают самым безопасным ответом на неудачное изменение. Инцидент KDDI показывает, почему это допущение нуждается в границе.

Возврат конфигурации может восстановить состояние, существовавшее до изменения. Он не может автоматически стереть состояние, созданное, пока изменение действовало.

Во время перерыва устройства и системы столкнулись с незавершённой регистрацией и генерировали повторы. Очереди и нагрузка базы данных изменились. Некоторые узлы вошли в состояние перегрузки. Информация об абонентских сессиях стала несогласованной. Позднейший ответ KDDI сообщает, что некоторые узлы VoLTE загрузили повреждённые резервные файлы и перезапустились в аномальном состоянии, что вызвало дальнейшие повторы регистрации местоположения. [9]

Сеть после отката, следовательно, не была сетью до изменения.

Это общее свойство инфраструктуры с состоянием. Запись маршрута без состояния может быть восстановлена быстро, но зависящие от этого маршрута услуги могут сохранять:

незавершённые транзакции;
таймеры повторов;
устаревшие сессии;
несогласованные реплики;
частичное состояние аутентификации;
повреждённые очереди;
кэшированные сбои;
перегруженные процессы;
уже начатые восстановительные действия.

Планы изменений должны различать откат конфигурации и откат услуги.

Тест отката конфигурации спрашивает, восстановлены ли прежние байты или команды. Тест отката услуги спрашивает, могут ли пользователи снова регистрироваться, аутентифицироваться, совершать вызовы и устанавливать сессии передачи данных без аномальных ошибок или нагрузки. Тест отката состояния спрашивает, достаточно ли согласованы базы данных, очереди, кэши и резервные копии узлов, чтобы поддерживать эту услугу.

Эти тесты могут одновременно давать разные ответы.

Опубликованные KDDI меры включают пересмотр времени, допустимого до отката, чтобы учитывалась перегрузка нижестоящих сервисов. [9] Это значимое изменение контроля. Оно признаёт, что слишком долгое ожидание может позволить изначально обратимой сетевой ситуации создать кризис с состоянием.

Однако одного более раннего порога отката недостаточно.

Оператору также нужна модель того, что может накопиться за разрешённый интервал. Сколько повторов регистрации может быть сгенерировано? Какая база данных достигает насыщения первой? Какую часть сети можно изолировать? Какая услуга остаётся доступной во время изоляции? Что происходит, когда маршрут возвращается, а миллионы устройств повторяют попытки одновременно?

План восстановления должен задавать триггеры, основанные на здоровье услуги, а не только на состоянии маршрутизатора:

внезапная потеря успешной регистрации;
рост незавершённых запросов;
глубина очередей узлов VoLTE;
время ответа абонентской базы данных;
доля отклонений аутентификации;
объём повторов по региону или узлу;
установление и завершение вызовов;
установление сессий передачи данных;
успешность экстренных вызовов.

Откат остаётся необходимым. Урок в том, что его охват должен соответствовать системе.

Для национальной мобильной сети с состоянием фраза «старый маршрут вернулся» — промежуточный технический факт. Это не сертификат восстановления.

Процедурный документ — часть производственной плоскости управления

В ноябрьском отчёте KDDI говорится, что использовалась неверная рабочая процедура. В нём описаны изменения в управлении процедурными документами, экспертной проверке и согласовании работ. [9]

Это может звучать как административная деталь. На деле это операционно конкретно.

Команда, введённая при обслуживании, создаётся через цепочку:

намеченный результат для сети;
проектное решение или запрос на изменение;
шаблон процедуры;
инструкции для конкретного устройства;
проверка коллегой или экспертом;
согласование;
планирование;
выполнение;
проверка;
откат.

Если может быть выбрана неверная процедура, производственная система оказывается уязвимой ещё до входа кого-либо в маршрутизатор. Поэтому хранение документов — часть плоскости управления.

Надёжная процедурная система должна отвечать на вопросы:

Какой шаблон был авторитетным?
Какую модель сети и версию программного обеспечения он предполагал?
Кто создал и проверил окончательные инструкции?
Что изменилось по сравнению с последней утверждённой версией?
Для какого устройства или топологии предназначалась процедура?
Какие доказательства подтвердили, что результаты моделирования или лабораторных тестов соответствуют производственной среде?
Какой класс риска и уровень согласования применялись?
Какие проверки должны были пройти перед следующим шагом?
Как процедура должна была быть остановлена или откачена?

Ключевое слово — доказательства.

Вторая пара глаз может стать церемонией, если проверяющий видит только финальный документ без намеченного состояния, топологии, diff или ожидаемых результатов. Согласование может стать церемонией, если согласующий видит галочку, а не последствия отказа.

KDDI сообщает, что изменила процесс, чтобы компетентные сотрудники проверяли процедуры, сохраняли доказательства этой проверки и позволяли согласующим подтверждать доказательства. Она также описала работу над системой управления процедурами. [9]

Эти меры следует оценивать по тому, что они предотвращают.

Система управления должна затруднять:

использование процедуры для неверного класса устройств;
выполнение устаревшей версии;
пропуск обязательной экспертной проверки;
согласование непроверенной последовательности команд;
изменение инструкций после согласования без отмены согласования;
продолжение при расхождении ожидаемых результатов;
потерю записи о том, что фактически было выполнено.

Высокозначимые сетевые работы также нуждаются в машинно-проверяемом слое, где это практично. Намеченные изменения маршрутов можно сопоставлять с топологией и политиками. Диффы конфигураций можно проверять линтерами. Лабораторные тесты или цифровые двойники могут отрабатывать ожидаемые и аномальные пути. Пробы до и после изменения можно автоматизировать. Ограничения могут не допускать, чтобы команды затрагивали больше узлов или префиксов, чем разрешено.

Автоматизация не снимает человеческую ответственность. Она меняет доказательства, доступные людям.

Оператор остаётся ответственным за то, что именно должен доказывать автоматический контроль, как авторизуются исключения и что происходит, когда наблюдаемое состояние отличается от плана. Система, которая автоматически подтверждает только синтаксис, всё равно может одобрить семантически опасный маршрут.

Событие KDDI делает управление процедурами видимым как управление инфраструктурой. Документ не был бумажной работой рядом с сетью. Он был исполняемым описанием производственных полномочий.

Классификация риска должна следовать радиусу поражения, а не привычности обслуживания

Рутинная работа может нести исключительный риск.

Задача может быть знакома опытной команде, использовать известную команду и выполняться в запланированное окно обслуживания. Ни один из этих фактов не определяет потенциальное воздействие на клиентов.

KDDI сообщает, что пересмотрела оценку риска работ и уровни согласования в соответствии с масштабом вреда при неудаче задачи. Она также расширила периоды, в которые определённые работы подавляются вокруг важных событий. [9]

Это важный сдвиг от одной лишь вероятности к последствиям.

Классификация риска для национального транспортного маршрутизатора должна учитывать:

количество и типы услуг, проходящих через него;
может ли сбой повлиять на регистрацию или аутентификацию;
как распространяются повторы;
распространяет ли балансировка нагрузки сбой;
независимость резервных путей;
зависимости экстренных вызовов;
зависимости MVNO и предприятий;
возможность наблюдать и изолировать изменение;
время до того, как состояние станет трудно восстановить;
проверенная ёмкость резервных систем.

Изменение с низкой оценкой вероятности ошибки всё равно может требовать высочайшего стандарта согласования и тестирования, если его сбой способен создать национальный вред общего режима.

Классификация также должна учитывать временной риск. Окно обслуживания, выбранное из-за низкого обычного трафика, может не минимизировать сигнальный риск. Многие устройства могут одновременно отреагировать на сбой, независимо от того, совершают ли люди вызовы. Тихий час для клиентского использования — не обязательно тихий час для штормов регистрации.

Аналогично, календарь подавления работ вокруг событий — лишь один элемент контроля. Крупные публичные события, суровая погода или выборы могут повысить последствия сбоя, но обычные ночи всё равно содержат экстренные вызовы, логистику, подключённые устройства, транспортные операции и жизненно важное обслуживание.

Более сильный контроль — явный бюджет радиуса поражения.

До начала работ оператор должен указать:

максимальное число затронутых узлов;
максимальную затронутую географию;
максимальный перерыв в услугах;
максимальный сбой регистрации;
максимальное время до отката;
максимальное время восстановления нижестоящих систем;
условия, требующие немедленной изоляции;
резервную ёмкость, доступную во время работ.

Наблюдаемые метрики должны в реальном времени сравниваться с этим бюджетом. Если изменение превышает любой предел, продолжение должно требовать новых полномочий, а не допущения, что первоначальное согласование всё ещё действует.

Такой подход превращает «рутинное обслуживание» в ограниченный эксперимент. Он признаёт, что общество не ощущает привычность задачи. Оно ощущает, работает ли сеть.

Контроль перегрузок нужно тестировать в том состоянии, которое создаёт сбой

Отчёт KDDI сообщает, что автоматический контроль перегрузок не сработал так, как было нужно, в аномальных условиях. Позднее были включены или пересмотрены функции регулирования потоков, разработаны более детальные инструменты обнаружения и изменены соответствующие проектные решения по трафику и размещению VoLTE. [9][10]

Контроль перегрузок нельзя оценивать только при обычной высокой нагрузке.

Нормальный пиковый трафик содержит много корректных запросов с ожидаемыми таймингами и распределением. Инцидент может порождать повторяющиеся, незавершённые или коррелированные запросы. Он может провести половину транзакции по одному пути и потерять ответ. Он может сконцентрировать нагрузку на компонентах, которые обычная балансировка распределяет равномерно. Он может заставить несколько сетевых функций повторять запросы к одной и той же абонентской базе данных.

Поэтому тестирование должно включать семантику сбоев:

частичная потеря маршрута;
асимметричная достижимость;
задержанные ответы;
дублированные запросы;
синхронизированные повторы устройств;
отказ одного из двух путей;
задержки и несогласованность базы данных;
перезапуск узла при высокой нагрузке;
потеря мониторинга;
конкуренция инструментов восстановления.

Цель — постепенная деградация.

Когда сеть не может обслужить каждый запрос, она должна защищать ключевые управляющие функции и сохранять достаточно ёмкости для восстановления. Возможно, ей нужно рано отклонять работу, применять отсрочку, разделять регионы, приоритизировать экстренные службы или изолировать неисправный домен.

KDDI сообщила об изменении соответствующей схемы VoLTE с общенациональной полносвязной конфигурации на разделённую по направлениям восток-запад и о включении функции регулирования потоков, чтобы снизить вероятность распространения перегрузки. [9]

Принцип — локализация сбоев.

Распределение может улучшить устойчивость, когда создаёт независимую ёмкость. Оно может ухудшить устойчивость, когда каждый узел участвует в одном и том же сбое. Полносвязная сеть может предоставлять много нормальных путей, позволяя аномальной сигнализации распространяться по стране. Региональное разделение может пожертвовать частью гибкости ради меньшего общего домена сбоя.

Публичный отчёт не доказывает полную текущую топологию или результат каждого теста. Он обозначает измеримый вопрос восстановления:

Если тот же частичный отказ маршрута произойдёт сейчас, сколько узлов, регионов и абонентов может войти в перегрузку до активации контрольных ограничений?

Ответственный ответ включал бы условия тестов, наблюдаемые пороги, поведение отклонения, работу экстренных служб и максимальное время изоляции затронутого домена.

Без таких доказательств фраза «мы изменили топологию» — проектное заявление. С ними изменение становится механизмом устойчивости.

Целостность резервных копий и состояние абонентов должны входить в планирование сбоев

Резервные копии часто обсуждают как средство кибербезопасности или защиты от потери данных. Ответ KDDI показывает их роль в доступности сети.

В ноябрьском отчёте говорится, что некоторые узлы VoLTE прочитали повреждённые резервные файлы и запустились в аномальном состоянии. В нём также описаны несогласованности сессий в абонентской базе данных. [9]

Это делает происхождение восстановительного состояния центральным вопросом.

Сетевой узел не восстанавливается только потому, что перезапустился. Он восстанавливается, когда программное обеспечение, конфигурация и операционное состояние, загруженные при перезапуске, заведомо исправны и совместимы с остальной системой.

Надёжный процесс восстановления должен устанавливать:

когда была создана резервная копия;
какие версии программного обеспечения и конфигурации она содержит;
была ли она создана во время перегрузки или частичного сбоя;
была ли проверена её целостность;
согласована ли она с соседними узлами и состоянием абонентов;
кто санкционировал её использование;
какие сервисные тесты прошли после загрузки.

Резервные копии, созданные автоматически во время инцидента, могут сохранить сам инцидент.

Если узел записывает аномальное состояние, и это состояние становится следующим образом восстановления, перезапуск может воспроизвести сбой. Если реплицированные абонентские базы расходятся, восстановление одной копии может сделать сессии недействительными или спровоцировать новую регистрацию. Если реагирующие не могут определить, какое состояние авторитетно, каждое корректирующее действие несёт новый риск.

Ответ — не отказ от автоматического резервного копирования. Ответ — различать операционные контрольные точки и независимо проверенные точки восстановления.

Критически важные сетевые функции должны иметь:

неизменяемую или защищённую от записи заведомо исправную конфигурацию;
подписанные манифесты программного обеспечения и конфигураций;
проверки согласованности реплицированного состояния;
карантин для резервных копий, созданных в аномальных условиях;
проверенные процедуры сброса;
чистый путь управления;
поэтапный перезапуск с сервисными пробами;
явный откат самого восстановительного действия.

KDDI сообщает, что пересмотрела процедуры сброса узлов и разработала инструменты для обнаружения и снятия перегрузки на нескольких узлах VoLTE. [9] Эти меры касаются скорости восстановления. Обязанность по доказательствам — показать, что они также защищают целостность состояния.

Для мобильного оператора конфигурация, состояние абонентов и полномочия на восстановление — всё это активы доступности. Резервная копия, которой нельзя доверять под нагрузкой, не является резервом устойчивости.

Показатели воздействия требуют дисциплинированной интерпретации

Крупные инциденты порождают несколько больших чисел. Они отвечают на разные вопросы.

KDDI оценила около 22,78 млн затронутых пользователей голосовой связи и не менее 7,65 млн затронутых пользователей данных на неконсолидированной основе. С учётом Okinawa Cellular оценки составили около 23,16 млн голосовых и не менее 7,75 млн пользователей данных. Оператор поясняет, что для оценок голоса и данных использовались разные методы на основе отличий вызовов или регистраций от периода сравнения. [1][5][14]

Эти цифры не следует складывать, чтобы заявлять о более чем тридцати миллионах уникальных людей.

Один человек может использовать и голос, и данные. Одна учётная запись может содержать несколько линий. Оценка воздействия на данные на основе отличий регистраций не тождественна числу клиентов, которые попытались выполнить сессию и потерпели неудачу. «Затронуты» может охватывать деградированную, прерывистую или недоступную услугу, а не одно единообразное состояние.

Показатели возвратов отвечают на другой вопрос.

KDDI объявила возвраты на основе условий для 2,71 млн клиентов KDDI и 70 000 клиентов Okinawa Cellular, удовлетворявших указанным условиям обслуживания. Она также объявила извинительный возврат в размере 200 иен для 35,89 млн клиентов KDDI и 660 000 клиентов Okinawa Cellular в охваченных классах услуг. [1]

Эти группы отражают договорные и политические решения. Они не являются технической мерой одновременного воздействия сбоя.

Раскрытый KDDI финансовый эффект примерно в 7,5 млрд иен — ещё одна мера. [11] Она отражает ожидаемые бизнес-последствия для компании в рамках её учётных допущений и допущений о возвратах. Она не измеряет каждую упущенную транзакцию, пропущенный экстренный контакт, задержанную доставку, нарушенную работу подключённого устройства или затраты времени клиентов.

Корректное описание воздействия сохраняет все четыре измерения:

Воздействие на услуги:какие функции были недоступны или деградированы.
Наблюдаемое использование:вызовы, регистрации и транзакции в сравнении с нормой.
Возмещение клиентам:какие учётные записи получили право на какой возврат.
Экономические последствия:прямые затраты оператора и более широкие общественные потери.

Завышение одного числа ослабляет анализ. Более сильный вывод не требует завышения.

Инцидент был национальным, продолжительным и значимым, потому что отказ ключевого контроля затронул критически важные мобильные услуги и зависящие от них системы. Точное измерение должно делать этот вывод более достоверным, а не менее драматичным.

Экстренные вызовы превращают доступность в общественную обязанность

Мобильные сбои становятся событиями общественной безопасности, когда люди не могут надёжно связаться с экстренными службами.

Официальная стенограмма парламента Японии даёт необычно конкретные доказательства. В ней говорится, что объём вызовов 119, исходящих от KDDI, был примерно на 63\u00A0% ниже нормы во время инцидента. Вызовы с мобильных телефонов других операторов и по другим каналам выросли. Там же указано, что объём вызовов 110 от KDDI был примерно на 45\u00A0% ниже нормы, тогда как вызовы от других операторов и с общественных телефонов увеличились. [20]

Эти цифры требуют осторожных формулировок.

Они показывают большое изменение наблюдаемых объёмов вызовов по исходному пути. Они не раскрывают каждую попытку вызова, намерение каждого звонящего, показывало ли устройство ошибку, соединился ли каждый альтернативный вызов или исход каждого чрезвычайного происшествия.

Тем не менее они демонстрируют зависимость.

Когда одна национальная мобильная сеть отказывает, спрос на экстренную связь не исчезает. Некоторые пользователи одалживают другой телефон, используют стационарную линию или находят общественный телефон. У других альтернативы может не быть. Рост нагрузки на уцелевшие сети и кол-центры может стать вторичным риском.

Поэтому непрерывность экстренных вызовов требует доказательств, выходящих за рамки обычной доступности голоса:

установление вызовов на 110, 118 и 119;
обработка местоположения звонящего;
возможность обратного вызова;
приоритизация и обработка при перегрузке;
доступ у MVNO;
доступность для людей с инвалидностью;
географическая производительность;
инструкции пользователям при отказе основной сети;
нагрузка, перенесённая на альтернативные сети.

Ответ KDDI описывает более тесную коммуникацию с организациями экстренных вызовов и участие в работе над альтернативной связью и межоператорским роумингом. [9][10]

Эти меры решают разные проблемы.

Лучшее оповещение помогает органам и пользователям понять сбой. Альтернативные пути помогают вызовам покинуть отказавшую сеть. Ни то, ни другое не снимает с оператора ответственность за устойчивость собственного пути экстренных вызовов.

Стандарт публичной ответственности должен быть пропорционален последствиям. Оператор может сообщить о восстановлении коммерческой голосовой связи, пока местоположение, обратный вызов или перегрузка экстренных вызовов остаются нарушенными. Поэтому матрица услуг должна изолировать экстренную функциональность, а не рассматривать её как одну строку в общем голосовом трафике.

Практический контроль был разделён, но не равномерно

Сетевые инциденты вовлекают многих участников. Ответственность должна следовать за тем, что каждый реально мог предотвратить, обнаружить, ограничить, раскрыть или исправить.

KDDI

KDDI контролировала процесс обслуживания, хранение процедур, согласование работ, конфигурацию маршрутов, критерии отката, мониторинг сети, эксплуатацию узлов VoLTE, восстановление абонентской базы данных, измерение услуг, коммуникацию с клиентами и доказательства, предоставленные регулятору.

Это не означает, что KDDI контролировала каждое поведение продукта или могла предотвратить каждый сбой. Это означает, что оператор обладал наиболее широкими практическими полномочиями над производственной средой и восстановлением.

Поставщики оборудования и программного обеспечения

Поставщики могли контролировать программное обеспечение узлов, поведение баз данных, характеристики повторов, документацию по высокой нагрузке, форматы резервных копий и техническую поддержку. Ответ KDDI сообщает, что компания получила информацию от вендоров и протестировала поведение при высокой нагрузке. [9]

Замороженная запись не раскрывает полную карту поставщиков, контракты или выводы о дефектах. Возлагать вину на названного вендора было бы безответственно. Ответственное требование состоит в том, чтобы оператор знал, какие доказательства поставщика ему нужны, и сохранял полномочия защищать услугу, когда продукт ведёт себя неожиданно.

Министерство и проверяющие органы

Министерство внутренних дел и коммуникаций получило отчёт о серьёзной аварии, выпустило административное руководство и использовало проверочные структуры для изучения инцидента и более широких проблем телекоммуникационных аварий. [3][8][9][21]

Регуляторные полномочия включают требование доказательств, установление ожиданий по отчётности и разработку правил устойчивости сектора. Они не управляют маршрутизаторами KDDI и не восстанавливают состояние абонентов.

Экстренные службы, MVNO и корпоративные клиенты

Эти участники располагают доказательствами зависимости и воздействия. MVNO может наблюдать неспособность своих пользователей подключиться или позвонить. Предприятие может сообщить о сбоях подключённых устройств или логистических функций. Экстренные организации могут измерять изменения объёмов вызовов и местоположений.

Они не контролируют отказавшее ядро KDDI. Их планирование непрерывности может снизить вред, но не переносит основную инфраструктурную ответственность с оператора.

Клиенты

Пользователи могут по возможности держать альтернативные способы связи, но многие не могут экономически дублировать национальную мобильную услугу. Общественные телефоны, Wi-Fi, второй оператор или стационарная линия могут помочь. Это ограниченные меры смягчения, а не справедливый ответ на системный отказ ядра.

Такое распределение предотвращает две ошибки.

Первая — обвинять ближайшего человека или компонент за систему, сформированную множеством управленческих решений. Вторая — размывать ответственность так широко, что ни один институт не остаётся ответственным.

KDDI несла самое сильное бремя ответственности: показать, почему короткая проблема маршрутизации превратилась в затяжной национальный инцидент и как та же цепочка теперь ограничена.

Восстановительные меры следует тестировать как связанный пакет доказательств

KDDI опубликовала существенную корректирующую программу. Ноябрьский отчёт и более поздние раскрытия описывают:

более строгое управление процедурными документами;
экспертную проверку с сохранением доказательств;
пересмотренные методы согласования;
более ясные критерии нормальности услуг;
сроки отката, учитывающие перегрузку;
классификацию риска работ на основе воздействия;
более широкие правила подавления работ;
детальные инструменты обнаружения перегрузок;
изменения путей трафика и топологии;
включённое регулирование потоков;
проверку других мобильных систем на аналогичные режимы сбоя;
пересмотренные процедуры сброса и восстановления;
инструменты снятия перегрузки на нескольких узлах;
изменения в управлении качеством;
крупномасштабные учения;
улучшенную коммуникацию с общественностью и заинтересованными сторонами. [9][10][15][17]

Список значим. Его не следует принимать за доказательство перечислением.

Элементы контроля взаимодействуют. Более строгий процедурный процесс может предотвратить ту же ошибку маршрута, но не другую семантически отличную команду. Регулирование потоков может защитить узлы VoLTE, но не другую систему с похожим поведением повторов. Региональное разделение может уменьшить распространение, оставив общую базу данных или управляющую идентичность. Инструмент восстановления может действовать быстрее, но загружать то же состояние, которому нельзя доверять.

Пакет восстановительных мер должен связывать каждый наблюдаемый сбой с элементом контроля и тестом:

Наблюдаемый сбой	Корректирующий контроль	Требуемое доказательство
Выбрана неверная процедура	Версионированное хранение процедур и экспертная проверка	Попытка использовать устаревшую или неверную для устройства процедуру блокируется
Риск недооценён	Классификация на основе воздействия	Работы национального или общего режима получают требуемое согласование и глубину тестирования
Откат слишком поздний для нижестоящего состояния	Порог отката с учётом услуги	Тест показывает, что откат происходит до превышения лимитов повторов и базы данных
Частичный отказ маршрута вызвал повторную сигнализацию	Контроль повторов и потоков для аномальных состояний	Нагрузочный тест показывает ограниченные повторы и защищённые ключевые функции
Перегрузка распространилась по стране	Региональные домены сбоя и изменение топологии	Внедрение сбоя остаётся внутри заданного региона или бюджета ёмкости
Вредные узлы было трудно выявить	Телеметрия незавершённых запросов по каждому узлу	Обнаружение определяет источник за заданное время
Восстановление загрузило повреждённое состояние	Проверенные точки восстановления и процедуры сброса	Поэтапный перезапуск отклоняет повреждённое состояние и сохраняет согласованность
Абонентские сессии разошлись	Контроль согласованности и сверки базы данных	Тест восстановления доказывает авторитетное состояние и ограниченную повторную регистрацию
Публичной информации было недостаточно	Шаблоны коммуникации об инцидентах и выделенная команда	Учение даёт своевременную информацию об услугах, экстренных службах и восстановлении
Альтернативная связь была ограничена	Межоператорские и другие резервные пути	Тест активации доказывает ограниченные голос, данные, SMS и экстренные функции

Доказательства должны быть актуальными и привязанными к развёрнутому состоянию.

Политика, утверждённая после инцидента, не доказывает, что производственная сеть её реализует. Лабораторный тест одного релиза программного обеспечения не доказывает более позднюю топологию. Запись о посещении тренинга не доказывает, что реагирующие могут изолировать узлы при неоднозначной телеметрии.

Полезные доказательства включают:

подписанные версии процедур;
записи о согласовании;
хеши конфигураций и топологии;
манифесты тестов;
результаты внедрения сбоев;
пробы по каждой услуге;
измерения времени восстановления;
записи об исключениях;
независимую проверку;
решения об остаточном риске.

Бремя — это не абсолютная секретность против полного публичного раскрытия. KDDI может сохранить синтаксис команд, учётные данные и чувствительную топологию в тайне, публикуя класс сбоя, цель контроля, объём тестирования и результат подтверждения.

Для национального оператора долговременное исправление должно быть понятно регуляторам, руководителям, техническим командам и критически важным клиентам. Оно должно оставаться понятным после смены сотрудников и поставщиков.

«Восстановлено» требует матрицы по конкретным услугам

KDDI использовала уровни трафика по сравнению с тем же периодом неделей ранее как часть подтверждения восстановления. [1][7]

Это полезно и неполно.

Агрегированный трафик может вернуться, пока важные транзакции остаются нарушенными. Объём данных может выглядеть нормальным, потому что работающие пользователи генерируют больше трафика, даже если некоторые устройства не могут зарегистрироваться. Голосовые минуты могут восстановиться, пока установление вызовов сбоит в одном регионе или экстренный обратный вызов остаётся затронутым.

Матрица восстановления национальной мобильной сети должна включать:

Домен	Минимальные доказательства
Регистрация устройств	успешность подключения и обновления местоположения по региону, устройству и поколению сети
Голос VoLTE	установление вызова, завершение, входящая доступность, хэндовер и уровни ошибок
Экстренные вызовы	установление 110, 118 и 119, местоположение, обратный вызов и обработка перегрузки
Мобильные данные	аутентификация, создание сессий, DNS и публичная/частная достижимость
SMS	отправка, возраст очереди, доставка и причина сбоя
Абонентская база данных	задержка, согласованность, сверка сессий и здоровье реплик
Услуги MVNO	подключение, голос, данные, SMS и измерения путей поддержки
IoT и предприятия	регистрация репрезентативных устройств, телеметрия и достижимость частных сетей
Интерконнект и роуминг	входящие/исходящие вызовы и транзакции данных с партнёрами
Коммуникация с клиентами	страница статуса, каналы поддержки и доступные альтернативные инструкции

Каждый домен должен иметь функциональные и ёмкостные пороги.

Функциональное восстановление означает, что репрезентативная транзакция успешна. Ёмкостное восстановление означает, что услуга несёт ожидаемую нагрузку без нестабильных очередей или повторяющейся деградации. Стабильность означает, что результат сохраняется. Исправление означает, что исходный класс сбоя устранён и воспроизведён.

Эти этапы не должны иметь одну временную метку.

Независимое наблюдение также важно. Если система мониторинга зависит от той же восстанавливаемой абонентской базы данных или плоскости управления, она может сообщать частичную картину. Внешние пробы, измерения MVNO, интерконнект-операторы, экстренные организации и выборочные пользовательские транзакции предоставляют независимые доказательства.

Текущее описание качества сети KDDI гласит, что состояние сети по всей стране централизованно отслеживается из операционных центров и что используются стандарты ёмкости, резервирования и распределённых объектов. [19] Ответственный вопрос — как эти общие меры измерили этот конкретный класс сбоя после исправления.

Цель — не отказывать в признании восстановления, пока каждый клиент не подтвердит услугу. Цель — определить статистически и операционно достоверную границу.

Когда общественность слышит «сеть вернулась», это заявление должно значить больше, чем рост трафика. Оно должно значить, что критически важные функции прошли названные тесты, ёмкость стабильна, а остаточные исключения видны.

Аварийный роуминг — резерв, а не отпущение грехов

В марте 2026 года крупные мобильные операторы Японии анонсировали общенациональную услугу аварийного роуминга для крупных бедствий и сбоев. Услуга включает полный режим с голосом, ограниченными данными и SMS, а также режим только экстренных вызовов. [22]

Это релевантное более позднее доказательство устойчивости.

Она создаёт альтернативный путь доступа, когда сеть одного оператора недоступна. Она может снизить вероятность того, что клиент с одной подпиской окажется полностью изолирован. Она также признаёт публичный факт, обнажённый несколькими инцидентами: розничная конкуренция не даёт каждому пользователю резервный доступ автоматически.

У услуги есть границы.

Альтернативный оператор должен иметь покрытие и ёмкость. Устройства должны поддерживать требуемое поведение. Роуминговая услуга может предоставлять более низкую скорость данных. Режим только экстренных вызовов имеет ограниченные функции и не имеет обратного вызова через описанный путь только исходящих вызовов. Активация требует координации и публичной информации. Бедствие может затронуть несколько сетей одновременно.

Аварийный роуминг также не чинит отказавшую сеть.

Он не должен ослаблять:

внутренний контроль изменений;
защиту от перегрузок;
восстановление состояния абонентов;
проектирование экстренных служб;
доказательства восстановления;
ответственность оператора за первичный сбой.

Публичная запись не устанавливает, что одно лишь событие KDDI 2022 года вызвало услугу 2026 года. Стенограмма парламента показывает, что межоператорский роуминг обсуждался после крупных телекоммуникационных инцидентов, а более поздний запуск отражает многолетнюю работу нескольких операторов и правительства. [20][22]

Ответственный взгляд рассматривает роуминг как один слой портфеля:

предотвращать небезопасные изменения;
сдерживать сбой внутри основной сети;
восстанавливать состояние, которому можно доверять;
сохранять приоритетные услуги;
предлагать независимый альтернативный путь;
ясно сообщать об ограничениях.

Резерв наиболее ценен, когда он протестирован в тех же условиях перегрузки и публичного спроса, которые делают его необходимым.

Чего не может доказать замороженная публичная запись

Источники поддерживают детальный анализ контроля. Они не поддерживают полное частное посмертное расследование.

Они не могут доказать:

точные команды маршрутизации;
каждый затронутый префикс или путь пакета;
личность или процесс принятия решения оператора, выполнившего работу;
полную цепочку согласования;
вендора и версию каждого затронутого узла или базы данных;
способствовал ли дефект поставщика;
все таймеры повторов и пороги перегрузки;
доступность услуг по регионам;
каждую попытку экстренного вызова;
полное воздействие на MVNO, роуминг, IoT и предприятия;
точную потерю клиентов;
текущую производственную конфигурацию;
независимую эффективность каждой объявленной восстановительной меры.

Эти пробелы нельзя ответственно заполнять спекуляциями.

Нерешённые вопросы можно проверить такими доказательствами, как:

версионированные тикеты изменений и диффы процедур;
моделирование топологии и маршрутной политики;
сигнальная телеметрия по каждому узлу;
журналы согласованности базы данных;
хеши резервных копий и результаты проверки;
записи поддержки вендоров;
пробы по конкретным услугам;
отчёты о внедрении сбоев;
последующие подтверждения регулятора.

Неопределённость — не повод отказываться от ответственности. Она определяет запрос на доказательства.

Повторно используемый тест ответственности за изменения мобильной сети

Событие KDDI поддерживает практический стандарт для высокозначимых телекоммуникационных работ.

1. Свяжите намерение с исполняемым изменением.
Согласованный результат, модель топологии, процедура, целевые устройства и точный дифф конфигурации должны образовывать один версионированный объект.

2. Сделайте экспертную проверку доказательной.
Проверяющий должен видеть намеченное состояние сети, аномальные пути, ожидаемые результаты и условия отката, а не только список команд.

3. Классифицируйте по максимальному вреду.
Глубина согласования должна следовать за потенциальным воздействием на услуги, географию, экстренные службы и общий режим.

4. Установите бюджет радиуса поражения.
До выполнения определите максимальное число затронутых узлов, регионов, пользователей, время и нижестоящее состояние.

5. Тестируйте частичный отказ.
Отрабатывайте отброшенные запросы, асимметричную маршрутизацию, дублированную сигнализацию, задержанные ответы и потерю одного из двух путей.

6. Защищайте сигнальные и идентификационные системы.
Ограничивайте повторы, допуск и спрос к базе данных, чтобы короткий перерыв не стал самоподдерживающейся перегрузкой.

7. Создавайте реальные домены сбоя.
Распределение должно сдерживать аномальную нагрузку, а не только разделять обычную.

8. Сделайте откат осведомлённым об услуге.
Критерии отката должны включать здоровье регистрации, вызовов, данных и базы данных, а не только восстановленную конфигурацию маршрутизатора.

9. Сохраняйте заведомо исправное состояние.
Программное обеспечение, конфигурация и критически важное состояние восстановления абонентов нуждаются в независимой целостности и происхождении.

10. Дайте реагирующим ограниченные полномочия.
Команды должны знать, когда они могут изолировать узлы, сбрасывать нагрузку, разделять регионы и активировать резерв.

11. Определяйте восстановление по транзакциям.
Измеряйте отдельно регистрацию, голос, экстренные вызовы, данные, SMS, MVNO, IoT, предприятия, роуминг и функции поддержки.

12. Наблюдайте снаружи.
Используйте пробы и партнёров, не зависящих от ремонтируемой плоскости управления.

13. Воспроизводите класс инцидента.
Тестируйте семантические варианты сбоя, а не только точную команду, вызвавшую прошлый инцидент.

14. Привяжите исправление к развёрнутому состоянию.
Политики и схемы должны указывать на текущую конфигурацию, результаты тестов, исключения и решения об остаточном риске.

15. Поддерживайте ограниченный альтернативный путь.
Аварийный роуминг, другой оператор, фиксированная связь, Wi-Fi или общественные телефоны могут снизить вред, но их ёмкость и ограничения должны тестироваться и сообщаться.

16. Публикуйте пропорциональные подтверждения.
Объясняйте, что отказало, какой класс контроля изменён, как он протестирован и что остаётся неопределённым, не раскрывая чувствительные команды или архитектуру.

Этот стандарт не требует, чтобы национальная сеть никогда не отказывала. Он требует, чтобы полномочия соответствовали радиусу поражения, а заявления о восстановлении можно было проверить.

Заключение

Июльский сбой KDDI 2022 года начался с неверной настройки маршрута при обслуживании. Конфигурация была возвращена после короткого перерыва. Инцидент продолжился, потому что сеть изменила состояние.

Запросы регистрации местоположения повторялись. Узлы VoLTE перегрузились. Трафик аутентификации абонентов вырос. Абонентская база данных стала перегруженной и несогласованной. Часть восстановительного состояния была повреждена. Шесть из восемнадцати узлов были изолированы, пока реагирующие снижали сигнальное давление. Клиенты испытали заявленный эффект продолжительностью 61 час 25 минут в общенациональных голосовых услугах и передаче данных. [1][5][9]

Ответственный урок — не в том, что один человек совершил одну ошибку.

Он в том, что изменение национальной сети — это цепочка институциональных элементов контроля. Хранение процедур, экспертная проверка, согласование, анализ радиуса поражения, сроки отката, проектирование аномальных состояний, наблюдаемость перегрузок, целостность резервных копий, полномочия на восстановление и измерение услуг — всё это определяет, останется ли короткая ошибка короткой.

KDDI опубликовала корректирующие меры по всей этой цепочке. Эти меры заслуживают признания и проверки. Позднейшая услуга аварийного роуминга добавляет ценный альтернативный путь с ясными ограничениями. Ни длинный чек-лист, ни резервная сеть не заменяют доказательств того, что первичный класс сбоя сдержан.

Для критически важной мобильной инфраструктуры возврата старого маршрута недостаточно. Оператор должен показать, что сигнальная система стабильна, состояние абонентов заслуживает доверия, важнейшие вызовы работают, резерв реален, а следующее высокозначимое изменение не может незаметно пересечь ту же границу.

Это тест ответственности, созданный 61 часом после того, как маршрут уже вернулся.

61-часовой сбой KDDI сделал контроль изменений маршрутизаторов тестом на ответственность

Почему это важно