Optus и сбой, который сделал экстренную связь тестом на ответственность оператора

Кратко

• Сбой Optus 8 ноября 2023 года стал национальным отказом непрерывности связи с последствиями для общественной безопасности. По оценке заказанного правительствомобзора Бина, пострадали около 10 млн клиентов и почти полмиллиона предприятий; позднее ACMA установило, что Optus не обеспечил доступ к службе экстренных вызовов для 2 145 человек.
• Технической причиной был не простой случай «интернет лёг». Согласно расследованию ACMA, плановое обновление ПО в международной транзитной сети верхнего уровня Singtel привело к перенаправлению трафика: Optus получил резкий прирост маршрутной информации IPv6, на ядерных маршрутизаторах были превышены предустановленные пороги безопасности стороннего вендора, и эти маршрутизаторы самоизолировались.
• Экстренная связь вышла из строя не только потому, что отказали обычные услуги Optus. Более серьёзная проблема непрерывности состояла в том, что часть 3G-радиомодулей продолжала излучать сигнал, хотя экстренные вызовы не могли пройти через ядро сети Optus. Часть устройств пыталась использовать эти сигналы Optus вместо того, чтобы перейти на другого оператора, а у Optus не было удалённого канала управления, чтобы принудительно погасить эти 3G-объекты во время сбоя.
• ACMA расценил это как устранимый сбой с точки зрения соблюдения требований, а не как неизбежное событие на стороне вышестоящего звена. В отчёте ведомства говорится, что конфигурация, архитектура, распространение маршрутной информации, зависимость от сети эксплуатации и технического обслуживания (O&M) и порядок управления изменениями в сети находились под контролем Optus. Optus оспорил часть этих выводов, однако регулятор отклонил довод о том, что сбой был вне контроля Optus, когда речь идёт об экстренных вызовах.
• Коммуникация с клиентами и заинтересованными сторонами стала вторым направлением подотчётности. Обзор Бина признал информирование клиентов недостаточным, отметил, что добровольные рекомендации, судя по всему, не соблюдались, и предложил ввести обязательные требования к информированию клиентов при крупных сбоях.
• Повестка реформ после сбоя важна, потому что показывает, чего не хватало: куратора службы Triple Zero, сквозного тестирования экстренных вызовов раз в полгода, обмена данными о сбоях в реальном времени, обязательной отчётности после инцидентов, прямых уведомлений, улучшенной коммуникации с клиентами и более широкого планирования резервирования со стороны правительства и отрасли.

Сбой стал проверкой общественной безопасности, а не просто отказом оператора связи

Сбой Optus относится к той же категории подотчётности, что и инциденты с контрол-плоскостью облаков, коллапс систем планирования авиакомпаний и отказы платёжных сетей, но с более острой ценой для общественной безопасности. Когда падает розничное приложение, потребители теряют удобство, а бизнес — продажи.

Когда отказывает национальный оператор, первоочередной вопрос непрерывности — смогут ли клиенты дозвониться в экстренные службы, смогут ли больницы координировать работу, продолжат ли работу транспортные операторы, смогут ли малые предприятия принимать платежи, смогут ли государственные органы обмениваться оперативной информацией и знают ли уязвимые категории людей, что им делать.

Официальная публичная документальная база на редкость основательна. Правительство Австралии объявило о посленицидентном обзоре 9 ноября 2023 года и позднее опубликовалообзор сбоя Optus 8 ноября 2023 года, подготовленный под руководством Richard Bean. В итоговом отчёте говорится, что сбой нарушил предоставление услуг клиентам Optus и клиентам реселлеров Optus, затронул потребителей, предприятия, государственные службы, общественное здравоохранение и инфраструктуру безопасности, а также сказался примерно на 10 млн клиентов и почти полумиллионе предприятий.

Затем появился материал о правоприменении — от Австралийского управления по коммуникациям и медиа (Australian Communications and Media Authority, ACMA). В ноябрьском релизе ACMA за 2024 годOptus выплатит штраф в 12 млн долларов за сбой службы Triple Zeroговорится, что дочерние компании Singtel Optus выплатили штрафы на общую сумму более 12 млн долларов после нарушений правил об экстренных вызовах. ACMA установило, что во время сбоя Optus не обеспечил доступ к службе экстренных вызовов для 2 145 человек и не провёл 369 обязательных проверок благополучия людей, пытавшихся совершить экстренный вызов.

Эти два документа отвечают на разные вопросы. Обзор Бина не был правоприменительным разбирательством. В нём прямо говорилось, что технические причины, соблюдение нормативных требований и адекватность размера компенсаций выходили за рамки его основной задачи. Его предмет — какие уроки система может извлечь в отношении Triple Zero, действий правительства, информирования клиентов, жалоб, компенсаций и устойчивости телекоммуникаций.Отчёт о расследовании и страница уведомлений о нарушенияхACMA, напротив, — это документ регулятора о соблюдении законодательства об экстренных вызовах. Ответственная статья должна использовать оба документа, не смешивая их.

Совокупный вывод жёсток: устойчивость телекоммуникаций — это не только время безотказной работы. Это способность оператора сохранять доступ к экстренным вызовам, управлять отказами ядра сети, сохранять доступность каналов управления, предупреждать других поставщиков, делиться статусом с правительством и экстренными службами, точно информировать клиентов и предоставлять доказательства по итогам инцидента.

Техническая цепочка оказалась достаточно управляемой, чтобы стать предметом регуляторного вывода

Публичная история сбоя начинается с маршрутной информации. В обзоре Бина говорится, что большое число маршрутизаторов Optus автоматически самоизолировалось после перегрузки маршрутной информацией IP. Во время обновления ПО сеть Optus получила изменения маршрутной информации от резервного пирингового маршрутизатора Singtel; эти изменения распространились через несколько уровней ядра IP-сети. Около 4:05 утра по AEDT на значительном числе маршрутизаторов Optus были превышены предустановленные пороги безопасности, и связь с ядром сети была потеряна.

Расследование ACMA добавляет важные детали. ВPDF-отчёте о расследовании ACMAговорится, что прирост маршрутной информации последовал за плановым обновлением ПО в одной из международных транзитных сетей верхнего уровня Optus — интернет-обмене Singtel. Маршрутизаторы STiX в Северной Америке были обновлены, трафик перенаправлен на резервный пиринговый маршрутизатор Singtel в Азии; перенаправление произошло так, как и ожидалось при подобном обновлении. Затем сеть Optus получила резкий прирост маршрутной информации, прежде всего IPv6, которая распространилась через несколько уровней, пока на части ядерных маршрутизаторов не были превышены предустановленные пороги безопасности.

Это различие важно. Если остановиться на тезисе «обновление у вышестоящего Singtel спровоцировало проблему», практическая подотчётность размывается. ACMA на этом не остановился. Ведомство признало, что обновление ПО вызвало прирост маршрутной информации, но сочло причиной сбоя самоизоляцию ядерных маршрутизаторов Optus. Оно заявило, что обслуживание этих маршрутизаторов, а также архитектура и конфигурация сети Optus находились под контролем Optus. Отмечено также, что пороги по умолчанию были установлены сторонним вендором оборудования, однако их можно было изменить.

Optus утверждал, что прирост маршрутного трафика был вне его контроля и что ни вендор оборудования, ни внешние эксперты не выявили риск, связанный с порогами безопасности маршрутизаторов, до сбоя. ACMA отклонил более широкое оправдание. В отчёте сказано, что перенаправленный трафик распространился через несколько уровней сети Optus, не вызвав самоизоляции других маршрутизаторов на других уровнях, и что сам Optus заявлял: сеть должна была справиться с этим изменением.

Формулировка подотчётности у регулятора необычно прямая: молчание вендора оборудования или внешних экспертов не освобождало Optus от ответственности и не переносило риск, связанный с некачественной конфигурацией и управлением изменениями, с Optus на кого-то другого.

В этом суть инцидента. Оператор сети может полагаться на вендоров, транзитные договорённости верхнего уровня, настройки по умолчанию, внешних экспертов и пиринговые сети. Но именно он владеет архитектурой, которая определяет, превратится ли разумное изменение маршрутизации в общенациональный отказ оператора. Ему принадлежат контроль распространения маршрутов, пересмотр порогов безопасности, лабораторное тестирование, готовность к откату, телеметрия, изоляция плоскости управления, карта зависимостей и бизнес-процесс, в рамках которого спрашивается, не перегрузит ли запланированное изменение на стороне вышестоящего звена локальное ядро сети.

Это не означает, что все детали были публично известны до события. Отчёт ACMA местами отредактирован, в нём нет полной карты сети Optus. Он также не доказывает, что конкретный инженер, вендор или руководитель напрямую знал о точной цепочке отказа. Вывод об ответственности уже и сильнее: конфигурация и архитектура находились под практическим контролем Optus, и регулятор установил, что до сбоя можно было разумно и практически выполнимыми шагами повысить устойчивость.

Triple Zero отказала на стыке отказа сети и конструкции резервного пути

Самый серьёзный сбой непрерывности состоял не в том, что обычные услуги Optus были недоступны. Общенационального отказа оператора и так достаточно. Но система экстренных вызовов должна иметь резервное поведение, когда домашняя сеть мобильного абонента недоступна. В общем случае мобильное устройство может «зарегистрироваться» (camp on) в другой доступной сети для экстренного вызова, если домашняя сеть не может провести вызов.

В обзоре Бина объясняется, почему это не сработало надёжно 8 ноября. При потере связности ядра сети базовые станции 4G и 5G Optus автоматически «гасли» (wilted), то есть отключались, чтобы устройства могли искать другие сети. Однако 3G-радиомодули Optus продолжали излучать сигнал, потому что сохраняли связь с ядром сети по голосовому каналу, хотя из-за отказа ядра вызовы не могли дойти до Triple Zero. Часть устройств обнаруживала эти 3G-сигналы и пыталась совершить экстренный вызов через Optus, а не искать другую сеть. Вызовы получали сигнал ошибки от сети Optus.

В отчёте ACMA та же проблема сформулирована на языке правоприменения. Сбой привёл к потере связности с сетью эксплуатации и технического обслуживания Optus. Эта сеть O&M использовалась для мониторинга элементов сети, включая базовые станции. Из-за потери связности Optus было трудно установить, что 3G-модули продолжают излучать сигнал и сохраняют возможность передачи голоса во время сбоя. Этот 3G-сигнал мешал большинству мобильных устройств переходить на другие сети при совершении экстренных вызовов, хотя провести вызовы Optus не мог.

Резервный путь отказал ровно в той точке, где обычный клиент не видел разницы. Человек в беде не знает, сидит ли его телефон на повреждённом 3G-радиомодуле, пытается ли перейти на другого оператора или молча застрял между состоянием сети доступа и ядра. С точки зрения пользователя имеет значение только один вопрос: устанавливается и удерживается ли экстренный вызов.

Именно поэтому цифры экстренных вызовов ACMA важны. Регулятор установил, что в приложении к отчёту перечислены 2 145 несостоявшихся экстренных вызовов. Он установил, что Optus Mobile не обеспечил доступ к службе экстренных вызовов для 2 091 конечного пользователя, звонившего на 000 или 112, Optus Networks — для 41 конечного пользователя, а Optus Internet — для 12. Также установлен один несостоявшийся вызов на 106 для фиксированной линии, предоставляемой Optus Networks. Всего, по выводу ACMA, 2 145 вызовов не были доведены до соответствующей точки завершения.

Регуляторная рамка отвергает чисто бумажный взгляд на доступ к экстренной связи. Согласно отчёту ACMA, Optus утверждал, что соответствующее требование касается конфигурации сети, а не соединения реальных вызовов. ACMA отклонил этот довод, сославшись на правовую концепцию: человек не имеет доступа к службе экстренных вызовов, если при попытке вызов не может быть установлен и поддержан. Иными словами, доступ к экстренной связи не обеспечивается номинальной архитектурой, если пользователь не может дозвониться.

Это центральный урок подотчётности для всех критических сетей. Резервный путь существует не потому, что он есть на схемах. Он существует, когда реальные устройства, реальные состояния радио, реальные отказы ядра и реальная маршрутизация экстренных вызовов корректно работают под нагрузкой.

Выносное управление оказалось не второстепенным вопросом

Выносное управление (out-of-band, OOB) легко считать инженерной деталью — до того момента, когда сеть лежит, а оператор не может дотянуться до компонентов, которыми ему нужно управлять. В случае Optus оно стало инструментом общественной безопасности.

В обзоре Бина говорится, что двумя коренными причинами неспособности Optus обеспечить успешные экстренные вызовы на Triple Zero через переход на другие сети были недоступность инфраструктуры ядра через сеть эксплуатации и технического обслуживания или сеть выносного управления, а также невозможность принудительно погасить 3G-базовые станции. В обзоре зафиксировано, что Optus заявлял: после сбоя у него были варианты действий, если бы сеть OAM была доступна, включая удалённую отмену автоматического отключения, однако 8 ноября сеть OAM была недоступна, и Optus не мог вручную или удалённо отключить 3G-сеть, чтобы принудительно погасить её.

ACMA сформулировал то же самое резче. В его отчёте говорится, что сеть O&M необходима для поддержания надлежащего и эффективного функционирования сети, поскольку она контролирует состояние и управляет частями сети, включая мобильные базовые станции. Регулятор установил, что Optus не предпринял практически выполнимых мер для создания выносных сетевых подключений, позволяющих эффективно управлять сетью в случае сбоя. По его мнению, архитектура сети O&M должна была уменьшить зависимость от ядра сети, чтобы риск каскадных отказов был снижен до приемлемого уровня.

Optus заявил ACMA, что сеть OOB не использовалась для экстренных вызовов и потому не подпадает под соответствующую норму определения об экстренных вызовах. ACMA отклонил этот довод. Регулятор указал, что отказ OOB значим, поскольку отказы, связанные с сетью O&M, означали, что сеть в целом функционировала не надлежащим и не эффективным образом. Он сказал, что эффективная работа OOB могла бы сократить масштаб, влияние и продолжительность сбоя, обеспечив надёжный способ обслуживания затронутых частей сети — прежде всего устранения отказа в отключении 3G-вышек.

Этот вывод важен и за пределами Optus. Сети управления, каналы удалённого доступа, управление питанием, системы наблюдаемости, привилегированный доступ и аварийные операционные регламенты часто считаются внутренними средствами надёжности. В критической инфраструктуре они становятся публичными средствами. От них зависит, сможет ли оператор перевести сеть в более безопасное деградированное состояние, когда основная плоскость обслуживания отказала.

Более безопасное деградированное состояние здесь — это не «восстановить всё мгновенно». Оно проще: прекратить излучать вводящий в заблуждение 3G-сигнал, чтобы телефоны могли пытаться совершать экстренные вызовы через другую сеть. Инженерная задача оказалась связана с человеческими последствиями. Зависимость от плоскости управления не позволила резервному пути общественной безопасности заработать в масштабе.

Коммуникация с клиентами стала отдельным сбоем непрерывности

Сбой также обнажил пределы добровольной практики информирования клиентов. В обзоре Бина зафиксировано, что Optus выпустил первое медиазаявление в 6:33 утра — примерно через два с половиной часа после начала сбоя, — затем ещё одно в 8:16 утра. Optus заявил, что считает медиаинформирование самым быстрым и эффективным каналом, потому что клиенты не могли получить доступ к услугам Optus. Компания также связалась с корпоративными клиентами, разместила сообщения на сайте и в соцсетях после восстановления в 12:55 дня, с 14:00 предоставляла информацию в розничных магазинах, а главный исполнительный директор дал 11 интервью СМИ.

В обзоре это не сочли достаточным. В нём сказано, что Optus считал свою коммуникацию достаточной и надлежащей, но эту точку зрения не разделяли другие, включая авторов обзора. Отмечаются недовольство клиентов, открытые письма и обращения к министру связи, а также обеспокоенность защитников прав потребителей тем, что отсутствие своевременной и ясной информации причинило страдания — особенно уязвимым людям, людям с инвалидностью, пользователям с невысокими доходами и жителям региональных, сельских и отдалённых районов.

Вывод обзора однозначен: коммуникация во время сбоя Optus была неудовлетворительной. Отмечаются задержки с информированием клиентов, отсутствие в течение дня подробных ответов о причинах и масштабе, а также отсутствие сроков устранения. В обзоре также сказано, что руководство по экстренной связи (Emergency Communications Protocol) организации Communications Alliance было ограниченным, оставляло многое на усмотрение провайдера и, судя по всему, не соблюдалось Optus.

Это не только вопрос репутации. Коммуникация — это контроль непрерывности. Клиент без мобильной связи и интернета должен знать, доступна ли Triple Zero, затронута ли стационарная линия, нужно ли сменить местонахождение, есть ли у больниц и домов престарелых альтернативные каналы связи, затронуты ли платёжные терминалы, распространяется ли сбой на реселлеров, затронуты ли корпоративные услуги и когда пора перестать ждать и переключиться на резервного провайдера.

Для малых предприятий проблема коммуникации особенно конкретна. По оценке обзора, пострадали почти полмиллиона предприятий. Кафе, которое не может принимать карты, медицинская практика, которая не может принимать звонки, курьер, зависящий от мобильного интернета, или индивидуальный предприниматель, ждущий звонков клиентов, — всем нужна информация о восстановлении, на основе которой принимаются решения. Отправлять ли сотрудников домой? Вводить ли расчёты только наличными? Раздавать ли резервные SIM-карты? Отменять ли записи? «Мы работаем над этим» не отвечает на эти операционные вопросы.

Рекомендация обзора вытекала естественно: ACMA должно разработать стандарт или определение, обязывающее операторов сообщать клиентам конкретную информацию во время сбоев и о сбоях. Это переход от управляемой брендом кризисной коммуникации к регулируемому минимальному информированию.

Реселлеры и другие провайдеры были не просто наблюдателями

Сеть Optus обслуживала и клиентов реселлеров, и прямых клиентов Optus. Это создало ещё один уровень подотчётности: когда базовый оператор отказывает, нижестоящие поставщики услуг связи и их клиенты нуждаются в прямом и пригодном к использованию уведомлении.

ACMA установил, что Optus Mobile и Optus Networks нарушили обязанности по уведомлению других поставщиков услуг связи. В отчёте регулятора сказано, что Optus Mobile предоставил список из 16 поставщиков услуг связи (CSP), а Optus Networks — список из 20 CSP, которым они предоставляли соответствующий доступ. Для уведомления CSP, использующих сеть Optus, компания опиралась в основном на общенациональные медиаканалы, соцсети, пресс-релизы и обновления на сайте. ACMA счёл эти заявления широкими публичными сообщениями, а не прямыми уведомлениями самим CSP, и установил, что они не отвечают требованиям об уведомлении.

Optus признал, что не уведомил напрямую CSP, указанных в предварительных выводах.

Это важно, потому что оптовая зависимость меняет форму ущерба для клиентов. Клиент реселлера может не знать, что базовой сетью управляет Optus. Служба поддержки реселлера может быть завалена жалобами, не имея при этом прямого статуса, технических фактов, информации об экстренных вызовах и сроков восстановления. Нижестоящим провайдерам может понадобиться рассылать предупреждения, корректировать скрипты поддержки, предупреждать уязвимых пользователей и координировать работу с корпоративными клиентами.

При общенациональном сбое пресс-релизы не заменяют прямого операционного уведомления. Критически важные цепочки зависимостей нуждаются в назначенных контактах, эскалационных путях, потоках статусов и согласованном заранее языке сообщений. Ответственный оператор должен знать, кто зависит от его сети, до сбоя, а не обнаруживать эти связи через публичную неразбериху во время сбоя.

Более широкие выводы обзора Бина о координации указывают в ту же сторону. В нём зафиксированы недостатки коммуникации, сотрудничества и обмена информацией в течение всего дня, а также сказано, что действующие протоколы не обеспечили ясного и скоординированного ответа ключевых заинтересованных сторон. Протокол уведомления о крупных сбоях в предоставлении услуг не соблюдался. Национальный координационный механизм был активирован днём и провёл два совещания, однако, по выводу обзора, более ранняя и более чёткая координация под руководством правительства была бы полезной.

Парламентский надзор расширил ту же доказательную базу.Отчёт о сбое сети OptusКомитета Сената по вопросам окружающей среды и коммуникаций (Senate Environment and Communications References Committee) и его публичнаяподборка представленных материаловпоказывают, как группы потребителей, участники отрасли, государственные органы и пострадавшие стороны рассматривали сбой как событие публичной подотчётности, а не как частный спор об обслуживании клиентов. Эти парламентские материалы не заменяют правоприменительные выводы ACMA, но подкрепляют тезис о том, что общенациональный сбой оператора создаёт потребность в доказательствах во всей экосистеме.

Сбои операторов поэтому не являются двусторонними событиями между компанией и её розничными клиентами. Они проходят через реселлеров, организации экстренных служб, организацию, принимающую экстренные вызовы, регуляторов, министров, ведомства штатов и территорий, больницы, транспортных операторов, платёжных провайдеров и корпоративных клиентов. Ответственность следует по графу зависимостей.

Проверки благополучия показали человеческую сторону цепочки соблюдения требований

Отказ экстренного вызова не заканчивается, когда сеть восстанавливается. Если человек пытался совершить экстренный вызов и не смог, система должна ответить на человеческий вопрос: получил ли этот человек помощь позднее?

ACMA установил, что Optus не провёл обязательные проверки благополучия по 369 вызовам. В его отчёте сказано, что Optus провёл проверки благополучия в кратчайшие практически возможные сроки по 183 из 2 145 вызовов. Ведомство признало, что исключение применимо к 31 вызову, поскольку конечный пользователь впоследствии успешно совершил экстренный вызов, перейдя на сеть Telstra. Оно признало, что ещё одно исключение применимо к 1 562 вызовам, поскольку местоположение мобильного оборудования клиента изменилось с момента вызова. Осталось 369 вызовов, требовавших проверок благополучия.

Optus признал, что не провёл проверки благополучия по этим вызовам: 361 касался конечных пользователей Optus Mobile и восемь — конечных пользователей Optus Networks.

Обязанность провести проверку благополучия — не бюрократический довесок. Это последний известный системе шанс выявить человека, который пытался дозвониться до помощи и может всё ещё находиться в зоне риска. Процесс может включать телефонный или SMS-контакт и, если контакт не удаётся, передачу обращения в полицию штата или территории. Оператор, который не может выявить несостоявшиеся экстренные вызовы, проверить, не было ли позднее успешных вызовов, или оперативно выполнить проверки благополучия, имеет разрыв непрерывности, сохраняющийся и после восстановления сигнала.

Именно здесь телекоммуникационная подотчётность становится максимально человечной. Журнал несостоявшихся вызовов — это не просто набор данных. Каждая запись может означать человека в состоянии медицинской чрезвычайной ситуации, жертву насилия, пожар, ДТП или уязвимое домохозяйство. Практики оператора по работе с доказательствами, детализация вызовов, логика исключений, обработка местоположения клиента и посленицидентные процессы определяют, исчезнет ли этот человек в статистике сбоя или получит последующее внимание.

Формулировки релиза ACMA уместно суровы. В нём говорится, что доступность Triple Zero — самая фундаментальная услуга, которую операторы обязаны предоставлять обществу, и что, когда экстренный вызов не соединяется, последствия для общественного здоровья и безопасности могут быть разрушительными. В релизе также сказано, что по итогам сбоя Optus не обеспечил последующее наблюдение за безопасностью и благополучием более 360 клиентов.

Ни один публичный документ не должен преувеличивать степень известного. Отчёт ACMA не публикует индивидуальные обстоятельства чрезвычайных ситуаций по 2 145 несостоявшимся вызовам. Он не утверждает, что каждый несостоявшийся вызов причинил конкретный вред. Но он устанавливает, что доступ к экстренной помощи и последующие обязанности нарушались в массовом масштабе, — и этого достаточно для уверенного вывода об ответственности.

Управленческие последствия достигли вершины Optus

Сбой привёл и к видимым последствиям для руководства. 20 ноября 2023 года Singtel объявил, что главный исполнительный директор Optus Kelly Bayer Rosmarin ушла в отставку. Взаявлении компанииSingtel говорится, что она провела Optus через сложный период и что компания назначит временного генерального директора на время поиска замены. Само по себе заявление не возлагало юридической ответственности за сбой, но оно показало, что подотчётность поднялась выше уровня инженерного менеджмента.

Финансовая отчётность Singtel зафиксировала операционную значимость события. Вгодовом отчётеSingtel описывает Optus как крупный бизнес и отражает период операционного и репутационного давления после сбоя и более ранних киберинцидентов. Годовые отчёты — не криминалистические материалы об инциденте, но они показывают, как общенациональный сбой становится вопросом управления, бренда, инвестиций и регулирования для материнской группы.

Руководящий уровень не должен заслонять инженерный. Отставка генерального директора не заменяет пересмотренных механизмов контроля маршрутизации, тестирования экстренных вызовов, укрепления выносного управления, уведомления реселлеров и дисциплины проверок благополучия. Но смена руководства значима, потому что устойчивость оператора связи — производное от бюджетов, аппетита к риску, приоритетов модернизации, надзора за вендорами, давления совета директоров, отношений с регулятором и готовности к кризисам.

Рекомендованный обзором Бина пакет реформ подтверждает, что проблема не сводилась к одному человеку. Обзор содержал 18 рекомендаций, охватывающих обязанности по экстренным вызовам, надзор куратора, сквозное тестирование раз в полгода, поведение устройств, обмен данными о сбоях в реальном времени, посленицидентные отчёты, протоколы о сбоях, контракт с организацией, принимающей экстренные вызовы, правительственную координацию, коммуникацию с клиентами, жалобы, компенсации, временный роуминг, взаимопомощь, удалённый доступ к инструментам управления сетью, резервирование в госсекторе и пересмотр законодательства и регулирования Triple Zero.

Ответ правительства Австралии признал необходимость системных реформ. Вответе правительства на обзор Бинарекомендации поддержаны полностью или в принципе, с обязательствами по изменениям во всей телекоммуникационной экосистеме. Такая позиция важна, потому что она не делает вид, будто сбой был лишь проблемой частной компании. Optus нёс прямую операционную ответственность за свою сеть, но и правительству пришлось столкнуться с пробелами в надзоре, координации и управлении экстренной связью.

Куратор Triple Zero — управленческий ответ на пробел владения

Один из важнейших выводов обзора Бина состоит в том, что Triple Zero работает как экосистема. Доступ звонящего к экстренной помощи зависит от оператора происхождения вызова, поведения устройства, состояния сети, организации, принимающей экстренные вызовы, организаций экстренных служб, регуляторов, контрактов, отраслевых комитетов и служб реагирования штатов и территорий. До сбоя ни один орган не нёс сквозной кураторской ответственности за эту экосистему.

В обзоре сказано, что Telstra в соответствии с контрактными и регуляторными договорённостями является организацией, принимающей экстренные вызовы 000 и 112 (Emergency Call Person), — она отвечает на вызовы Triple Zero и переводит их. Также сказано, что контракт ECP не требует от Telstra контролировать сквозное предоставление услуги Triple Zero или выступать куратором экосистемы в целом. ACMA регулирует соблюдение требований, но регулирование — это не операционное кураторство. Существующие комитеты поддерживают координацию, однако, по выводу обзора, они плохо приспособлены к роли куратора.

Публичнаяинформация Telstra об экстренных службах— полезный контекст для роли ECP: она описывает публичный путь экстренного вызова, не превращая Telstra во владельца состояния сети каждого оператора происхождения вызова. Различие в подотчётности важно: организация, принимающая экстренные вызовы, может отвечать на принятые вызовы и переводить их, тогда как Optus всё равно должен был обеспечить своим клиентам доступ к этому пути при отказе сети.

Этот пробел проявился в сбое Optus. Если сеть оператора отказывает, если одни радиослои ведут себя иначе, чем другие, если телефон может, а может и не перейти на другую сеть, если другим провайдерам нужен статус в реальном времени, если экстренным службам нужно понимать происходящее, а правительству — общая картина, кто владеет сквозным здоровьем системы? Ответ обзора — создать куратора Triple Zero с надзором и общей ответственностью за эффективное функционирование экосистемы, включая мониторинг сквозной производительности.

Действующиематериалы о кураторе Triple Zero (Triple Zero Custodian)ведомства показывают, что эта реформа вышла за рамки рекомендации. Функция куратора призвана улучшить надзор, координацию, мониторинг и обмен информацией во всей экосистеме Triple Zero. Это не то же самое, что возложить на один орган ответственность за проектирование сети каждого оператора. Это способ гарантировать, что в системе есть тот, кто смотрит на всю цепочку, а не только на отдельные нормативные силосы.

Для анализа подотчётности реформа куратора меняет будущий стандарт. Оператора по-прежнему будут судить по его собственной архитектуре и обязанностям в отношении экстренных вызовов. Но более широкую систему следует судить и по тому, способна ли она выявлять сквозную деградацию, требовать обмена информацией в реальном времени, координировать публичные сообщения и извлекать уроки из почти случившихся инцидентов до того, как несостоявшийся вызов превратится в трагедию.

Обязательное тестирование — разница между предполагаемым и доказанным резервным путём

Обзор рекомендовал раз в полгода проводить сквозное тестирование всех аспектов экосистемы Triple Zero внутри сетей и между ними. Тестирование должно охватывать функциональность и возможности сети при сбоях различных типов, поведение всех известных устройств в разных обстоятельствах и совместимость от оператора происхождения вызова до ECP и до пункта приёма вызовов экстренной службы во время сбоев. Выявленные недостатки должны сообщаться в ACMA с планами и графиками устранения.

Эта рекомендация бьёт точно в слабое место, обнажённое Optus. Функция перехода на другую сеть для экстренного вызова может работать во многих рядовых сценариях потери покрытия. Вопрос в том, работает ли она, когда станции 4G и 5G оператора гаснут, а станции 3G продолжают излучать, когда ядро недоступно, когда пути O&M лежат, когда устройства различаются по моделям и прошивкам и когда клиент движется через границы покрытия.

Тестирование должно быть достаточно «враждебным», чтобы ломать успокаивающие допущения. Оно должно включать частичные отказы, вводящие в заблуждение сигналы, устаревшие состояния радио, отказавшие плоскости управления, клиентов реселлеров, старые устройства, пользователей с собственными устройствами, сельские границы покрытия, корпоративные голосовые услуги и фиксированные линии. Нужно спрашивать не только «соединяется ли вызов?», но и «знает ли оператор, какие пользователи не смогли дозвониться, можно ли сверить записи о несостоявшихся вызовах, можно ли запустить проверки благополучия и выпустить публичные инструкции?»

ACMA уже обновил требования к экстренным вызовам и анонсировал дальнейшие изменения. В его релизе сказано, что обновления внесены вПостановление 2019 года о телекоммуникациях (служба экстренных вызовов)и что ведомство разрабатывает новый отраслевой стандарт информирования клиентов о сбоях и изменения в порядке работы с жалобами.Отраслевой стандарт 2024 года «Телекоммуникации (информирование клиентов о сбоях)»— часть этого посленицидентного движения к обязательным нормам коммуникации.

Разница между добровольными рекомендациями и обязательным тестированием — доказательства. После следующего сбоя оператор должен суметь показать последнее межсетевое тестирование экстренных вызовов, протестированные классы устройств, смоделированные режимы отказов, выявленные недостатки, график устранения, отчёты регулятору и владельца управления. Без такого досье «мы считали, что резервный путь сработает» — это не аргумент об устойчивости.

Жалобы и компенсации были слишком индивидуализированы для массового сбоя

Обзор Бина рассмотрел также жалобы и компенсации. Вопрос не сводился к тому, дал ли Optus клиентам хоть что-то. Optus объявил о дополнительном трафике для соответствующих мобильных клиентов и клиентов предоплаченных тарифов и о более высоких скоростях домашнего интернета в течение декабря для клиентов домашнего интернета. В обзоре отмечено недовольство предложением и внимание к тому, достаточны ли существующие механизмы жалоб и компенсаций для сбоя кризисного масштаба.

Центральную роль в индивидуальных жалобах играет Омбудсмен телекоммуникационной отрасли. В обзореОмбудсмен телекоммуникационной отраслиописан как бесплатная и независимая служба разрешения споров для потребителей, малых предприятий, некоммерческих организаций, арендаторов и собственников недвижимости с жалобами на поставщиков телефонной связи или интернета. TIO может помогать с некоторыми компенсационными требованиями, включая упущенную прибыль бизнеса из-за сетевых неполадок, расходы на альтернативные услуги и в ряде случаев нематериальные неудобства.

Но массовый сбой перегружает индивидуальную работу с жалобами. Обзор рекомендовал изменить стандарты работы с жалобами и правила ведения записей, чтобы они учитывали последствия сетевых сбоев и ожидания общества во время кризисных событий. Он также рекомендовал единый отраслевой подход к мерам урегулирования, доступным потребителям, пострадавшим от кризисных или крупномасштабных сбоев, включая возможные формы компенсаций и штрафов.

Это особенно актуально для малого бизнеса. Индивидуальный предприниматель или небольшой магазин мог потерять полдня платежей, пропустить звонки, потерять брони или оплатить простой сотрудников. Убытки могут быть реальными, но доказывать их на уровне, оправдывающем формальную эскалацию спора, трудно. Стандартизированная рамка компенсаций за сбой не может охватить каждый убыток, но может снизить административное бремя тысяч людей, доказывающих мелкие требования поодиночке.

ACCCи архитектура защиты потребителей значимы на заднем плане, потому что телеком-сбои порождают вопросы и о качестве услуг, и о рыночном поведении. Обсуждение в обзоре Бина специальных механизмов жалоб указывает на коллективную обработку значительных или системных проблем, затрагивающих потребителей или малый бизнес. Это не означает, что каждый сбой должен автоматически порождать крупные выплаты. Это означает, что системе нужен механизм для массовых событий, признающий практическую стоимость индивидуального доказывания.

Более широкий урок непрерывности в том, что компенсации не заменяют устойчивость. Дополнительный трафик не возвращает несостоявшийся экстренный вызов. Кредит на счёт не открывает бизнес в момент, когда его платёжный терминал лежит. Но устройство компенсаций и жалоб — часть подотчётности, потому что оно определяет, признаётся ли вред и урегулируется ли он соразмерно после отказа услуги.

Непрерывность госсектора: одновременно и жертва, и сторона реагирования

Тематическая категория данной статьи включает непрерывность государственного сектора, потому что сбой Optus напрямую затронул государственные и экстренные функции. В обзоре Бина сказано, что больницы испытывали помехи, транспортные сети были нарушены, государственные услуги пострадали. Также сказано, что австралийские телекоммуникационные сети — основа критически важной государственной, общественной медицинской инфраструктуры и инфраструктуры безопасности.

Этот контекст не риторический.Отраслевая информация о телекоммуникацияхЦентра кибербезопасности и защиты инфраструктуры (Cyber and Infrastructure Security Centre) помещает телекоммуникации в рамки австралийской инфраструктуры критической важности, поэтому сбой оператора быстро становится проблемой государственного управления.Рамочные принципы управления кризисными ситуациями (Crisis Management Framework)правительства Австралии иНациональное агентство по управлению чрезвычайными ситуациями (National Emergency Management Agency)задают более широкий координационный фон для критики обзора: информация о сбое, эскалация и общеправительственное реагирование нуждались в более ясных путях.

Госсектор играл двойную роль. Он был и пользователем сети, и координатором реагирования. Государственным ведомствам были нужны связь и ситуационная осведомлённость. Национальный координационный механизм собрался днём 8 ноября и включал представителей органов правительства Австралии, ведомств премьеров штатов и территорий и служб экстренного реагирования. В обзоре отмечено, что совещания работали эффективно после созыва, но также установлено, что действующие протоколы и рамки не обеспечили ясного, скоординированного ответа в течение дня.

Обзор рекомендовал улучшить Протокол уведомления о крупных сбоях в предоставлении услуг, задав чёткие требования к коммуникации и сотрудничеству правительства во время телеком-сбоев через центральную точку координации. Это должно охватывать операторов, профильных министров, органы Содружества, штатов и территорий, TIO, ACCC, ACMA, организации экстренных служб и другие заинтересованные стороны. Обзор также рекомендовал правительствам Австралии пересмотреть механизмы поддержания собственной работы во время сбоев, включая телекоммуникационное резервирование критических служб.

Последний пункт принципиален. Правительство не может эффективно регулировать общенациональный сбой, если сами государственные ведомства не имеют резервной связи. Государственные больницы, экстренные службы, диспетчерские транспорта, социальные службы, суды, школы и местные администрации не должны исходить из того, что единственного подключения одного оператора достаточно для кризисной работы. Оператор отвечает за свою сеть; государственные органы отвечают за знание собственной зависимости от неё.

Это не призыв строить телеком-бункер в каждом маленьком офисе. Это призыв к многоуровневому резервированию по критичности: мобильная связь нескольких операторов для сотрудников экстренных служб, резервные интернет-пути для диспетчерских, аналоговый или радийный резерв там, где уместно, бумажные списки контактов, кризисные каналы сообщений, не привязанные к одному провайдеру, и протестированные обходные пути для платежей, диспетчеризации и связи с пациентами.

Сбой Optus стал, таким образом, аудитом непрерывности для страны. Он показал не только то, где не справился Optus, но и то, где больницам, предприятиям, ведомствам и домохозяйствам не хватало практических запасных планов.

Карта подотчётности: что контролировал Optus, а что нет

Справедливая карта подотчётности разделяет триггер, контролируемую архитектуру, операционное реагирование, регуляторную рамку и подготовку нижестоящих звеньев.

Optus не контролировал напрямую каждое действие на стороне вышестоящего звена в международной сети Singtel. Он не производил каждый маршрутизатор. Он не проектировал поведение каждого телефона при экстренных вызовах. Он не управлял коммуникацией каждого реселлера с клиентами. Он не управлял организацией, принимающей экстренные вызовы, и организациями экстренных служб. Он не создавал существовавшую до этого нормативную раздробленность надзора за экосистемой Triple Zero.

Но Optus контролировал или существенно определял архитектуру собственной сети, конфигурацию маршрутизаторов, решение сохранить пороги безопасности по умолчанию третьей стороны или изменить их, схему распространения маршрутов, зависимость O&M и выносного управления от ядра, способность принудительно гасить 3G-объекты, тестирование поведения экстренных вызовов при отказе ядра, прямое уведомление нижестоящих CSP, публичную коммуникацию, коммуникацию с корпоративными клиентами, записи о несостоявшихся вызовах, исполнение проверок благополучия и доказательства посленицидентных исправлений.

Выводы регулятора поддерживают это распределение. ACMA установил, что сбой был предотвратим в той мере, в какой самоизоляция ядерных маршрутизаторов, архитектура и конфигурация находились под контролем Optus. Он установил, что Optus не обеспечил надлежащее и эффективное функционирование контролируемых сетей и объектов. Он установил отсутствие доступа к экстренным вызовам, недоставку вызовов к точкам завершения, непрямое уведомление отдельных CSP и непроведение обязательных проверок благополучия.

Правительство контролировало другой уровень: был ли у экосистемы куратор, существовали ли обязательные правила коммуникации и тестирования, были ли ясны протоколы о сбоях, было ли резервирование у ведомств, поспевало ли законодательство за мобильной зависимостью и достаточны ли полномочия регулятора. Принятие правительством рекомендаций реформ — неявное признание того, что прежняя система не создавала достаточной совместной гарантии.

Клиенты и малый бизнес контролировали меньше всего. Кто-то мог купить резервные SIM-карты, сохранить процедуры работы с наличными, иметь альтернативный интернет или использовать нескольких операторов для критических операций. Но отдельный клиент не может проверить поведение 3G-отключений национального оператора. Малый бизнес не может инспектировать выносную сеть Optus. Звонящие в экстренные службы не могут выбирать архитектуру во время кризиса. Эта асимметрия и есть причина, по которой подотчётность оператора должна быть строже, чем обычный принцип «покупатель, будь бдителен» (caveat emptor).

Что нужно перепроверить до восстановления доверия

Практический тест после Optus — не в том, может ли компания сказать, что внесла изменения. В том, можно ли подтвердить эти изменения доказательствами под нагрузкой.

Во-первых, следует перепроверить гарантии при изменениях маршрутизации. Optus и другие операторы должны уметь показать, как моделируются запланированные изменения маршрутов на стороне вышестоящего звена, как ограничивается рост таблицы маршрутов IPv6, как пересматриваются пороги безопасности маршрутизаторов, как оспариваются настройки вендора по умолчанию, как лабораторные среды воспроизводят режимы отказов и как применяются заморозки изменений и правила отката, когда под угрозой критические уровни сети.

Во-вторых, следует перепроверить резервный путь экстренных вызовов на всех поколениях радио, включая уроки остаточного 3G даже после отключения этих сетей. Урок не следует считать устаревшим из-за вывода 3G-сетей из эксплуатации. Будущие отказы могут затрагивать ядра 4G и 5G standalone, голос поверх LTE, голос поверх Wi-Fi, корпоративную голосовую связь, фиксированный беспроводной доступ, спутниковые дополнения или специфику устройств. Принцип один: ни один уровень доступа не должен вводить устройство в заблуждение, заставляя его пытаться совершить вызов, который не может пройти, если другая сеть могла бы его провести.

В-третьих, доступ O&M и выносной доступ следует перепроверять как систему выживания. Пути управления нуждаются в независимости, пропускной способности, аутентификации и операционных учениях. Вопрос не в том, могут ли инженеры дотянуться до систем в обычный день. Вопрос в том, видят ли они и контролируют ли нужные компоненты, когда ядро частично лежит, телеметрия неполна и общественная безопасность зависит от перевода сети в более безопасное деградированное состояние.

В-четвёртых, коммуникацию с заинтересованными сторонами следует проверять на реальных шаблонах и списках контактов. Общенациональный сбой должен запускать прямые уведомления реселлеров, статус для экстренных служб, правительственную координацию, сообщения клиентам, обновления для СМИ, публикации на сайте и странице статуса, скрипты для розницы, уведомления корпоративным клиентам и инструкции для уязвимых категорий.Стандарт ACMA по информированию клиентовследует считать нижней границей, а не полным сценарием.

В-пятых, операции проверок благополучия следует отрабатывать на учениях. Записи о несостоявшихся экстренных вызовах должны собираться, дедуплицироваться, классифицироваться по исключениям, передаваться при необходимости и проходить аудит. Оператор должен уметь показать, сколько вызовов не прошло, сколько позднее прошло успешно, сколько потребовало проверок благополучия, как быстро начались проверки и как проверялись исключения.

Наконец, о реформенной экосистеме следует публично отчитываться в достаточной детализации для поддержки доверия. Общественности не нужны чувствительные сетевые схемы. Ей нужны доказательства, что последний сбой дал протестированные изменения, исполнимые правила, названного куратора и ясную ответственность за следующий отказ.

Более широкий урок: резервный путь — это продукт, а не обещание

Сбой Optus 8 ноября 2023 года часто вспоминают как день без телефонов и интернета. Это верно, но неполно. Его подлинное значение в том, что он обнажил хрупкую границу между предполагаемым резервным путём и доказанным резервным путём.

Доступ к Triple Zero зависел от слаженной работы многих элементов: маршрутизаторы, поглощающие изменения маршрутов, связность ядра, отключение базовых станций, переход устройств на другую сеть, наблюдаемость O&M, доставка экстренных вызовов, доступность ECP, уведомление реселлеров, процедуры проверок благополучия и публичные инструкции. Что-то работало. Что-то — нет. Следствием стало то, что тысячи экстренных вызовов не могли быть установлены и поддержаны.

Посленицидентная публичная документация необычно определённа в вопросе контроля. ACMA не принял доводов о том, что изменение на стороне вышестоящего звена, настройки вендора по умолчанию или молчание внешних экспертов снимают с Optus ответственность за архитектуру и конфигурацию собственной сети. Обзор Бина не пытался распределить вину так же, но выявил системные пробелы, которые нужно было закрыть: отсутствие сквозного куратора, недостаточное обязательное тестирование, слабые правила коммуникации, неясная координация и недостаточная подготовка к широким телеком-сбоям.

Это и есть зрелая рамка подотчётности. Оператор отвечает за устойчивость и поведение своей сети при экстренных вызовах. Регулятор отвечает за исполнимые минимумы и правоприменение. Правительство отвечает за системную координацию и резервирование госсектора. Бизнес отвечает за реалистичное планирование зависимостей. От клиентов не следует ожидать понимания телеком-архитектуры перед набором Triple Zero.

Сбой показывает и то, почему публичное доверие не восстанавливается одними извинениями. Доверие восстанавливается доказательствами: протестированными механизмами маршрутизации, укреплёнными путями управления, доказанным резервным путём экстренных вызовов, ясной коммуникацией с клиентами, прямым уведомлением заинтересованных сторон, выполненными проверками благополучия, стандартизированными мерами, правоприменением регулятора и публичной отчётностью, позволяющей обществу видеть, что изменилось.

В этом смысле сбой Optus был не просто отказом связи. Это был отказ ответственной гарантии. Оператор, продающий себя как национальная инфраструктура, должен уметь доказать, что, когда его основная сеть падает, экстренный путь, путь управления и путь публичной информации не падают вместе с ней.