Кратко

  • 4 октября 2021 года команда, поданная во время планового обслуживания с намерением оценить доступную ёмкость глобальной опорной сети, сняла все соединения внутри этой сети и отрезала центры обработки данных Facebook от остального мира.
  • Автоматическая проверка, созданная ровно для того, чтобы такие команды не проходили, их не остановила; потеря рабочей сети и потеря способности видеть происходящее оказались одним событием, а не двумя.
  • Проверенный публичный корпус доходит до обещания оператора усилить тесты и учения. Датированного документа, который показывал бы устранение дефекта проверки или учения, замеченного со стороны, в нём нет.

Днём 4 октября 2021 года Facebook, Instagram и WhatsApp перестали отвечать на значительной части планеты на несколько часов. На следующий день оператор опубликовал свою версию событий в записи инженерной команды, и эта версия описывает не атаку и не отказ чужой сети. Она описывает задачу обслуживания, выполненную в собственной инфраструктуре:

"During one of these routine maintenance jobs, a command was issued with the intention to assess the availability of global backbone capacity, which unintentionally took down all connections in our backbone network, effectively disconnecting Facebook data centers globally."

Фраза задаёт точку отсчёта с необычной точностью: замысел был измерить, сколько ёмкости в опорной сети доступно, а результатом стало снятие всех соединений этой сети. Между одним и другим должен был лежать широкий запас, и интерес этого случая именно в том, что запас существовал в проекте и не сработал на практике.

Проверка, которая не проверила

Оператор говорит об этом с ясностью, которую не стоит смягчать: автоматический контроль, предназначенный перехватывать команды такого класса, существовал, и он был дефектным.

"Our systems are designed to audit commands like these to prevent mistakes like this, but a bug in that audit tool prevented it from properly stopping the command."

Здесь этот инцидент отделяется от рядового сбоя. У организации не отсутствовал предохранитель; у неё был предохранитель, чья заявленная цель состояла ровно в том, чтобы команда обслуживания не могла отключить глобальную опорную сеть. Наличие контроля не равно наличию защиты. Контроль, который работает, считается надзорным и всё же пропускает команду, которую должен был заблокировать, создаёт ложное чувство покрытия — и именно это чувство потом труднее всего проверить.

Ничто в проверенном публичном корпусе не называет того, кто подал команду и кто её утвердил, и ничто в нём не позволяет назвать случившееся саботажем, халатностью или сокрытием. Описан дефект инструмента, и этот корпус не объясняет ни его происхождения, ни истории испытаний этого инструмента.

Когда зрение и откат исчезают одновременно

Вторая часть записи превращает случай в вопрос архитектуры контроля. Оператор перечисляет два препятствия, возникших одновременно:

"All of this happened very fast. And as our engineers worked to figure out what was happening and why, they faced two large obstacles: first, it was not possible to access our data centers through our normal means because their networks were down, and second, the total loss of DNS broke many of the internal tools we'd normally use to investigate and resolve outages like this."

При внимательном чтении это не два совпавших инцидента. Это одно событие с двумя сцепленными последствиями: рабочая сеть исчезла, и вместе с ней исчезла значительная часть внутренней способности разбираться в том, что происходит. Система обнаружения, зависящая от системы, которая упала, не является независимой системой обнаружения; это удобство, работающее до тех пор, пока оно не понадобилось.

Реакция подтверждает, как далеко тянулась эта зависимость. Оператор обратился к физическому присутствию:

"Our primary and out-of-band network access was down, so we sent engineers onsite to the data centers to have them debug the issue and restart the systems."

Внеполосный путь существует именно для того, чтобы пережить отказ основного уровня. В этот раз лежали оба. Восстановление шло не с удалённой панели и не с аварийной консоли, а через отправку людей на площадки для перезапуска систем. Это законный путь, и он же служит доказательством того, что последняя линия удалённого доступа перестала быть линией защиты.

Что можно датировать со стороны

Независимое подтверждение в этом тексте лежит на уровне наблюдения, а не причины. Третья сторона, из собственной позиции в сети, опубликовала разбор сбоя с временем в UTC:

"But at around 15:40 UTC we saw a peak of routing changes from Facebook. That's when the trouble began."

"At 15:58 UTC we noticed that Facebook had stopped announcing the routes to their DNS prefixes."

"It stopped being available at around 15:50 UTC and returned at 21:20 UTC."

"At around 21:00 UTC we saw renewed BGP activity from Facebook's network which peaked at 21:17 UTC."

"as of 21:28 UTC Facebook appears to be reconnected to the global Internet and DNS working again."

Эта последовательность делает три вещи и не делает четвёртой. Она датирует отзыв маршрутов, по которым шли префиксы имён оператора, документирует окно, в котором основной домен не разрешался, и фиксирует возобновление маршрутной активности и возвращение сервиса. Внутренний путь контроля она не видит, подтвердить причину отказа инструмента проверки не может и о позднейших исправлениях не говорит ничего. Читать это внешнее наблюдение как доказательство внутренней способности к обнаружению — ошибка чтения: наблюдатель снаружи видел именно ту часть, которую оператор уже не мог видеть сам.

Исправление: до какой ступени доходит корпус

Запись заканчивается обещанием:

"From here on out, our job is to strengthen our testing, drills, and overall resilience to make sure events like this happen as rarely as possible."

У этой фразы есть строго определённое место, и она может занимать только низшую ступень проверяемой лестницы: публичное обещание, датированное внедрение, фактически отработанный контроль, независимое наблюдение или подтверждение. Проверенный корпус — опубликованная оператором запись, разбор независимого наблюдателя и один целевой поиск позднейших документов о корректирующих мерах — не дал материала, который поднял бы случай выше.

Meta заявила, что усилит тесты, учения и общую устойчивость; но ни один датированный документ из этого корпуса не показывает ни устранённого дефекта инструмента проверки, ни снятой зависимости аварийного доступа от отказавшей сети, ни позднейшего учения, замеченного со стороны. В этом материале ни один появившийся после инцидента контроль не предъявлен как проверенный. Этот пробел не означает, что ничего не исправляли; он показывает, что содержится в проверенном материале. Закрыть его может датированный документ о внедрении, результат фактически отработанного контроля или учение с участием внешнего наблюдателя.

Кто за что отвечает

Распределение, которого держится этот текст, разделяет четыре слоя. Команда — ближайший триггер, а триггер не равен вине. Инструмент проверки — отказавший предупредительный контроль. Сцепление потери опорной сети, потери DNS, потери инструментов диагностики и потери обоих путей удалённого доступа — это отказ сдерживания и восстановления. И ответственность на уровне оператора лежит на том наборе контролей и той архитектуре устойчивости, которые эксплуатировались.

Проверенный корпус не называет лиц, не показывает прежних предупреждений, не показывает нарушения процедур и не содержит ни регуляторного документа, ни судебного дела, ни официального расследования этого эпизода.

Что добавляет этот текст

Найденные прежние публикации об этом же операторе занимаются другим: управлением платформенными данными и правами разработчиков после дела Cambridge Analytica, механикой сопоставления заявок при размещении акций в 2012 году, портретом инженера инфраструктуры, работающего в таком масштабе, и короткими заметками о позднейших отдельных сбоях сервисов. Ни одна из этих работ не разбирает отказ контроля 4 октября 2021 года, одновременность потери рабочей сети и диагностики, необходимость физического восстановления или вопрос о долговечности исправления. Этот текст добавляет цепочку контроля и границу доказательств вокруг неё, а не пересказ перерыва в работе сервисов. У субъекта есть собственная запись в справочнике BTW.