Кратко

  • В отчёте ARIN за 2014 год указана 901 минута незапланированного простоя сервиса выделения ресурсов; на два случая с ИБП пришлось 619 минут.
  • Команда Марка Костерса перенесла критически важное оборудование из Шантильи в Ашберн и открыла публичный доступ около 21:00 1 ноября 2014 года после устранения неполадки multicast на новых коммутаторах.

У инфраструктуры есть неприятная привычка превращать метафоры в бухгалтерию. В 2014 году годовой отчёт ARIN насчитал 901 минуту незапланированного простоя сервиса выделения ресурсов. Две строки про ИБП дали 499 и 120 минут, Postgres — 132, подключение Cox — 150. Весенний сбой ИБП в офисе подтолкнул операционную команду к переносу важных клиентских систем. Эти цифры описывают конкретный сервис, а не среднюю доступность всей организации; для решения о переезде их хватило.

Штаб-квартира находилась в Шантильи рядом с аэропортом Даллес. В собственном описании событий Костерс перечислил условия: единственный ввод электричества в офисный парк, всего два провайдера сети, отсутствие устойчивого питания при аварии. Строительство соседней дороги уже вызывало неожиданные отключения. Нельзя обеспечить надёжность сервиса одним только порядком в записях, если работающий с ними узел привязан к такому зданию.

Инженеры выбрали площадку colocation в Ашберне. До переключения они проверяли сервисы, приводили среды к общему виду и управляли конфигурациями через Puppet. Подготовка заняла около года. В день переезда новые коммутаторы Juniper устроили маленький экзамен: multicast повёл себя странно. Неполадку устранили, и близко к девяти вечера 1 ноября вход для пользователей открыли на новом месте. ARIN подтвердил завершение переноса и позднее назвал Ашберн надёжной опорой основных операций.

Костерс сделал то, что обычно прячется за словом «устойчивость»: связал известный сбой, измеренное время простоя и конкретный выбор нового места. У реестра осталась та же задача, но изменилась физическая зависимость этой задачи.