요약

  • ARIN의 2014년 연례보고서는 프로비저닝 서비스의 예상치 못한 중단을 총 901분으로 기록했다. UPS 관련 두 건이 619분을 차지했다.
  • Mark Kosters의 팀은 서비스를 미리 시험하고 설정을 표준화한 뒤, 새 스위치의 멀티캐스트 문제를 해결해 2014년 11월 1일 오후 9시 무렵 Ashburn에서 공개 서비스를 열었다.

전원 장치는 자신을 ‘무정전’이라고 부르지만, 2014년 봄 ARIN 사무실의 UPS는 그 이름을 지키지 못했다. ARIN 연례보고서는 이 고장 뒤 운영팀이 고객 대상 핵심 장비의 이전을 서둘렀다고 적었다. 같은 보고서에는 그해 프로비저닝 서비스의 비계획 중단 901분이 나온다. UPS 문제 두 건이 각각 499분과 120분, Postgres가 132분, Cox 연결이 150분이었다. 이 수치는 특정 서비스의 장부다. 그래서 오히려 사무실의 취약성이 어느 기능에 닿았는지 선명하다.

당시 본부는 Dulles 공항 인근 Chantilly의 오피스 단지에 있었다. Kosters가 직접 쓴 기록에는 단지로 들어오는 전력선 한 개, 네트워크 사업자 두 곳, 장애 뒤 지속 가능한 전원 부족이 나란히 적혀 있다. 근처 도로 공사도 예기치 않은 중단을 일으켰다. 주소 자원의 장부를 지키는 기관이, 정작 장부를 움직이는 장비를 이런 조건에 묶어둘 이유는 없었다.

팀은 Ashburn의 코로케이션 시설로 생산 시스템을 옮겼다. 이전 전에 서비스를 시험했고, 환경을 표준화하며 Puppet으로 설정을 관리했다. 준비에 약 1년이 들었다. 전환 당일에는 새 Juniper 스위치에서 멀티캐스트 동작이 이상하게 나타났다. 문제를 해결한 뒤 11월 1일 오후 9시 가까이 공개 접속을 열었다. ARIN 보고서는 이전 완료를 확인하고 새 시설이 핵심 운영을 안정적으로 받쳐주었다고 평가했다.

Kosters의 이야기는 ‘연속성’이라는 말을 서버실 바닥까지 끌고 내려온다. 고장 원인을 기록하고, 장비의 자리를 바꾸고, 실제 접속을 다시 여는 일. 명사는 짧지만 작업 목록은 길었다.