요약

  • RIPE NCC는 11월 3일 중앙유럽시간 15시 55분 39초에 LIR Portal의 자원 정보 접근 문제를 조사한다고 알렸고, 16시 50분 45초에 해결로 표시했다. 두 공지 사이 약 55분은 공개 대응 기록의 구간이다.
  • 17시 17분 사후 분석은 부하 분산기 장애 조치가 데이터베이스 이용 응용 프로그램에 영향을 주었다고 밝혔다. 낡은 연결을 정리해 당장의 문제를 완화했고, 연결 풀 설정과 사용량 감시를 손보겠다고 했다.

기계의 상태등이 초록색으로 바뀌는 순간과 회원이 자기 자원 정보를 읽을 수 있는 순간은 같지 않을 수 있다. RIPE NCC의 사고 기록이 이번에 드러낸 틈이다. 부하 분산기가 장애 조치를 했는데, 데이터베이스에 기대는 응용 프로그램에는 오래된 연결이 남았다. 운영팀은 그 연결을 정리해 포털 문제를 해결했다. 예비 차선이 열렸어도 자동차가 이전 출구를 향해 있었다는 얘기다.

시간은 공식 사고 API에 남아 있다. 조사 공지는 15:55:39.649, 해결 공지는 16:50:45.437로 기록됐다. 차이는 55분 5.788초다. 어느 회원의 요청이 몇 시에 몇 번 실패했는지 보여 주는 공개 자료는 없다. 이 숫자는 회원별 중단 시간을 잰 결과가 아니라 사고 공지 사이의 간격이다. 사고 페이지가 영향을 받은 구성 요소로 적은 것은 LIR Portal이다.

그 포털에서 보는 것이 단순한 계정 장식은 아니다. RIPE NCC는 10월 My Resources 설계 설명에서 회원이 IPv4·IPv6 자원과 ASN을 살피고, 등록 상태와 하위 할당, RIPE Database 객체, 라우팅 정보를 이해해야 하는 일을 설명했다. 새 나무형 화면과 자동 점검은 당시 개발과 회원 시험 단계였다. 아직 공개되지 않은 기능을 사고 당일의 사용 화면으로 꾸밀 필요는 없다. 회원이 자기 자원을 조회할 통로가 실제 업무라는 점만으로도 사고의 무게는 충분하다.

등록 기관의 책임은 기록을 보관하는 데서 끝나지 않는다. 회원이 그 기록을 확인할 경로까지 이어져야 한다. RIPE NCC의 짧은 사후 분석은 그 경로가 어디서 끊겼는지 구체적으로 말한다. 장애 조치가 일어난 뒤에도 응용 프로그램 연결은 갱신되지 않았고, 사람 손으로 정리했다. 사고 기록에는 장애 조치를 일으킨 계기, 영향을 받은 회원 수, 실패한 요청 수가 없다. 이 자료와 다음 장애 조치의 실제 포털 조회 결과가 공개되면 범위와 재발 방지 효과를 판단할 수 있다.

장기 조치도 두 갈래다. 연결 풀 설정을 검토하는 일은 오래된 세션을 버리는 동작을 바꾼다. 연결 사용량 감시를 개선하는 일은 그 동작이 제대로 일어났는지 보이게 한다. 동작과 관측 가운데 하나만 고쳐서는 다음 전환 때 같은 틈이 숨을 수 있다. RIPE NCC는 두 작업의 완료 날짜나 시험 기준을 제시하지 않았다.

이번에 확인된 결과는 분명하다. 오래된 연결을 제거하자 포털 사고가 해결됐다. 다음에는 전환 성공의 도장을 장비가 아니라 회원의 자원 조회가 찍어야 한다.

RIPE NCC 원문 자료