요약

  • RIPE NCC는 11월 8일 RIS Looking Glass 데이터베이스가 설정된 파일 서술자 3만 2천 개 한도를 소진해 여러 RIPEstat API가 응답하지 못했다고 밝혔다.
  • API 처리량이 거의 정상으로 돌아온 뒤에도 20:06 UTC에는 RRC25 피어 약 10분의 1의 BGP 메시지 재생이 늦어져 있었다.

문은 다시 열렸지만 창고 안쪽의 서류는 아직 도착하지 않았다. 8일 13:39 UTC, RIPE NCC는 데이터베이스가 회복됐고 RIPEstat API 처리량이 평소 수준에 가까워졌다고 알렸다. 같은 날 20:06 UTC에는 RRC25 피어의 약 10분의 1이 여전히 뒤처져 있었다. 접속 성공과 최신 경로 관측은 서로 다른 약속이다.

공식 사고 기록이 지목한 병목은 분명하다. RIS Looking Glass가 쓰는 데이터베이스의 파일 서술자 한도가 3만 2천 개로 설정돼 있었고, 그 한도를 다 썼다. 이어 Looking Glass 요청을 처리하는 내부 API가 가용 처리 슬롯을 모두 차지했다. 첫 신고는 00:58 UTC에 접수됐다. 12:51 UTC의 공개 조사 공지는 Looking Glass와 RIS Peers 등 여러 API의 장애를 알렸다. 첫 신고 시각은 장애 시작 시각의 측정값이 아니다.

데이터베이스가 다시 움직인 뒤에도 지난 몇 시간의 BGP 메시지를 Looking Glass에 재생하는 작업이 남았다. RIPE NCC는 저녁 공지에서 RRC25의 남은 지연을 피어 약 10분의 1로 좁히고 메시지 양을 원인으로 들었다. 9일 05:00 UTC 무렵 끝날 것으로 예상했지만, 확인 당시 사고 상태는 여전히 ‘모니터링’이었다.

Looking Glass 공식 문서는 결과를 수집기와 피어별로 나누고 경로의 마지막 변경 및 확인 시각을 제공한다고 설명한다. 경로 변화의 근거로 쓸 때는 그 시각을 읽어야 한다. 남은 피어가 모두 따라잡은 최종 시각은 아직 사고 페이지에 없다. 그 기록과 해결 공지가 나오면 복구의 마지막 구간을 확인할 수 있다.

원자료: RIPE NCC 사고 기록, Looking Glass 문서, RIS Peers 문서.