요약

  • CRTC 평가 보고서는 7월 8일 동부시간(EDT) 04:58부터 7월 9일 07:00까지의 장애를 기록하며, 1,200만 명 이상의 무선·유선 고객이 서비스를 잃었다고 밝힌다 [1].
  • 7단계 코어 업그레이드 중 6단계에서 직원이 ACL 정책 필터를 제거했고, 보고서에 따르면 그 결과 전체 BGP 라우팅 테이블이 OSPF로 재분배되어 코어 라우터의 CPU와 메모리를 소진시켰다 [1].
  • 이전 단계들은 성공했으며, 해당 단계의 위험 등급은 High에서 Low로 낮춰져 추가 검토, 상위 승인, 실험실 테스트 요건이 삭제되었다 [1].
  • Rogers의 관리 네트워크는 실패한 IP 코어에 의존했고, 핵심 사이트에는 대체 통신사의 관리 연결이 없었다. 그 결과 진단이 지연되었고 물리적 접근이 필요해졌다 [1].
  • 신뢰할 수 있는 종결 보고서는 경로 용량 상한, 구성 변경(diff) 검토, 자동 롤백, 관리 독립성, 긴급 서비스 결과, 통제된 재발 테스트를 입증해야 한다.

무슨 일이 있었나

이후 공개된 CRTC 평가가 가장 강력한 공개 기술 기록을 제공한다. 이에 따르면 Rogers는 무선망과 유선망을 공통 IP 코어 하나로 운영하고 있었다. 7월 8일로부터 수 주 동안 회사는 해당 코어의 7단계 업그레이드를 진행 중이었고, 장애는 6단계에서 발생했다 [1].

장애를 유발한 변경은 배포 라우터(distribution router) 구성에서 접근 제어 목록(ACL) 정책 필터를 제거한 것이었다. 평가에 따르면 이로 인해 인터넷 전체 BGP 라우팅 테이블이 OSPF로 재분배될 수 있게 되었다. BGP는 자율 시스템 간 도달 가능성을 전달하고, OSPF는 사업자 내부의 토폴로지와 도달 가능성을 배포한다. 통제되지 않은 외부 경로 집합을 내부 프로토콜로 가져오는 것은 얼핏 타당해 보이는 구성 변경을 거대한 상태 증가로 바꿀 수 있다 [1].

보고서에 따르면 그 결과로 생긴 업데이트가 코어 라우터의 CPU와 메모리 자원을 소진시켰다. 정책 필터는 동부시간 04:43에 제거되었고, 2분 이내에 코어 게이트웨이가 오류를 일기 시작했다. 04:58까지 보고서의 장애 시간표는 배포 라우터들이 코어가 처리할 수 있는 양을 넘는 경로를 쏟아붓는 상태를 기록한다 [1]. 이동전화, 가정용 전화, 인터넷, 사업자용 유선 연결, 9-1-1 연결이 모두 작동을 멈췄다. 복구는 서서히 진행되어 다음 날 아침 07:00에 완료되었다 [1].

Rogers의 초기 공개 메시지는 필연적으로 덜 구체적이었다. 7월 8일 최고경영자는 무선·유선 서비스 전반의 장애를 인정하고 책임을 수용했다 [4]. 7월 9일 Rogers는 원인을 라우터를 오작동시킨 코어 네트워크 유지보수 업데이트로 좁혔으며, 서비스 복구 과정에서 팀이 특정 장비를 분리하고 트래픽을 우회시켰다고 밝혔다 [5]. 이 발표들은 동시대 증거로서 유용하다. 상세한 경로 재분배 메커니즘은 이후의 CRTC 평가가 제공하며, 기술적 주장은 이를 기준으로 해야 한다.

실패한 경계는 라우팅 시스템 사이에 있었다

이것은 단순히 한 라우터가 과도한 고객 트래픽을 받은 사례가 아니었다. 보고된 장애는 라우팅 프로토콜 경계를 넘었다. BGP와 OSPF는 서로 다른 범위를 담당한다. BGP는 매우 큰 인터넷 경로 집합과 정책이 풍부한 경로를 전달할 수 있다. OSPF는 하나의 관리 도메인 내부 라우터들이 일관된 링크 상태 뷰를 만들도록 설계되었다. 선별된 경로를 두 프로토콜 사이에서 옮기는 것은 정당할 수 있다. 그러나 상한 없는 전체 테이블을 내부 프로토콜로 옮기면 많은 장치가 그 도메인을 위해 의도된 적 없는 상태를 처리하도록 강제될 수 있다.

책임성의 접점은 명시적인 재분배 계약에서 시작된다. 사업자는 어떤 경로가 BGP에서 OSPF로 넘어갈 수 있는지, 왜 필요한지, 최대 개수는 얼마인지, 어떤 속성이 유지되는지, 어떤 장치가 받는지, 개수가 예상을 초과하면 무슨 일이 일어나는지 말할 수 있어야 한다. 정책 필터는 단순한 구성 문법이 아니라 두 상태 시스템 사이의 실행 가능한 경계다.

CRTC 평가는 Rogers의 표준 배포 라우터 구성에서 정책 문장이 더 이상 차단하지 않으면 BGP 경로가 OSPF로 들어갈 수 있었다고 밝힌다. 이 사건과 관련된 네 가지 결핍되거나 불충분한 통제를 지목한다: 코어 라우터의 과부하 보호, OSPF로 광고되는 BGP 경로에 대한 상한, 수동·자동 정책 명령 감사, 자동 롤백 [1]. 보고서는 또한 코어 라우터가 수용 가능한 라우팅 정보에 대한 과부하 한도를 구성하지 않았다고 밝힌다 [1].

이것이 중요한 이유는 중복 페어가 같은 장애를 재현할 수 있기 때문이다. 모든 코어 장치가 동일한 상한 없는 경로 홍수를 받는다면, 중복성은 독립성을 만드는 대신 노출을 복제한다. 토폴로지에는 여러 라우터, 링크, 벤더, 사이트가 있으면서도 하나의 공유된 정책 장애 도메인을 유지할 수 있다. 올바른 테스트 질문은 장치가 몇 대인지가 아니라, 하나의 잘못된 상태가 경계를 넘어 리미터·검증기·롤백이 막기 전에 전부를 소진시킬 수 있는지다.

변경 위험은 성공한 단계들을 따라 하향 조정되었다

구성 오류는 실행 가능한 형태의 거버넌스 실패이기도 했다. CRTC 평가에 따르면 Rogers는 처음에 7단계 절차를 High 위험으로 평가했다. 이전 단계들이 성공한 뒤 위험 알고리즘은 경로 필터 제거를 포함한 6단계를 Low로 낮췄다. 낮은 등급은 해당 변경에 추가 검토, 상위 승인 수준, 실험실 테스트가 요구되지 않는다는 뜻이었다 [1].

이전 단계의 성공은 이후 단계가 동등하다는 증거가 아니다. 단계별 프로그램은 각 단계에서 다른 장치, 정책 분기, 트래픽 양, 장애 도메인에 닿을 수 있다. 필터를 제거하는 변경은 특히 비대칭적이다: 구성 diff는 작을 수 있지만 도달 가능한 상태 공간은 훨씬 커질 수 있다. 위험 점수는 프로그램이 이전 작업을 통과했다는 이유로 보상해서는 안 되며, 현재 diff의 의미를 검사해야 한다.

따라서 견고한 변경 기록은 티켓을 정확한 변경 전·제안 구성, 기계 판독 가능한 경로 정책 의도, 실험실 출력, 예상 경로 수, 승인, 배포 범위, 관찰 기간, 롤백 트리거, 담당자에 연결해야 한다. 검토자는 필터가 제거되고 있음을 보고 무엇이 그에 의존하고 있었는지 물어야 한다. 자동 검증은 선언된 범위를 넘는 경로 수 증가를 생산 배포 전에 거부해야 한다.

카나리아(canary) 배포도 장애 양상에 맞아야 한다. 한 장치에 변경을 적용하는 것은, 그 장치를 격리하고 피어들이 같은 업데이트를 받기 전에 경로 상태를 관찰할 수 있을 때만 유용하다. 안전하지 않은 상태를 공통 코어로 즉시 내보내는 카나리아는 작은 폭발 반경이 아니다. 배포 계획은 테스트 장치가 모든 중복 피어를 오염시킬 수 없음을 입증해야 한다.

공통 코어가 결과를 국가 단위로 만들었다

평가는 무선과 유선 서비스를 모두 실어 나르는 공통 IP 코어를 묘사한다. 보고서는 이 장애가 전형적인 Tier 1 아키텍처의 설계 결함 때문이 아니라고 명시한다. 또한 수렴(convergence) 때문에 범위가 극단적이 되었다고 설명하는데, 공통 장애가 두 접속 계열을 동시에 제거했기 때문이다 [1]. 이 두 가지 발견은 함께 유지되어야 한다.

수렴은 중복을 줄이고 활용률을 높일 수 있다. 그러나 음성, 모바일 데이터, 가정용 인터넷, 기업 연결, 긴급 통화, 공공 경보, 모니터링, 내부 통신을 하나의 공유된 라우팅 결정 뒤에 모을 수도 있다. 문제는 수렴 자체가 범주적으로 잘못되었는지가 아니라, 어떤 서비스가 하나의 제어 평면 장애를 견뎌야 하는지, 어떤 의존성이 별도의 장애 도메인을 필요로 하는지다.

CRTC 요약에 따르면 Rogers는 이후 무선과 유선 IP 코어를 분리하기로 결정했으며, 기존 코어는 유선용으로 남기고 무선용으로 새 코어를 배치하기로 했다. 보고서 작성 시점에 구현은 아직 완료되지 않았다 [2]. 평가는 분리를 미래의 장애를 하나의 접속 네트워크로 한정하는 방법으로 제시한다. 그것은 아키텍처 통제이지만, 여전히 독립적인 정책, 변경 배포, 관리 접근, 테스트를 요구한다. 같은 안전하지 않은 자동화가 관리하는 두 코어는 여전히 상관될 수 있다.

긴급 통신은 기준을 더 엄격하게 만든다. 상세 보고서에 따르면 9-1-1 연결과 공공 경보 전달이 영향을 받았다. Rogers는 9-1-1 네트워크 제공자에게 장애 발생 3시간 56분 후인 08:39에 통지했고, 첫 고객 메시지를 08:54에 보냈다 [1]. CRTC의 7월 12일 서신은 9-1-1 대체 접근에 대한 초기 안내의 부재를 비판하고 포괄적 설명을 요구했다 [3]. 정확한 통화 성공 수치는 보고서 일부에서 비공개(마스킹) 처리되어 있으므로 공개 기사가 이를 만들어 내서는 안 된다.

관리 네트워크가 데이터 네트워크와 함께 실패했다

가장 심각한 복구 문제는 제어 접근의 상실이었다. CRTC 평가에 따르면 Rogers의 관리 네트워크는 실패한 그 IP 코어에 의존했다. 원격 직원은 핵심 네트워크 요소에 접근할 수 없었고, 네트워크 운영 센터와 기타 중요 사이트는 대체 통신사로부터의 중복 관리 연결이 없었다. 직원들은 장비로 이동해 물리적으로 접근해야 했고, 그만큼 진단과 복구가 지연되었다 [1].

사업자 자신의 통신도 자기 서비스에 크게 의존했다. 보고서에 따르면 인시던트 담당자들은 제3자 모바일 SIM이 제한적이었고 유선·무선망이 모두 실패했을 때 통신에 어려움을 겪었다. 오작동한 라우터의 오류 로그는 처음에 확보되지 않았고, 근본 원인은 약 14시간이 지나서야 특정되었다 [1]. 유지보수 창에서 여러 변경이 이루어져 어느 티켓을 되돌려야 하는지 파악하기가 더 어려워졌다.

이것은 엄격한 독립성 시험이다. 생산 데이터 평면을 타고 다니는 관리 평면은 평상시에는 편리하지만, 공통 코어 장애에 대한 복구 경로는 아니다. 신뢰할 수 있는 설계에는 별도의 물리적·논리적 접근, 독립 자격 증명, 테스트된 대체 통신사 링크, 로컬에서 도달 가능한 콘솔 경로, 해당 사업자에 의존하지 않는 인시던트 통신이 필요하다.

RFC 6192는 라우터 제어 평면 보호를 일반적인 엔지니어링 원칙으로 다룬다: 정당한 제어 트래픽을 식별하고, 다른 트래픽은 필터링하거나 속도를 제한하며, 부하 상황에서도 제어 평면의 안정성을 유지하라는 것이다 [8]. 이 문서는 Rogers의 사건을 진단하거나 BGP-OSPF 재분배 정책을 규정하지는 않는다. 다만 더 넓은 원칙을 강화한다: 전송 용량과 제어 용량은 다른 자원이며, 데이터나 라우팅 부하가 증가할 때 제어 시스템은 안정적으로 유지되어야 한다.

복구 증거는 명령을 서비스 결과와 연결해야 한다

공개 평가는 사건 이후 의미 있는 변화를 기록한다. Rogers는 경로 데이터 홍수를 막는 안전장치를 추가하고, 물리적·논리적으로 분리된 관리 네트워크를 구축했으며, 핵심 사이트에 제3자 백업 연결을 추가하고, 구성 검증 도구에 투자하고, 위험 알고리즘을 수정하고, 실험실 테스트를 늘리고, 롤백 자동화를 개선하고, 인시던트 역할을 명확히 하고, 경보 우선순위를 조정하고, 인시던트 팀에 백업 통신을 제공했다 [1][2]. 평가는 이 조치들이 근본 원인 대응과 복원력 개선에 대해 만족스럽다고 판정했다 [2].

이것들은 통제에 대한 주장이다. 책임 있는 종결에는 작동 중인 증거도 필요하다. 경로 안전에 대한 증거는 구성된 재분배 상한, 관찰된 BGP·OSPF 경로 수, 상한 초과 테스트의 거부, 코어 CPU와 메모리가 한도 내에 유지된다는 증명이다. 변경 안전에 대한 증거는 정확한 diff, 독립 승인, 실험실 결과, 카나리아 관찰, 어셔션 실패 상황에서의 자동 롤백이다.

관리 독립성에 대한 증거는, 생산 코어를 사용 불가 상태로 만든 훈련에서 엔지니어들이 여전히 인증하고, 장치에 접근하고, 로그를 회수하고, 조율하고, 되돌릴 수 있는 변경을 실행하는 연습이다. 다이어그램이나 통신사 계약으로는 부족하다. 대체 경로는 인시던트 동안 적용되는 것과 동일한 전력, 신원, 인력 제약 하에서 작동해야 한다.

서비스 연속성에 대한 증거는 외부적이다. 무선 등록, 음성, SMS, 데이터, 유선 인터넷, 기업 접속, 9-1-1 라우팅, 공공 경보, 대표적인 결제나 클라우드 트랜잭션을 테스트하라. 각 서비스를 개별적으로 기록하라. 경로가 복구되었다고 통화가 완료되는 것은 아니고, 라우터가 초록불이라고 긴급 경보가 단말에 도달하는 것은 아니다.

레지스트리는 연속성이 아니라 신원을 기록한다

현재 ARIN RDAP 기록은 AS812를 ROGERS-COMMUNICATIONS로 식별하고 Rogers Communications Canada Inc.를 등록자로 표기한다 [6]. 현재 PeeringDB 데이터는 AS812를 Rogers Cable로 식별하고 현재의 상호접속 속성을 게시한다 [7]. 이 기록들은 공개 네트워크 신원과 연락 접점을 확정한다. 그러나 사적인 2022년 7월 코어를 재구성하거나, 과거 피어를 증명하거나, 경로 필터가 유지되었음을 보여주지는 못한다.

이 구분이 Heng.lu 교리의 접점이다. 레지스트리는 장부이자 기록관리자다. 누가 자율 시스템 번호를 보유하는지, 운영자가 현재 자기 네트워크에 대해 무엇을 게시하는지 말할 수 있다. 그러나 트래픽이 움직이는지는 실행 중인 코드와 관찰된 경로 상태가 결정한다. 책임성 기록은 장부의 신원을 특정 시점의 구성, 경로 수, 장치 상태, 서비스 결과, 책임 있는 담당자와 연결해야 한다.

같은 규칙이 변경 시스템에도 적용된다. 승인 표시된 티켓은 배포된 diff가 검토 내용과 일치했다는 증명이 아니다. 성공 표시된 롤백 명령은 안전하지 않은 경로가 철회되었다는 증명이 아니다. 중복 경로 인벤토리는 관리 접근이 살아남았다는 증명이 아니다. 각 행정 기록에는 실행 중인 네트워크로부터의 대응 관찰이 필요하다.

신뢰할 수 있는 재발 테스트에 담겨야 할 것

첫째, 정확한 정책 유형을 생산 규모의 경로 양으로 실험실에 재현하라. 통제된 조건에서 재분배 필터를 제거하거나 변경하라. 코어 자원이 유의미하게 올라가기 전에 하드 경로 상한이 상태를 거부하는지 확인하라. 경보가 장치, 프로토콜 경계, 경로 수, 유발 변경을 식별하는지 검증하라.

둘째, 어셔션이 통과할 때까지 내보내기가 전체 코어에 도달할 수 없는 생산 카나리아를 실행하라. 의도된 BGP-OSPF 경로와 관찰된 경로를 비교하라. 하나의 어셔션을 강제로 실패시키고 운영자의 즉흥 조치 없이 자동 롤백이 이전 구성을 복원함을 증명하라.

셋째, 훈련에서 생산 IP 코어를 격리하라. 응답자가 별도의 관리 경로, 대체 통신사 통신, 독립 신원 서비스, 로컬 보관 로그를 사용하도록 요구하라. 접근 시간, 진단 시간, 안전한 변경 시간, 외부 서비스 확인 시간을 측정하라.

넷째, 공통 모드 서비스 장애를 테스트하라. 공유 구성 요소나 정책 경로를 제거하고 의도된 무선·유선 분리를 증명하라. 9-1-1과 공공 경보 행동을 내부 시뮬레이터가 아니라 책임 있는 외부 기관과 함께 확인하라. 단말이 무선망에 붙어 있지만 긴급 통화를 완료하지 못하는 사례를 기록하라.

마지막으로 모든 계층을 하나의 시간표로 대조하라: 승인된 티켓, 배포된 바이트, 경로 변경, 장치 자원 사용, 경보, 응답자 접근, 롤백, 외부 조사, 긴급 서비스 결과, 고객 커뮤니케이션. 이 기록들이 일치하거나 불일치를 설명할 때만 테스트가 통과한다.

다음에 지켜볼 것

첫 신호는 경로 재분배에 선언되고 강제되는 최대치가 존재한다는 증거다. 사업자는 OSPF 상태가 모든 코어 라우터에 도달하기 전에 예상치 못한 증가를 감지할 수 있어야 한다. 두 번째는 변경 위험 점수가 이전 단계들이 성공한 뒤에도 필터 제거, 프로토콜 재분배, 공통 코어 도달을 본질적으로 높은 검토 대상으로 다루는지다.

세 번째 신호는 테스트된 관리 독립성이다. 백업 링크와 제3자 SIM은 만료, 소유, 용량, 인증 확인을 갖춘 훈련에 등장해야 한다. 네 번째는 서비스별 복구 보고다: 무선, 유선, 기업, 긴급 통화, 공공 경보, 내부 운영이 하나의 '복구 완료' 타임스탬프로 압축되어서는 안 된다.

남는 교훈은 '나쁜 구성이 캐나다 전체를 중단시켰다'고 말하는 것보다 좁다. 공개 증거는 구체적 연쇄를 지지한다: 경로 정책 필터가 제거되었다; 전체 BGP 테이블이 OSPF로 들어갔다; 공통 코어 라우터가 과부하되었다; 공유 서비스와 관리 접근이 실패했다; 진단과 복구가 길어졌다. 책임성이란 다음으로 동등한 상태가 국가 단위 장애가 되기 전에 상한이 있음을 증명하는 것이다.

출처

  1. https://crtc.gc.ca/eng/publications/reports/xonarp2023.htm
  2. https://crtc.gc.ca/eng/publications/reports/xona2024.htm
  3. https://crtc.gc.ca/eng/archive/2022/lt220712.htm
  4. https://about.rogers.com/news-ideas/a-message-from-tony-staffieri-president-and-ceo-at-rogers/
  5. https://about.rogers.com/news-ideas/a-message-from-rogers-president-and-ceo/
  6. https://rdap.arin.net/registry/autnum/812
  7. https://www.peeringdb.com/api/net?asn=812
  8. https://www.rfc-editor.org/rfc/rfc6192.html