AT&T의 1990년 장거리 통신망 장애: 신호 시스템 변경 격리를 책임성 시험으로 만들다

요약

• 1990년 1월 15일 동부표준시(EST) 오후 2시 30분경, 뉴욕의 한 4ESS 장거리 교환기에서 사소한 하드웨어 문제가 발생해 정상 복구 절차에 들어갔고, 새 호출 처리를 4~6초간 중단했다. 하드웨어 이벤트는 이 절차를 촉발했지만, 장애가 확산되게 만든 소프트웨어 결함은 아니었다. [1]
• 뉴욕 교환기가 서비스로 복귀하면서 초기 주소 메시지(Initial Address Message, IAM)를 전송했다. AT&T는 수신 측 직접 링크 노드(Direct Link Node, DLN) 프로세서가 복구 중인 교환기에 대한 자신의 상태 뷰를 갱신하는 동안, 1/100초 이내에 도착한 두 개의 IAM이 데이터를 손상시킬 수 있다고 보고했다. [1]
• 이중화된 DLN 프로세서는 독립적인 소프트웨어 경계를 제공하지 않았다. 한 프로세서가 재초기화된 후 그 짝이 같은 취약한 상태 전이 동안 동일한 메시지 패턴을 받으면, 교환기가 일시적으로 CCS7 신호망에서 고립될 수 있었다. [1]
• 복구 통보, 재개된 호출 설정, 지속적인 신호 부하로 인해 이 조건이 인접 교환기에서 재현될 수 있었다. 따라서 네트워크의 복구 행동 자체가 안정으로의 보장된 경로가 아니라 전파 경로의 일부가 되었다. [1][10][11]
• AT&T는 취약한 코드가 백업 신호망에 더 빠르게 접근하기 위한 12월 중순 업데이트를 통해 4ESS 전 함대에 유입되었다고 밝혔다. 당시 Telephony 지의 보도는 이 코드가 114대 4ESS 시스템 전체의 프런트엔드 프로세서에 적재되었다고 전했으며, 이는 114대가 동시에 장애를 일으켰다는 뜻이 아니다. [1][2]
• AT&T는 백업 신호 링크의 트래픽을 중단해 영향받은 프로세서에 도달하는 부하를 줄임으로써 네트워크를 안정화시켰다고 보고했다. 마지막 링크는 동부표준시 오후 11시 30분에 정리되었고, 이후 롤백, 실험실 재현, 수정, 테스트가 이어졌다고 한다. [1]
• 당대 추정치는 서로 분리되어야 한다: 상당한 기간 동안 시도된 장거리 통화의 약 절반이 실패했다고 보도되었으며, UPI는 5천만 건의 차단된 통화라는 추정치를 보도했다. 이후의 기록들은 서로 다르고, 이용 가능한 기록은 하나의 감사된 총계나 확인된 달러 손실을 확립하지 않는다. [3][4][5][6][9]
• 책임성의 핵심 시험은 운영적인 것이다: 공통 신호 소프트웨어가 생산 환경과 동등한 전이 조건에서 테스트될 수 있는지, 제한된 카나리를 통해 릴리스되고, 측정된 경고 조건에서 중단되며, 실패 중에 격리되고, 검증 가능한 증거와 함께 롤백될 수 있는지.
• 중복 프로세서, 대체 신호 경로, 대규모 교환기 함대가 동일한 코드, 상태 전이 의미론, 트리거 메시지 패턴을 공유할 때, 이중화는 연쇄 장애의 증명이 아니다.

사건의 경계는 1990년 1월 15일이다

이 분석은 1990년 1월 15일 American Telephone & Telegraph Company(AT&T) 장거리 통신망에서 발생한 장애와 그 직후의 안정화, 롤백 및 기술 조사에 국한된다. 역사상의 당시 사업자를, 현재의 AT&T Inc.가 이미 오늘날의 법인 형태를 갖춘 것처럼 다루어서는 안 된다. 이 사건은 또한 AT&T의 2024년 무선 구성 장애, 이후의 전력 및 광섬유 사고, 911 장애, 프레임 릴레이 문제, SS7의 악의적 활용과 분리되어야 한다. 그 사건들은 서로 다른 시스템, 증거, 책임성 문제를 다룬다.

증거는 완전한 법의학적 재구성이 아니라 경계가 분명한 인과 서술을 지지한다. AT&T의 공식 기술 설명은 하드웨어로 촉발된 복구, 신호 처리 프로세서의 시간 민감형 소프트웨어 취약점, 메시지 부하 하에서의 네트워크 전역 전파, 운영적 안정화, 이후의 롤백과 실험실 재현을 기술한다. 당대 보도는 서비스 영향 추정치와 운영 관찰을 제공하며, 이후의 연구는 잠재적 구현 결함을 반복적으로 노출하는 제어 평면 메시지를 이해하기 위한 틀을 제공한다. [1][3][4][5][10][11]

이 자료 집합의 어떤 출처도 공격, 바이러스, 사보타주, 이상 수요, 규제 위반 또는 개인의 과실을 확립하지 않는다. AT&T는 트래픽 양이 평소 월요일보다 적었다고 언급한 것으로 보도되었으나, 그 관찰만으로 다른 모든 원인 후보가 거짓임을 증명하지는 않는다. 다만 그것은 보도된 연쇄 장애가 비상 이상한 고객 수요가 아니라 복구 상태, 공유 소프트웨어, 신호 메시지 타이밍에 의존했다는 더 좁은 결론을 뒷받침한다. [1][2]

4ESS 교환과 CCS7 제어 계층

4ESS는 AT&T 장거리 통신망 내의 장거리(toll) 교환기였다. 그 네트워크의 여러 부분 사이에서 통화를 운반하고 제어하는 데 참여했지만, 통화를 실어 나르는 경로와 공통선 신호 시스템을 같은 것으로 서술해서는 안 된다. CCS7은 호출을 성립시키고 가용성을 통보하며 네트워크 행동을 조율하는 데 쓰이는 제어 정보를 운반했다. 신호 장애가 네트워크가 그 경로를 사용해 통화를 완성하는 것을 막는 동안, 통화 부담 경로는 물리적으로 존재할 수 있었다.

이 구분이 중요한 이유는, 연쇄 장애가 제어 상태를 중심으로 벌어졌기 때문이다. 초기 주소 메시지(IAM)는 호출 설정 메시지였다. 상태 및 복구 정보는 연결된 교환기들에게 목적지 교환기가 새 트래픽을 받아야 하는지 여부를 알렸다. DLN 프로세서는 신호망 접근을 처리하고 그 변화하는 상태를 해석하는 데 필요한 정보를 유지했다. 따라서 이 계층의 장애는 모든 음성 회선이나 교환기 섀시가 물리적으로 고장 나지 않고도 장거리 통신망의 상당 부분을 운영적으로 사용 불가능하게 만들 수 있었다. [1]

ITU-T의 신호 방식 제7호(Signalling System No. 7) 틀은 메시지 전달부(Message Transfer Part)가 사용자 기능들 사이에서 신호를 운반하는 공통선 아키텍처를 기술한다. 관련 권고들은 기능 구조, 신호망 기능, 성능, 감시 및 측정을 다룬다. 이는 상태, 라우팅, 복구, 호출 성립 메시지의 아키텍처상 역할을 설명하는 데 도움이 된다. 그러나 이 증거만으로는 1990년에 AT&T가 특정 권고를 위반했다는 것을 증명하지 않는다. [14][15][16][17][18][19]

NTIA와 GAO 자료 역시 복구, 네트워크 신뢰성, 통신 장애의 공적 결과에 대해 더 넓은 맥락을 제공한다. 이들은 연속성이 어떤 제어 기능이 가용한지, 장애가 어떻게 감지되고 서비스가 어떻게 복구되는지 아는 데 달려 있으므로 유용하다. 그러나 이를 AT&T의 컴플라이언스, 책임 또는 내부 결정에 대한 소급적인 판정으로 바꾸어서는 안 된다. [12][13][20]

사소한 하드웨어 사건이 실패 경로를 열었다

AT&T의 서술은 촉발 사건을 동부표준시 오후 2시 30분경으로 둔다. 뉴욕의 한 4ESS가 트렁크 인터페이스와 관련된, 회사가 사소한 하드웨어 문제라고 표현한 사건을 겪었다. 정상적인 고장 복구 논리가 이에 응답해 새 호출 처리를 중단하고 연결된 교환기들에 새 트래픽을 보내지 말라고 알렸다. 뉴욕의 복구는 동부표준시 오후 2시 30분경 시작되어 4~6초가 걸렸고, 교환기가 서비스로 복귀하면서 연쇄 조건이 나타났다. [1]

이 절차가 첫 번째 중요한 구분을 정의한다. 하드웨어 문제는 트리거였다: 그것이 교환기를 복구 전이 상태로 밀어 넣었다. 그것은 다른 교환기들이 이후 반복적인 신호 장애에 빠진 것으로 보도된 이유가 아니었다. 건전한 분석은 "무엇이 먼저 일어났는가"를 "무엇이 이 사건을 전국적 규모로 만들었는가"로 붕괴시키는 일을 피해야 한다.

복구 루틴은 처음에 보호 메커니즘으로 기대되는 역할을 수행했다. 새 작업을 일시 중지하고, 영향받은 교환기가 복구하도록 하고, 피어들에게 가용 불가를 통보했다. 결정적 노출은 정상 처리로 되돌아가는 전이 중에 발생했다. 완전히 가용하거나 완전히 불가능한 안정 상태에만 집중한 테스트가 그 둘 사이의 좁은 구간에 현실적인 트래픽을 적용하지 않는다면, 놓치기 쉬운 위험 유형이다.

IAM 타이밍이 어떻게 DLN 상태 취약점을 노출시켰는가

뉴욕 교환기가 호출 처리를 재개하자, 인접 교환기들은 그것이 다시 가용하다는 것을 인식해야 했다. 재개된 흐름에는 호출 성립을 개시하는 데 쓰이는 메시지인 IAM이 포함되었다. 수신 교환기의 DLN 프로세서는 들어오는 정보를 사용해 자신의 상태 맵, 즉 뉴욕이 서비스로 복귀했다는 것을 이해하는 운영 뷰를 갱신했다. [1]

AT&T는 그 갱신이 DLN 프로세서를 몇 초 동안 취약하게 만든다고 보고했다. 그 구간 동안 두 개의 IAM이 1/100초 이내에 도착하면, 밀접하게 겹치는 메시지들이 데이터를 손상시키고 프로세서를 재초기화하도록 만들 수 있었다. 1/100초라는 수치는 AT&T가 보고한 타이밍 조건이다. 이를 공개 기록에 결함을 독립적으로 재현하는 데 필요한 완전한 명령 흔적, 데이터 구조 또는 소스 코드가 있다는 주장으로 확장해서는 안 된다. [1]

따라서 접근 가능한 메커니즘은 유효한 트래픽과 안전하지 않은 전이 사이의 충돌이다. 두 IAM 중 어느 것도 악의적이거나 형식이 잘못될 필요는 없었다. 문제는 평범한 호출 설정 메시지가 수신 프로세서가 자신의 운영 뷰를 바꾸고 있던 특정 간격으로 도착하면서 나타났다. 메시지 시퀀스는 네트워크가 불가능에서 가능으로의 상태 이전을 기록하고 행동하려던 바로 그 시점에, 실행 중인 소프트웨어의 잠재 결함을 노출시켰다.

그렇기 때문에 이 사건은 단순한 과잉 트래픽 사건이 아니라 상태 무결성 문제로 이해하는 것이 더 정확하다. 프로세서는 메시지를 받기만 해서는 안 되고, 메시지가 계속 도착하는 동안 네트워크의 현재 상태를 정확하게 기록해야 한다. 상태 갱신 연산과 실시간 메시지 스트림이 안전하게 조율되지 않으면, 유효한 입력이 손상된 내부 상태, 재설정 또는 잘못된 가용성 판단을 만들어낼 수 있다.

일부 이후의 소프트웨어 공학 서술은 이 결함을 잘못 배치된break문으로 묘사한다. 그 서술은 부차적이며 코드에 대한 1차 출처 검증과 동등하지 않다. 이용 가능한 출처들은 관련 소스 트리, 컴파일된 프로그램, 주변 제어 흐름 또는 손상된 구조의 정확한 형태를 노출하지 않는다. 방어 가능한 서술은 AT&T가 보고한 메커니즘, 즉 밀접하게 겹치는 IAM이 취약한 DLN 상태 갱신과 마주쳐 프로세서 재초기화를 일으켰다는 것이다. [1][8][9]

중복 프로세서는 같은 실패 조건을 공유했다

수신 측 신호 기능은 이중화된 프로세서를 갖추고 있었다. 한 DLN 프로세서가 실패해 재초기화를 시작하면, 그 짝이 작업 부담을 맡을 수 있었다. 하드웨어 중심 모델에서 이 전환은 이중화처럼 보일 수 있다: 한 유닛이 실패하므로 다른 유닛이 기능을 유지한다. AT&T의 설명은 그 서술이 왜 불완전했는지를 보여준다. [1]

짝 프로세서는 동일한 취약한 논리를 실행했고, 동일한 복구 상태에 참여했으며, 같은 종류의 밀접하게 겹치는 IAM 쌍을 받을 수 있었다. 짝이 상태를 갱신하는 동안 또 다른 쌍이 도착하면, 그것도 재초기화하도록 만들어질 수 있었다. 두 프로세서가 모두 일시적으로 불가능하면, 다른 교환 하드웨어가 정상 작동하더라도 교환기는 CCS7 신호망에서 고립될 수 있었다. [1]

두 프로세서는 이중화된 구성요소였지만 독립적인 실패 도메인은 아니었다. 그들의 하드웨어는 별도일 수 있었지만, 소프트웨어, 입력 의미론, 전이 타이밍은 상관되어 있었다. 동일한 메시지 스트림을 동일한 코드에 동일한 취약한 상태에서 넘겨주는 페일오버는 실패를 억제하는 대신 재현할 수 있다.

이 구분이 인프라 책임성의 핵심이다. 이중화는 그것이 제어하려는 실패에 비추어 평가되어야 한다. 중복 하드웨어는 일부 구성요소 고장으로부터 보호한다. 그러나 반드시 공통 소프트웨어 결함이나, 두 유닛을 같은 안전하지 않은 전이로 몰아넣는 유효한 메시지 패턴으로부터 보호하지는 않는다. 독립성은 코드, 상태, 입력, 복구 행동 수준에서 입증되어야 하며, 구성요소 수에서 추론되어서는 안 된다.

복구 통보가 전파 신호가 되었다

교환기가 신호 프로세서를 잃으면, 연결된 교환기들에 불가능 상태를 통보했다. 프로세서가 재초기화된 후 교환기는 서비스로 복귀하고 신호가 재개되었다. 그러면 이웃 교환기들은 자신들의 뷰를 갱신하고 재개된 호출 설정 트래픽을 처리해야 했다. 지속적인 메시지 압박 하에서, 그들은 동일한 시간 민감형 DLN 조건에 부딪힐 수 있었다. [1]

따라서 연쇄 장애는 뉴욕에서 기계적으로 방사하는 단일 신호가 아니었다. 그것은 국지적 실패, 불가능 통보, 재초기화, 복구 발표, 재개된 트래픽의 반복 순환이었다. 서비스 복귀 전이마다 밀접하게 겹치는 IAM이 취약한 프로세서에 도달할 또 하나의 기회를 만들었다. AT&T는 그 결과로 생긴 실패들을 진행 중인 트래픽 하에서 무작위로 발생한다고 묘사했지만, 그 밑에 깔린 취약점은 공유되어 있었다. [1]

제어 평면의 "독 메시지(poison message)"에 관한 이후의 연구는 유용한 분석 틀을 제공한다. 그 연구에서, 본래 합법적인 제어 메시지가 잠재적 구현 결함을 노출할 수 있고, 정상적인 관리 행동이 트리거 조건을 반복적으로 전달하거나 재현할 수 있다. 이 용어는 이 사건에서 적대적 내용을 의미하지 않는다. 그 가치는 복구 메시지, 상태 변화, 메시지 재전송이 동일한 취약한 구현에 결합된 채 남아 있을 때 제어 평면이 어떻게 불안정을 지속할 수 있는지 보여주는 데 있다. [10][11]

이 피드백 경로는 한 교환기를 복구하는 것만으로는 충분하지 않을 수 있는 이유도 설명한다. 국지적 복구는 다른 곳에서 보게 되는 입력을 바꿔 놓았다. 복구된 교환기는 고립된 실험실 상태로 돌아간 것이 아니라, 대기 중 수요, 가용성 변화, 동일한 소프트웨어를 실행하는 인접 시스템이 담긴 살아 있는 신호 환경으로 돌아갔다. 복구는 트래픽과 상태 교환이 재개된 후에도 네트워크가 안정적으로 유지되는지 여부로 판단되어야 했다.

12월 중순 변경은 넓은 공통 경계를 만들었다

AT&T는 결함이 12월 중순에 설치된 소프트웨어 업데이트를 통해 4ESS 함대에 들어갔다고 말했다. 그 업데이트는 교환기가 백업 신호망에 더 빠르게 도달하도록 하기 위한 것이었다. RISKS 아카이브에 실린 당시 Telephony 지의 보도는 새 코드가 114대 4ESS 시스템 전체의 프런트엔드 프로세서에 적재되었다고 전했다. 두 사실 모두 독립적인 소스 코드 또는 구성 감사의 결과가 아니라 AT&T와 당대 보도에 귀속되어야 한다. [1][2]

114대 교환기라는 수치는 동시 실패 건수가 아니라 재고 경계를 정의한다. 공개 기록은 공통 소프트웨어 조건이 광범위하게 배치되었다고 말하는 것을 지지한다. 그러나 114대가 모두 한 번에 실패했거나, 같은 기간 동안 실패했거나, 모든 통화자에게 동일한 영향을 만들었다는 것은 보여주지 않는다. 연쇄 장애는 구성요소 수준 타임라인이 단계적이고 고르지 않게 남은 채 국가적 규모의 결과가 될 수 있다.

변경의 의도된 목적은 제어 문제를 선명하게 만든다. 백업 신호 접근을 개선하기 위한 소프트웨어가 공유 취약점의 근원이 되었다. 그렇다고 백업 기능이 본질적으로 유해한 것은 아니다. 이는 연쇄 장애 기능이 활성화 및 전이 논리가 충분히 독립적인 억제 없이 균일하게 배치될 때, 공통 실패 도메인을 넓힐 수 있음을 보여준다.

함대 전역 변경은 두 가지 책임성 질문을 만든다. 첫째는 코드가 생산 조건에서 정확한지 여부다. 둘째는 그 대답이 아직 불확실한 동안에도 결함이 경계 안에 유지될 수 있는지 여부다. 릴리스 전에 아무리 엄밀한 테스트라도 모든 타이밍 조합을 열거할 수는 없다. 따라서 실험실 신뢰도가 높을 때조차 변경 격리, 단계적 노출, 정지 기준, 롤백은 여전히 필요하다.

출처들은 배치 순서, 114개 시스템이 업데이트를 받은 속도, 카나리 부분집합의 존재 여부, 확장을 지배한 측정 기준, 정지 임계값의 정의 여부를 공개하지 않는다. 이것들은 통제가 없었다는 증명이 아니라 미지수다. 그러나 공개 기록에서 이들이 결여되어 있다는 사실은, 전면 노출 이전에 함대 리스크가 입증 가능하게 경계 안에 있었다는 주장을 제한한다.

관찰, 진단, 안정화는 서로 다른 단계였다

사건 대응은 엔지니어들이 관찰한 것, 진단한 것, 실제 네트워크를 어떻게 안정화했는지, 나중에 무엇을 검증했는지로 나누어야 한다. 그 단계들을 상호 교환 가능한 것으로 다루면 각 시점에 알려진 것을 과대평가하게 된다.

초기 관찰은 운영적인 것이었다: 교환기들이 오류를 발생시키고, 복구에 들어가고, 장거리 통화 완성을 방해하고 있었다. AT&T는 엔지니어들이 먼저 표준 절차를 적용했지만 부족하다는 것을 발견했다고 말했다. 그들은 이후 오류 메시지와 교환기 행동의 패턴을 검토하고 기술 지원과 벨 연구소(Bell Labs) 인력을 조사에 투입했다. [1]

진단에는 겉보기에 별개의 교환기 실패들이 신호 행동과 공유 소프트웨어로 연결되어 있다는 것을 인식하는 일이 필요했다. 촉발 하드웨어 문제만으로는 지속적인 네트워크 전역 불안정을 설명할 수 없었다. 단순히 프로세서를 재시작하는 것도 조건을 제거하지 못했는데, 재초기화와 재개된 메시지 흐름이 다음 프로세서나 이웃을 같은 취약한 전이로 밀어 넣을 수 있었기 때문이다.

안정화는 완전한 소프트웨어 수정 이전에 왔다. AT&T는 백업 링크에서 신호 트래픽을 일시적으로 중단함으로써 영향받은 프로세서에 도달하는 메시지 부하를 줄였다고 보고했다. 이것은 제어 평면 개입이었다: 결함이 트리거되던 환경을 바꾼 것이다. 회사는 마지막 해당 링크가 동부표준시 오후 11시 30분에 정리되었다고 말했다. [1]

이 조치는 근본 메커니즘이 아직 완전히 재현되지 않은 상태에서도 격리의 실용적 가치를 보여주므로 중요하다. 운영자는 복구에 대한 가시성을 모두 잃지 않고 수상한 신호 트래픽을 줄이거나, 차단하거나, 우회할 방법이 필요하다. 안정화 증거는 어떤 링크가 변경되었는지, 메시지 비율이 언제 떨어졌는지, 어떤 프로세서가 재초기화를 멈췄는지, 통화 완성이 개선되었는지를 보여주어야 한다. 공개 출처들은 그 광범위한 조치와 종료 시점을 확립할 뿐, 그 완전한 측정 기록을 확립하지는 않는다.

롤백과 실험실 재현은 서로 다른 질문을 닫았다

화요일에 AT&T는 결함 있는 업데이트를 제거하고 네트워크를 일시적으로 이전 프로그램으로 되돌렸다. 회사는 또한 실험실에서 문제를 재현하고, 결함을 수정하고, 수정된 소프트웨어를 테스트한 후 백업 링크를 복구했다고 말했다. [1]

롤백은 이전 버전이 사용 가능한 복구 지점이었다는 증거를 제공했다. 실험실 재현은 보도된 소프트웨어 조건이 통제된 환경에서 트리거될 수 있다는 증거를 제공했다. 수정과 테스트는 확인된 결함을 다루었다. 이 단계들은 서로를 강화하지만, 어느 것도 다른 것의 대체로 쓰여서는 안 된다.

롤백 후 안정된 서비스로의 복귀는 업데이트와 실패 사이의 관계를 뒷받침한다. 그것은 결함 있는 코드의 전체 모습을 드러내거나, 모든 영향받은 교환기가 동일한 타임라인을 따랐다는 것을 증명하지 않는다. 실험실 재현은 시간 민감형 메커니즘을 뒷받침한다. 그것은 대중에게 완전한 테스트 매트릭스, 생산 메시지 흔적 또는 모든 복구 조치의 독립 검증을 보여주지 않는다.

AT&T는 그 업데이트가 실험실 환경에서 엄밀하게 테스트되었고 정확한 사건 조합은 예측되지 않았다고 말했다. 그 진술은 귀속된 채로 유지되어야 한다. 공개 기록은 배치 이전에 어떤 상태 전이, 메시지 간격, 프로세서 페일오버 시퀀스, 신호 부하가 테스트되었는지를 노출하지 않는다. [1][2]

따라서 더 깊은 교훈은 실험실 테스트가 없었다는 것이 아니다. 코드 경로 테스트의 증거만으로는 연속성을 확립할 수 없다는 것이다. 결정적인 시험은 살아 있는 전이였다: 한 교환기가 불가능 상태에서 복귀하고, 인접 프로세서들이 상태를 갱신하고, 밀접하게 겹치는 IAM이 도착하고, 이중화된 프로세서가 작업을 넘겨받고, 네트워크가 복구 정보를 계속 교환하는 상황.

영향 추정치는 하나의 숫자로 압축될 수 없다

당대 보도는 심각하나 고르지 않은 장거리 장애를 묘사했다. AT&T와 주요 신문들은 상당한 기간 동안 시도된 통화의 약 절반이 실패했다고 보도했다. 이 표현은 중요하다: "약 절반"은 추정치이고, "시도된 통화"는 분모를 정의하며, "상당한 기간 동안"은 모든 지역과 모든 시간대에 걸쳐 균일한 실패율을 의미하지 않는다. [3][4][6][7]

UPI는 5천만 건의 차단된 통화 추정치와 800 번호 및 컴퓨터 회선 서비스에 대한 영향을 보도했다. 그 수치는 이후의 기록과 병합해 "조정된 총계"를 만들기보다 UPI의 당대 추정치로 남아 있어야 한다. [5]

이후의 서술들은 서로 다르거나 더 높은 총계를 제시하는데, 이는 시간 창, 출처, 정의, 반복에 따라 소급적 수치가 어떻게 갈라질 수 있는지 보여준다. 차단된 시도가 곧 고유한 고객이나 영구적으로 잃어버린 통화 또는 측정된 경제 거래는 아니다. 반복 재전화는 여러 시도를 만들 수 있고, 일부 고객은 대체 경로를 사용하거나 서비스 복구 후 다시 시도했을 수 있다. [8][9]

이용 가능한 증거는 균일한 지역별 가용성, 영향받은 고객의 완전한 목록, 방해를 받은 긴급, 금융, 데이터 거래의 정확한 건수, 독립적으로 감사된 총계를 확립하지 않는다. 확인된 달러 손실 수치도 지지하지 않는다. 경제적 결과가 존재했을 수 있지만, 정의된 방법과 1차 증거 없이 정확한 금액을 배정하는 것은 확실성을 만들어내는 일이다.

따라서 책임 있는 보도는 병행하는 측정들을 유지해야 한다: 관찰된 통화 완성 성과, 사업자 추정치, 언론 추정치, 영향받은 서비스 범주, 그리고 명시적으로 알려지지 않은 결과. 심각성은 거짓 정밀성을 필요로 하지 않는다. 상당한 기간 동안 시도된 통화의 약 절반이 실패하게 만든 국가적 제어 평면 연쇄 장애는 이미 실질적인 연속성 사건이다.

트리거, 결함, 전파, 완화는 하나의 인과 사다리를 이룬다

인과 단계를 분리해 두면 사건을 다루기가 쉬워진다.

1. 트리거:뉴욕 4ESS의 사소한 하드웨어 문제가 정상적인 4~6초 복구 절차를 개시했다.
2. 잠재 결함:12월 중순 소프트웨어 업데이트가 서비스 복귀 전이 동안 DLN 상태 갱신 처리를 취약하게 남겨두었다.
3. 전파 조건:AT&T가 보고한 대로 1/100초 이내에 도착하는 밀접하게 겹치는 IAM이 프로세서를 재초기화하도록 만들 수 있었다; 그 이중화된 짝과 인접 교환기들도 같은 조건에 부딪힐 수 있었다.
4. 완화:부하를 줄이고 프로세서 행동을 안정시키기 위해 백업 링크의 신호 트래픽이 중단되었다.
5. 제거 및 검증:AT&T는 업데이트를 롤백하고, 실험실에서 결함을 재현하고, 수정하고, 영향받은 기능을 복구하기 전에 변경을 테스트했다. [1][2]

이 사다리는 세 가지 왜곡을 막는다. 첫째, 촉발 하드웨어 고장을 국가적 연쇄의 근본 원인으로 부르는 일을 피한다. 둘째, 타이밍, 상태, 취약한 코드가 필수 조건이었을 때 메시지 양을 독립적 원인으로 다루는 일을 피한다. 셋째, 신호 부하 감소가 완전한 소프트웨어 제거에 앞섰을 때 롤백을 최초의 안정화 조치로 묘사하는 일을 피한다.

또한 지지되지 않는 개인 비난을 배정하지 않고 책임을 위치시킨다. 운영자는 공통 소프트웨어 릴리스, 교환기 재고, 신호 관계, 복구 행동, 감시, 롤백 경로를 통제했다. 표준화 기구들은 아키텍처 맥락을 정의했지만, 출처들은 표준이 결함을 일으켰다는 것을 확립하지 않는다. 고객들은 평범한 통화 수요를 만들었을 뿐, 오용의 증거가 아니다. 개별 엔지니어와 운영자는 그들의 권한, 지식, 결정을 보여주는 기록 없이 비난받아서는 안 된다.

운영적 책임성은 인프라를 통제하던 조직이 그 전이가 안전하다는 것을 입증할 수 있었는지, 안전하지 않을 때 관찰할 수 있었는지, 하나의 실패 도메인이 함대로 퍼지는 것을 막을 수 있었는지, 변경을 신속히 되돌릴 수 있었는지를 묻는다. 그것은 의도나 시스템 표지에만 근거한 판단이 아니라, 실행 행동에 근거한 통제 시험이다.

생산 동등한 테스트는 전이를 시험해야 한다

관습적인 테스트는 고장 이전과 재시작 이후에 교환기가 작동한다는 것을 검증할 수 있다. 그것은 이 실패 양상에는 불충분하다. 취약한 구간은 상태 맵이 바뀌고 실제 IAM이 계속 도착하던, 그 두 상태 사이에 놓여 있었다. 따라서 생산 동등한 테스트는 현실적인 동시성, 메시지 간격, 페일오버, 네트워크 피드백 하에서 전이를 시험해야 한다.

적합한 전이 시나리오는 대표적인 신호 부하 하의 가용 교환기로 시작한다. 경계가 분명한 하드웨어 복구 이벤트를 도입하고, 일시적 불가능 통보를 검증하고, 새 호출 처리를 예상 구간 동안 유지한 후 서비스를 복구한다. 상태 갱신 구간 동안, 테스트는 AT&T가 보고한 1/100초 조건을 포함하는 범위에 걸쳐 밀접하게 겹치는 IAM을 전달한다. 메시지를 받은 첫 유닛만이 아니라 두 DLN 프로세서 모두를 관찰한다. [1]

테스트는 첫 재시작 이후에도 계속되어야 한다. 짝이 트래픽을 안전하게 받아들이는지, 두 프로세서가 손상된 상태를 공유하는지, 복구된 교환기의 통보가 인접 교환기를 같은 전이로 몰아넣는지, 불가능 기간 동안 대기한 메시지가 서비스 재개 시 버스트를 만드는지를 판정해야 한다. 합격은 제어 트래픽이 돌아온 뒤의 지속적 네트워크 안정이지, 단순한 프로세스 재초기화 성공이 아니다.

메시지 재전송은 타이밍과 상태 맥락을 보존할 때 가치가 있다. 간격, 순서, 교환기 상태, 프로세서 소유권 없는 메시지 유형 목록은 그 시퀀스를 위험하게 만든 조건을 빠뜨릴 수 있다. 따라서 재전송 증거는 각 입력을 소프트웨어 버전, 전이 전 상태, 타이밍 기준, 수신 프로세서, 관찰된 상태 변화, 결과 출력에 묶어야 한다.

테스트는 고장 조합도 필요로 한다. 1990년의 정확한 시퀀스는 사소한 하드웨어 복구, 잠재 소프트웨어 결함, 평범한 신호 트래픽을 결합했다. 각 요소는 개별 테스트를 통과할 수 있었다. 그들의 상호작용은 그렇지 않았다. 생산 동등한 테스트는 구성요소 페일오버, 상태 이전, 재개된 호출 설정, 이중 프로세서 인계, 인접 노드 행동을 결합해야 한다.

AT&T가 업데이트가 엄밀히 테스트되었으나 정확한 조합은 예측되지 않았다고 말한 것은, 예상 시나리오에만 의존하는 접근의 한계를 보여준다. [1] 대답은 모든 사건을 예측하겠다는 불가능한 약속이 아니다. 전이 유형을 강조하고, 구조화된 섭동을 적용하고, 예기치 않은 재초기화, 불일치 상태 또는 상관된 페일오버를 릴리스 차단 결과로 다루는 테스트 프로그램이다.

실패 임계값은 명시적이어야 한다. 제어 수준의 예에는 설명되지 않은 DLN 재초기화, 이중 프로세서 간 불일치, 허용된 단일 실패 동안의 신호 도달성 상실, 인접 카나리 교환기로의 전파, 테스트된 복구 목표 내에서 이전 버전 복원 불능이 포함된다. 문서화된 타이밍 조건을 넘어서는 정확한 수치 임계값은 여기서 이용할 수 없는 운영자 측정값을 필요로 한다.

카나리 노출에는 집행 가능한 정지 조건이 필요하다

카나리는 새 소프트웨어 버전에 대한 의도적으로 경계가 분명한 첫 노출이다. 교환기 함대에서 그것은 단순히 "먼저 한 대에 설치"가 아니다. 선택된 범위는 관련 행동을 드러내면서도 영향받을 수 있는 피어, 경로, 고객의 수를 제한해야 한다.

이 변경을 위해 의미 있는 카나리는 대표적인 CCS7 관계, 듀얼 DLN 행동, 기본 및 백업 신호 접근, 실제 서비스 복귀 전이, 통제된 생산 부하를 갖추어야 했다. 실험실 전용 노드나 복구를 전혀 시험하지 않는 운영 노드는 위험한 상태를 테스트하지 않은 채 신뢰도를 만들어낼 수 있다.

확장은 측정된 증거에 의존해야 한다. 릴리스 기록은 소프트웨어 버전, 카나리 교환기, 인접 신호 관계, 관찰 구간, 예상 전이 행동, 진행 권한을 식별해야 한다. 정지 조건에는 유효한 메시지와 연결된 프로세서 재초기화, 불일치 상태 맵, 반복되는 가용성 변화, 예기치 않은 페일오버 결합, 신호 접근 상실, 인접 교환기로의 비정상 전파가 포함되어야 한다.

정지 조건은 추가 릴리스를 차단하지 않으면 거의 가치가 없다. 책임 있는 소유자는 배치를 중단하고, 신호 노출을 격리하고, 이전 버전을 보존할 권한과 기술적 수단을 모두 갖추어야 한다. 증거 검토가 나중에 이루어지는 동안 확장 절차가 기본적으로 계속된다면, 카나리는 보호가 아니라 관찰에 그친다.

공개 기록은 AT&T가 카나리를 사용했는지, 어떤 버전 재고가 있었는지, 12월 중순 배치를 무엇이 멈추게 했는지를 드러내지 않는다. 그 결여된 증거는 단계적 배치의 부재를 증명할 수 없다. 그러나 공통 소프트웨어 경계의 폭을 문서화된 공개 릴리스 게이트에 비추어 평가할 수 없다는 것을 의미한다.

함대 재고는 배치 후에도 똑같이 중요하다. 사건 중에 대응자들은 어떤 교환기가 수상한 버전을 실행하는지, 어느 것이 복구에 들어갔는지, 어느 프로세서가 재초기화했는지, 어느 신호 링크가 아직 활성인지 알아야 한다. 114개 시스템이라는 명목상의 개수로는 부족하다; 통제는 각 시스템에 부착된 현재 상태에 의존한다. [2]

신호 격리와 메시지 수준 관측성

AT&T가 보고한 안정화 조치, 즉 백업 신호 링크의 트래픽을 일시적으로 중단한 것은 신호 격리가 운영적으로 중요했음을 보여준다. 입력 부하를 줄인 것은 영향받은 프로세서에게 같은 트리거 압박을 즉시 다시 마주치지 않고 회복할 여유를 주었다. [1]

격리 통제는 유용한 증거와 복구 선택권을 보존하면서 전파를 저지할 수 있을 만큼 좁아야 한다. 아키텍처에 따라, 이는 메시지 유형의 비율 제한, 수상한 관계의 차단, 서비스 복귀 트래픽의 보류, 카나리의 함대 피어로부터의 분리, 대체 경로의 일시 비활성화를 의미할 수 있다. 출처들은 보고된 백업 링크 조치를 넘어 이러한 통제 중 어느 것이 존재했는지를 확립하지 않으므로, 그것들은 AT&T의 구성에 대한 주장이 아니라 통제 목표다.

메시지 수준 관측성은 트리거와 연쇄를 구별해야 한다. 최소한, 증거는 촉발 하드웨어 상태, 불가능 통보, 복구의 시작과 완료, IAM 도착 타이밍, DLN 상태 맵 전이, 프로세서 재초기화, 짝 인계, 신호 격리, 이후 복구를 식별해야 한다.

집계 트래픽 그래프만으로는 불충분하다. 통화 완성의 국가적 하락은 심각성을 나타내지만, 왜 유효한 두 메시지가 좁은 전이 동안 하나의 프로세서에 영향을 주었는지는 설명하지 않는다. 반대로, 네트워크 상태 맥락 없는 저수준 프로세서 흔적은 재시작을 보여줄 수 있지만, 복구 통보가 어떻게 다른 곳에서 조건을 재현했는지는 놓칠 수 있다.

시간 정렬이 특히 중요하다. AT&T가 보고한 1/100초 조건은 분석적 무게를 정확한 순서에 두었다. 증거는 일관된 시계 기준을 사용하고, 메시지가 취약한 상태 갱신의 이전에, 도중에, 이후에 도착했는지 판정할 수 있을 만큼의 해상도를 보존해야 한다. [1] 공개 기록은 1990년에 이용 가능한 시계 정확도, 텔레메트리 보존 기간, 메시지 흔적의 완전성을 확립하지 않는다.

알림 소유권 역시 알려지지 않았다. 유용한 통제는 상관된 프로세서 재설정의 확인, 함대 패턴의 인식, 릴리스 정지 선언, 신호 격리, 롤백 승인에 대한 책임을 배정한다. 그 목표는 사후에 비난할 개인을 찾는 것이 아니다. 관찰된 안전하지 않은 전이가 신속하고 차단 가능한 조치로 이어지도록 보장하는 것이다.

백업 신호망은 그것이 극복하려는 결함을 공유할 수 있다

백업 경로는 주 실패와 충분히 독립적일 때만 연속성을 만든다. AT&T는 12월 중순 업데이트가 백업 신호망에 더 빠른 접근을 제공하려는 것이었다고 말했지만, 바로 그 소프트웨어가 연쇄에 연루된 취약점을 도입했다. [1]

이 역설은 수사적이지 않고 운영적이다. 기본과 백업 신호 접근이 동일한 새 코드, 동일한 DLN 상태 기계, 동일한 메시지 타이밍에 의존한다면, 대체 경로는 소프트웨어 실패 도메인을 공유하면서 물리적 연결만을 보존할 수 있다. 그렇다면 백업 신호에의 빠른 접근은 유용한 연속성을 보장할 수 없다.

같은 원리가 이중화된 프로세서에도 적용된다. 하드웨어 이중화, 링크 다양성, 함대 규모는 가치가 있지만, 서로 다른 실패 유형을 다룬다. 독립성은 소프트웨어 버전, 상태 전이, 입력 출처, 제어 권한, 복구 방법 전반에 걸쳐 평가되어야 한다. 모든 사본이 같은 안전하지 않은 전이에 들어간다면, "이중"이라는 표지는 토폴로지를 기록할 뿐 회복탄력성을 기록하지 않는다.

롤백 역시 독립적이어야 한다. 이전 프로그램, 설치 메커니즘, 승인 경로는 새 신호 논리가 불안정할 때에도 사용 가능해야 한다. AT&T가 보고한 이전 프로그램으로의 복귀는 보존된 복구 버전의 역할을 보여주지만, 공개 출처는 각 교환기의 롤백 시점이나 내부 승인 순서를 공개하지 않는다. [1]

함대 상태를 위한 운영 증거 등록부

연속성 결정은 소프트웨어와 네트워크 상태를 연결하는 정확하고 시간 인덱스화된 기록을 요구한다. 운영 증거 등록부는 각 교환기에 대해 다음 다섯 가지 핵심 요소를 연결해야 한다:

• 설치된 소프트웨어 버전과 그 출처;
• 교환기의 가용성 및 복구 상태;
• 각 DLN 프로세서의 건강 상태와 활성/대기 상태;
• 기본, 백업 및 격리된 신호 관계의 상태; 그리고
• 현재 유효한 릴리스, 격리 또는 롤백 승인.

이 필드들은 독립 스냅샷으로 저장되기보다 연결되어야 한다. 프로세서 상태 없는 버전 기록은 수상한 코드가 재설정 동안 활성이었는지 보여줄 수 없다. 신호 상태 없는 프로세서 알람은 교환기가 고립되었는지 아니면 여전히 이웃을 노출하고 있었는지 보여줄 수 없다. 측정된 카나리 결과 없는 릴리스 승인은 확장이 왜 승인되었는지 입증할 수 없다.

등록부는 전이를 이벤트로 기록해야 한다: 교환기 불가능, 복구 시작, 상태 갱신 활성, IAM 버스트 관찰, 프로세서 재초기화, 짝 활성, 신호 관계 중단, 이전 소프트웨어 복원, 안정 작동 검증. 각 이벤트는 타임스탬프, 출처 시스템, 신뢰 수준, 책임 통제 소유자를 지녀야 한다.

릴리스 승인은 조건부여야 한다. 카나리는 필수 산출물이 붙어야만 진행될 수 있다: 전이 테스트 결과, 메시지 재전송 증거, 프로세서 일관성 검사, 롤백 훈련, 임계값 위반이 없는 관찰 구간. 실패 산출물은 승인된 검토가 처분과 뒷받침 증거를 기록할 때까지 확장을 자동으로 차단해야 한다.

사건 중에 같은 기록이 진단의 기초가 된다. 대응자들은 버전, 상태, 신호 노출에 따라 영향받은 교환기와 영향받지 않은 교환기를 비교할 수 있다. 실패가 소프트웨어 경계, 메시지 출처, 프로세서 역할 또는 복구 단계를 추적하는지 식별할 수 있다. 그것은 "네트워크"를 단일 이진 대상으로 다루는 것보다 유용하다.

복구 이후, 공개 보도는 측정된 기록으로부터 경계가 분명한 진술을 도출할 수 있다: 몇 개의 교환기가 복구에 들어갔는지, 신호 관계가 얼마나 오래 격리되었는지, 이전 버전이 언제 복원되었는지, 통화 완성 성과가 어떻게 변했는지. 1990년의 공개 출처는 그 완전한 등록부를 제공하지 않는다. 그 부재가 영향과 교환기별 타이밍이 계속 한정을 유지해야 하는 이유 중 하나다.

공개 증거가 해결하지 않는 것들

출처들은 결함 있는 소스 코드, 컴파일러 행동, 타이밍 조건의 영향을 받은 정확한 데이터 구조를 공개하지 않는다. 완전한 생산 전 테스트 매트릭스, 변경 검토 기록, 모든 IAM과 DLN 전이를 보여주는 생산 흔적도 제공하지 않는다.

4ESS 함대에 걸친 배치 순서는 여전히 미지수다. 카나리 경계, 관찰 구간, 정지 기준, 버전 재고 통제, 릴리스 승인도 마찬가지다. 당시 114개 교환기 보도는 명시된 배치 범위를 확립할 뿐, 배치의 순서나 거버넌스를 확립하지 않는다. [2]

교환기별 실패 및 복구 타임라인의 완전한 기록도 없다. 공개 기술은 어느 교환기가 어느 시점에 실패했는지, 각 프로세서가 얼마나 오래 불가능했는지, 신호 격리가 지역별로 어떻게 달랐는지, 모든 복구 조치가 동일한 효과를 냈는지 확립하지 않는다.

고객 영향 역시 불완전하다. 기록은 상당한 장거리 통화 실패와 800 번호 및 컴퓨터 회선 서비스에 대한 영향 보도를 지지하지만, 조정된 고객 목록, 긴급 서비스에 대한 정확한 영향, 감사된 거래 손실, 확인된 경제 총계는 확립하지 않는다. [3][4][5][6]

내부 사건 지휘 결정, 알림 확인, 롤백 승인 시점은 여기서 공개되지 않는다. 촉발 트렁크 인터페이스 하드웨어 고장의 원인 역시 이 출처 집합에서 해결되지 않고 남아 있다. 그 간극을 비행, 악의적 침해 또는 개인 과실에 대한 주장으로 바꿀 근거는 없다.

마지막으로, 즉각적인 복구가 성공했다는 것이 모든 이후의 프로세스 변경이 효과적이었다는 것을 증명하지는 않는다. 수정된 테스트, 릴리스 격리, 롤백 훈련의 증거가 장기적 통제 개선을 평가하는 데 필요하다. 각 미지수에 대한 적절한 대응은 추측이 아니라 경계가 분명한 증거 요청이다.

통제-증거 매트릭스

경계가 분명한 책임성 시험

1990년 1월 15일의 장애는 사소한 하드웨어 복구만으로 국가적 규모가 되지 않았다. 그 규모는 시간 민감형 DLN 결함, 유효한 IAM 트래픽, 결합된 이중 프로세서, 반복되는 CCS7 복구 전이, 4ESS 함대에 걸친 공통 소프트웨어 경계의 상호작용에서 나왔다. [1][2]

첫 번째 책임성 시험은 측정된 전이 행동이다. 운영자는 교환기가 실제 신호 부하 하에서 불가능에서 가능으로 이동하는 동안 무엇이 일어나는지, 즉 그 이동의 전과 후만이 아니라 도중에 무엇이 일어나는지 보여줄 수 있는가? 증거는 메시지 타이밍, 상태 갱신, 프로세서 인계, 인접 교환기에 대한 영향을 포함해야 한다.

두 번째는 실패 도메인 격리다. 이중 프로세서와 백업 신호는, 테스트가 관련 코드, 상태 또는 입력 실패를 공유하지 않음을 입증할 때만 독립적으로 다루어져야 한다. 하나의 릴리스가 모든 노드에 같은 취약한 전이를 준다면, 큰 함대는 연속성을 개선하지 않는다.

세 번째는 차단 가능한 릴리스 게이트다. 카나리는 위험한 행동을 노출해야 하고, 그 경고 조건은 확장을 멈추어야 한다. 버전 재고, 프로세서 상태, 신호 상태, 릴리스 권한은 사건이 전개되는 동안 대응자들이 공통 경계를 식별할 수 있도록 정확하게 연결되어 있어야 한다.

네 번째는 훈련된 롤백이다. 보존된 이전 버전은 운영자가 신호가 불안정한 동안 복원할 수 있고, 결함이 더 이상 재현되지 않음을 검증할 수 있고, 격리된 링크의 이후 복구를 통제할 수 있을 때만 유용하다. AT&T가 보고한 롤백과 실험실 재현은 제거, 진단, 수정에 각각 필요한 서로 다른 증거를 보여준다. [1]

마지막 시험은 투명한 증거다. 영향 추정치는 귀속된 채 유지되어야 하고, 미지수는 가시적으로 남아 있어야 하며, 기술적 신뢰도는 "백업", "이중", "엄밀히 테스트됨" 같은 표지가 아니라 측정된 실행 행동에 근거해야 한다. 전이가 안전하고, 실패 도메인이 격리되고, 릴리스 게이트가 배치를 멈출 수 있고, 스트레스 하에서 롤백이 작동하고, 그 통제들을 연결하는 증거가 검토를 견딜 수 있을 때, 연속성은 입증된다.

출처

1. https://catless.ncl.ac.uk/risks/9.63.html
2. https://catless.ncl.ac.uk/risks/9.62.html
3. https://www.latimes.com/archives/la-xpm-1990-01-16-mn-280-story.html
4. https://www.washingtonpost.com/archive/politics/1990/01/16/att-long-distance-lines-fail/b7d91e28-0655-4f61-8ee6-5bf16f27f86e/
5. https://www.upi.com/Archives/1990/01/16/ATT-pinpoints-cause-of-long-distance-line-crash/2432632466000/
6. https://www.latimes.com/archives/la-xpm-1990-01-16-mn-301-story.html
7. https://www.deseret.com/1990/1/16/18841349/at-t-is-back-to-normal-after-glitch/
8. https://telephoneworld.org/landline-telephone-history/the-crash-of-the-att-network-in-1990/
9. https://www.gutenberg.org/files/101/101-h/101-h.htm
10. https://www.researchgate.net/publication/4003254_Preventing_network_instability_caused_by_control_plane_poison_messages
11. https://dl.ifip.org/db/conf/im/im2003/DuSS03.pdf
12. https://its.ntia.gov/publications/details?pub=2281
13. https://its.ntia.gov/publications/download/91-281.pdf
14. https://www.itu.int/rec/T-REC-Q.700/en
15. https://www.itu.int/rec/T-REC-Q.701/en
16. https://www.itu.int/rec/T-REC-Q.704/en
17. https://www.itu.int/rec/T-REC-Q.705/en
18. https://www.itu.int/rec/T-REC-Q.706/en
19. https://www.itu.int/rec/T-REC-Q.752/en
20. https://www.gao.gov/assets/aimd-95-23.pdf