요약

  • 라우트 플랩 댐핑은 인터넷 초기의 실제 제약에 대한 답이었습니다. 반복되는 BGP 변경은 희소한 라우터 처리 용량을 소모하고 추가 불안정을 초래할 수 있었습니다.
  • 이 메커니즘의 벌점 카운터는 만성적인 물리적 장애와, 평범한 철회 뒤에 이어지는 대체 경로 탐색을 구분하지 못했습니다. 그래서 수리되고 유효한 프리픽스가 그 보유자가 통제하지 않는 네트워크에서 억제 상태로 남을 수 있었습니다.
  • 지속적인 권위는 어느 한 표준화 단체에 있지 않았습니다. RFC 저자들은 메커니즘을 기술했고, 벤더는 기본값을 구현했으며, 네트워크 운영자가 그 기본값을 실행할지 여부를 결정했습니다.
  • 연구가 수렴 지연 벌칙을 드러낸 뒤, 운영상의 경로는 조정된 설정에서 광범위한 비활성화로, 다시 더 보수적인 임계값으로 이동했습니다. 더 깊이 있는 선택적 알고리즘은 이후 표준이 문서화한 보편적 수리책이 되지 못했습니다.

10분에 세 번의 변경

RIPE-229의 유지보수 기록은 예정된 소프트웨어 업그레이드로 시작합니다. 업그레이드 후 재시작은 한 번의 라우트 플랩으로 계수되었습니다. 새 소프트웨어가 크래시하여 또 하나가 추가되었고, 구버전을 다시 불러오면서 세 번째가 더해졌습니다. 10분 안에 세 번의 변경이 일어난 것입니다.

백본은 끝없는 순환에 들어간 것이 아니었습니다. 운영자는 변경을 시도해 보고, 문제가 있다고 판단해 이전 상태로 되돌린 것입니다. 그러나 일부 상위 및 피어링 라우터는 공격적이고 프리픽스 길이에 민감한 댐핑을 적용하고 있었습니다. 문서는 운영자의 /24 경로, 고객 경로를 포함해, 일부 경계에서 3시간 넘게 억제된 상태로 유지되었다고 기록합니다. 수리가 위법의 신호처럼 보이는 결과를 만들어냈고, 원격 카운터는 그 차이를 알지 못했습니다.

이 사건은 조정된 파라미터 권고의 형성에 기여했습니다. RIPE 27에서 워킹그룹은 네 번째 연속 플랩 전에는 억제를 시작하지 않기로 하고, 마지막 플랩 이후 억제를 1시간으로 상한하는 선택을 했습니다. 그 한계는 방금 관찰된 동작보다 완만했습니다. 그래도 임계값을 넘은 작동 중인 /24가 1시간 동안 사라질 수 있는 규칙이기는 했습니다.

RFD가 해결하려 했던 문제

라우트 플랩 댐핑은 행정 권력을 찾아서 발명된 것이 아니었습니다. 초기 문서들은 제어평면 문제를 기술합니다. 1990년대 전반기에 광고되는 프리픽스 수가 늘고, 공급자 간 경로가 촘촘해지면서, 모든 철회가 전체 테이블을 운반하는 라우터에 의해 처리될 수 있었습니다. 초기 라우팅 엔진은 현대 장비에 비해 처리 여유가 훨씬 적었습니다. 갱신 폭주는 라우터를 세션을 잃을 만큼 심하게 부하시킬 수 있었고, 그 실패는 이웃에 더 많은 변경을 보낼 수 있었습니다.

운영 문서들은 이 메커니즘의 기원을 1993년으로, Cisco, ISI/RSd, GateD 소프트웨어에의 등장을 1995년으로 봅니다. 1998년 11월 RFC 2439가 발표될 무렵 저자들은 이 기법이 상용 제품에 구현되어 광범위하게 배포된 상태라고 기술했습니다. RFC의 목표는 정확했습니다. 처리 부하를 줄이고, 지속적인 진동을 방지하며, 대체로 양호한 경로의 지연을 피하는 것이었습니다.

이 메커니즘은 외부 BGP 이웃으로부터 학습한 경로에 점수를 유지했습니다. 철회는 점수를 올렸습니다. 구현에 따라 다른 변경도 점수를 올릴 수 있었습니다. 점수는 시간에 따라 지수적으로 감쇠했습니다. 억제 임계값 위에서는 경로가 사용되지 않았고, 재사용 임계값 아래로 내려오면 복귀할 수 있었습니다. 최대 홀드다운이 기억 한계를 정했습니다.

이는 제한된 하드웨어에 대한 효율적인 답이었습니다. 동시에 예측 시스템이기도 했습니다. RFC 2439는 미래의 경로 안정성을 정확히 알 수 없음을 인정했고, 그래서 최근의 변경이 대리 지표로 쓰였습니다. 결정적인 질문은 무엇이 변경으로 계수되고, 그 이력이 얼마나 많은 벌칙을 지니는가였습니다.

설정 가능한 메커니즘에서 조정된 규칙으로

로컬 선택이 두 번째 문제를 낳았습니다. 벤더들은 서로 다른 기본값을 출하했습니다. 운영자들은 서로 다른 반감기, 임계값, 최대 억제 시간을 고를 수 있었습니다. 한 경로가 인터넷의 한쪽에서는 이용 가능하면서 다른 쪽에서는 여전히 억제될 수 있었습니다. 원점 네트워크는 장애를 고치고 자기 라우터를 초기화할 수 있었지만, 알 수 없는 상위 자율 시스템의 카운터를 직접 초기화할 방법은 없었습니다.

RIPE 워킹그룹 문서들은 이렇게 분산된 결정을 예측 가능하게 만들려 했습니다. RIPE 26의 논의가 BOF로 이어졌고, RIPE 27이 태스크포스를 만들었으며, RIPE-178이 1998년에 나왔습니다. UUNET의 Tony Barber는 자신의 환경에서 수 개월간 운용된 파라미터 세트를 설계했습니다. RIPE-229는 2001년에 권고를 다듬어 ISP들과 벤더 기본값으로서의 채택을 권장했습니다.

이것은 명령이 아니라 영향력이었습니다. RIPE는 공통 설정을 발표할 수는 있었지만 모든 라우터에 로그인할 수는 없었습니다. RFC 2439는 메커니즘을 표준화할 수는 있었지만 활성화할 수는 없었습니다. 실행 가능한 권위는 벤더와 운영자에게 남았습니다. 벤더가 어떤 카운터와 상수가 존재할지를 결정하고, 운영자가 자신이 통제하는 장비에 무엇이 돌아갈지를 결정했습니다.

권고는 또한 배분적 선택을 담았습니다. “등급화된” 접근은 /24와 더 긴 프리픽스를 더 짧은 집합체보다 엄격하게 다루었습니다. 임계값 이후 /24는 1시간의 중단을 받을 수 있었고, 더 짧은 프리픽스는 더 낮은 범위를 받았습니다. 명시된 근거에는 집계와 짧은 프리픽스 뒤에 있는 더 많은 사용자가 포함되었습니다. 그러나 멀티홈 소규모 네트워크는 종종 집계 불가능한 더 긴 광고를 필요로 했습니다. 부담은 따라서 경로 회복력이 구체성에 의존하는 보유자들에게 고르지 않게 떨어졌습니다.

예외가 규칙을 드러냈습니다. RIPE-229는 루트 및 최상위 도메인 네임서버 중 마침 더 긴 프리픽스에 속한 것들을 위한 “Golden Networks”를 제안했습니다. 인프라를 보호하려는 정책으로부터 인프라를 보호할 필요가 있었던 것입니다. 그 목록은 프리픽스 길이를 미래 행동의 더 나은 척도로 만들지 않았습니다. 거짓 억제의 비용이 너무 크다고 여겨지는 프리픽스들을 식별했을 뿐입니다.

한 번의 철회가 여러 실패처럼 보였을 때

결정적인 도전은 BGP 자체의 동작에서 나왔습니다. 경로가 철회된 후 이웃 라우터가 반드시 유효한 경로에서 곧장 “도달 불가”로 옮겨가는 것은 아닙니다. 라우터는 일련의 대체 경로를 탐색할 수 있습니다. 각각의 최적 경로 변경은 서로 다른 AS 경로를 지닙니다. 그 속성 변화를 관찰하는 댐핑 구현은 원점이 실제로는 한 번만 실패했는데도 벌점을 추가할 수 있습니다.

Zhuoqing Morley Mao, Ramesh Govindan, George Varghese, Randy Katz는 2002년 SIGCOMM 논문에서 모델, 시뮬레이션, 트레이스, 상용 라우터 테스트베드로 이 상호작용을 분석했습니다. 연구된 토폴로지에서, 철회 한 번과 재광고는 재등장하는 경로를 최대 1시간 동안 억제하기에 충분한 2차 변경을 만들 수 있었습니다. RIPE-378은 이후 몇 자율 시스템 홉 떨어진 곳에서 프리픽스 철회 한 번이 41개의 BGP 이벤트를 만든 측정을 기술했습니다.

이 발견에는 경계가 있었습니다. 논문은 세계의 어느 정도가 RFD를 실행 중인지 측정하지 않았고, 이 효과를 유발할 정확한 인터넷 토폴로지는 이후 연구에 남겨두었습니다. 그러나 공격적인 설정 뒤에 있던 중요한 가정을 반증했습니다. 높은 점수가 반드시 반복되는 물리적 불안정을 의미하는 것은 아니었습니다. 그것은 라우팅 시스템이 자신의 대체 경로 탐색을 계수하고 있는 것일 수 있었습니다.

저자들은 선택적 플랩 댐핑을 제안했습니다. 철회 탐색에 특징적인 단조적 경로 변경은 새로운 플랩으로 계수하지 않는 것입니다. 그들이 테스트한 토폴로지에서 이 변경은 철회로 인한 억제를 없애면서도 실제로 40초마다 교대하는 경로는 여전히 댐핑했습니다. 그것은 그럴듯한 재설계였지, 운영 규모 채택의 증명이 아니었습니다.

치료책은 먼저 제거되었다가, 다시 조정되었다

RIPE-378은 2006년의 운영상 대응을 기록했습니다. 2002년 수정에 대한 ISP 업계의 요구도, 구현자의 활동도 나타나지 않았다고 말합니다. 라우터 처리 능력도 늘어 RFD가 처음 다루던 문제의 시급성이 줄어들었습니다. 이 문서는 이전 파라미터 권고를 폐기된 것으로 선언하고, 당시의 RFD 구현을 ISP 네트워크에서 사용하지 말라고 조언했습니다. 저자들은 도달성 부작용이 댐핑 없이 운영하는 것보다 아마 더 나쁠 것이라고 결론지었습니다.

2012년 인터넷 드래프트 설문은 그 뒤를 제한적으로 보여줍니다. 이 설문은 운영자 메일링 리스트에 대한 호출 뒤 63개의 자발적 응답을 모았습니다. 13명은 RFD를 사용한다고, 49명은 사용하지 않는다고 답했습니다. 15개의 답변이 RIPE-378을 불사용 이유로 들었습니다. 이 표본은 전 세계 배포율을 확립할 수 없지만, 권고가 운영상으로 인식 가능해졌고 고객 영향이 보고된 우려였다는 더 좁은 주장은 뒷받침합니다.

이후의 복귀는 2002년의 메커니즘을 지우지 않았습니다. 카운터가 붙잡는 대상을 좁혔습니다. RIPE-580과 RFC 7196 뒤의 측정은 적은 수의 프리픽스가 갱신의 큰 비중을 만들어낸다는 것을 발견했습니다. RFC 7196에서 연구한 주간에 억제 임계값을 2,000에서 6,000으로 올리면, 2,000 설정보다 90퍼센트 적은 프리픽스를 댐핑하면서 갱신률을 댐핑 없음 대비 19퍼센트 줄였습니다. 12,000에서는 그 실험에서 프리픽스의 0.22퍼센트만 댐핑되었고, 평균 시간당 갱신은 약 11퍼센트 감소했습니다.

RFC 7196은 따라서 덜 파괴적이지만 여전히 공격적인 사용을 위해서는 최소 6,000을, 보수적 설정을 위해서는 최소 12,000을 권장했습니다. 운영자가 경로를 억제하지 않고 효과를 계산할 수 있는 관측 전용 모드도 제안했습니다. 그러나 기존 기본값을 조용히 바꾸지 말라고 조언했는데, 그렇게 하면 운영 구성이 깨질 수 있기 때문입니다. 검증된 에라툼은 문서 표에 나열된 Cisco와 Juniper의 기본값이 보증된 값이 아니라 참고 정보였음을 분명히 합니다.

이것이 중앙의 잣대 없이 락인이 나타나는 방식입니다. 구 기본값은 너무 공격적이라고 판단되었지만, 자동으로 바꾸는 일은 그 자체로 호환성 리스크를 지녔습니다. 선택적 알고리즘은 코드와 배포 작업을 요구했고, 높은 임계값은 이미 설치된 구성 표면에 맞았습니다. 재조정은 더 낮은 조정 비용의 길이었습니다.

도달성을 누가 통제했고, 누가 대가를 치렀는가

프리픽스 보유자는 자신의 광고와 수리를 통제했습니다. 레지스트리 기록은 어느 조직이 주소 자원을 보유하는지 보여줄 수 있었습니다. 그러나 어느 사실도 원격 라우터가 그 경로를 다시 사용하도록 강제하지 않았습니다. 트랜짓 및 피어링 운영자는 자신의 장비에서 댐핑을 통제했습니다. 벤더는 어떤 조정 장치가 존재하고, 손대지 않으면 어떻게 동작하는지를 통제했습니다. 표준과 워킹그룹 저자는 언어, 메커니즘, 권장 값을 제공했지만, 어떤 문서도 구성을 실행하지 않았습니다.

즉각적인 수혜자는 반복되는 갱신으로부터 제어평면을 보호하는 네트워크였습니다. 심각한 초기 사례에서는 그 보호가 라우터 실패의 연쇄를 막는다면 모두가 이익을 볼 수 있었습니다. 거짓이거나 증폭된 사례의 비용은 다른 곳에 떨어졌습니다. 수리된 프리픽스의 보유자, 그 고객, 그리고 그 서비스에 도달하려는 사용자들이었습니다. 진단은 여러 자율 시스템에 걸쳐 이어질 수 있는 반면, 피해 당사자는 어느 쪽이 여전히 벌점을 들고 있는지 알지 못할 수 있었습니다.

이런 배치는 좁은 의미로는 로컬에서 정당화되었습니다. 운영자가 자신이 소유한 라우터를 구성했기 때문입니다. 모든 영향받은 프리픽스 보유자가 부여한 전역 명령은 아니었습니다. 그리고 그 증거는 계약 위반이나 위법 행위를 증명하지도 않습니다. 정당성 문제는 더 구체적입니다. 결과적으로 중요한 결정이 피해 당사자에게 관찰하기 어렵고, 귀속하기 어렵고, 다투기 어려웠다는 점입니다.

반사실은 초기 제약을 지울 수 없다

1995년에 RFD가 없었던 인터넷이 자동으로 더 빠르고 안전하지는 않았을 것입니다. 초기 처리 문제는 기록 속에서 실제였고, 댐핑 없음은 더 많은 변동과 더 많은 과부하 라우터를 의미했을 수 있습니다. 그럴듯한 대안에는 제어평면을 보호할 다른 방법이 필요합니다.

선택적 댐핑은 그런 반사실 중 하나이지만, 2002년 논문은 그것이 연구된 환경에서 일어난 일만 증명합니다. 처음부터의 보수적 임계값도 하나입니다. 더 많은 갱신을 허용하면서 더 많은 평범한 프리픽스를 아꼈을 것이고, 그것이 이후 측정된 트레이드오프입니다. 더 나은 가시성은 셋째입니다. 벌점, 관찰 중인 AS, 안전한 초기화 절차를 영향받은 네트워크에 노출하는 것입니다. 그것은 중앙 라우팅 권위를 만들지 않으면서 진단을 단축할 수 있었으나, 인증과 악용 문제는 여전히 어려웠을 것입니다.

역사적 결과는 덜 극적이고 더 지속적이었습니다. 표준이 기술했습니다. 소프트웨어가 인코딩했습니다. 운영자가 실행했습니다. 그 권력들이 “인터넷의 안정성 정책”으로 하나로 합쳐지는 순간, 지연에 대한 대가를 지불하는 사람은 시야에서 사라졌습니다.

번호 자원 보유자에게 RFD는 단단한 경계를 제공합니다. 레지스트리는 그 프리픽스가 누구의 것인지 기록할 수 있고, 원점은 정확히 광고할 수 있습니다. 그러나 원격 네트워크는 여전히 그 경로가 지금 믿을 만한지를 스스로 결정합니다. 자원 소유권은 증거입니다. 도달성은 자율 시스템들 사이에서 계속되는 관계입니다.

출처