요약

  • RFC 2398은 '테스트'를 하나의 상호 교환 가능한 활동으로 취급하지 않고, 목적·구현 방식·자동화 수준·가용성·필요한 실행 환경을 기준으로 열두 가지 TCP 테스트 도구를 정리했다.
  • 능동적 트래픽 손상, 실제 프로토콜 스택 측정, 패킷 캡처, 오프라인 분석, 그래프 작성은 서로 다른 증거를 만들어냈다. 그래프나 처리량 숫자만으로 정확성, 보안 또는 애플리케이션 성공을 증명할 수 없었다.

1998년 당시 TCP 테스트는 단일 실험실 기기 안에 담기지 않았다. 어떤 도구는 수많은 전송을 조율하고 로그를 기록했다. 또 다른 도구는 실행 중인 프로토콜 스택 내부에 지연, 큐, 대역폭 제한을 걸었다. 또 하나는 리눅스 머신을 '선택적으로 나쁜' 라우터로 바꾸었다. 다른 도구들은 결함을 주입하고, 패킷을 직접 만들고, 캡처를 검사하거나 시퀀스 번호를 시간 축에 따라 그래프로 그렸다. RFC 2398은 이들 열두 가지 도구를 하나의 목록으로 모았다.

이 목록의 구조는 내용만큼 중요했다. 모든 항목은 자신의 분류를 명시하고, 도구가 어떻게 동작하는지 설명하며, 남아 있는 자동화 범위와 수작업 개입을 밝히고, 어디서 구할 수 있는지 말하고, 실행에 필요한 환경을 공개해야 했다. 이 형식은 도구 이름이 방법론을 대신하지 못하도록 막았다. 트래픽이 어떻게 생성되었는지, 어떤 스택이 테스트 대상이었는지, 어떤 가정이 분석을 형성했는지 아무도 기록하지 않으면 같은 그래프도 거의 의미를 갖지 못할 수 있었다.

RFC는 세 가지 분류를 사용했다. 기능적 정확성, 성능, 스트레스다. 이들은 서로 연관되어 있지만 상호 교환 가능하지 않았다. TCP는 모든 요구되는 동작을 따르지 않으면서도 데이터를 빠르게 옮길 수 있었다. 단순한 교환에서는 규격에 맞다가 부하 상황에서는 실패할 수도 있었다. 스트레스 결과는 취약성을 드러낼 수 있지만, 그 결함이 구현에 있는지, 측정 경로에 있는지, 테스트 하네스에 있는지 설명해주지는 않았다.

열두 개 항목은 그 증거 사슬에서 각기 다른 위치를 차지했다. Dummynet은 실제 스택의 계층 사이에 큐, 대역폭, 지연을 시뮬레이션했다. NIST Net은 패킷을 지연, 삭제, 복제하거나 제한하는 선택적으로 나쁜 라우터로 동작했다. Orchestra는 스크립트로 만들어진 결함 계층을 삽입해 메시지를 재정렬, 수정 또는 위조할 수 있었지만, 올바른 행동과 그렇지 않은 행동을 판별하기 위한 트레이스 검사는 여전히 사용자에게 남겨 두었다. 이 도구들은 조건을 바꾼 뒤 구현이 어떻게 반응하는지 관찰했다.

Tcpanaly는 증거 사슬에서 더 뒤쪽에 위치했다. 이 도구는 다양한 구현에 대해 인코딩된 지식을 바탕으로 tcpdump 트레이스를 검사하고, 각 패킷이 왜 전송되었는지 설명하려 시도했으며, 측정 오류일 가능성과 행동 편차를 구분할 수 있었다. RFC 2398은 이 도구의 분류를 이름 붙이기 어렵다고 인정했는데, 고정된 단일 테스트를 적용하는 것이 아니라 행동을 프로파일링하기 때문이었다. Tcptrace는 재전송, 왕복 시간, 윈도우, 처리량을 계산했고, Tracelook과 Xplot은 캡처 변수를 그림으로 바꾸었다. 이들은 관찰자가 보도록 돕는 도구였으며, 화면에 표시되는 사건 자체를 만들어내는 도구가 아니었다.

Netperf, TReno, Ttcp는 또 다른 경계를 드러냈다. 처리량이나 지연 수치는 트래픽을 생성하는 것이 무엇이고 그 수치에 누구의 TCP 동작이 포함되어 있는지에 따라 달라졌다. TReno는 규격에 부합하는 혼잡 제어 TCP가 행동할 법한 방식으로 UDP 또는 ICMP 패킷의 타이밍을 측정하여, 단말 호스트의 TCP 구현에 의존하지 않는 경로 측정을 지향했다. 이는 다른 질문에 유용한 도구였으며, 모든 TCP 질문에 대한 상위 답이 아니었다.

RFC는 자신의 권위에 대해 절제된 태도를 취했다. 이 목록은 TCP Implementer 작업 그룹을 통해 보고된 도구들을 담고 있었다. 완전한 목록이 아니었다. 저자들은 발행 당시의 가용성만 확인했을 뿐, 영구적인 유지보수, 현재의 호환성, 보편적 적합성은 검증하지 않았다. 가용성 URL은 그 시점에 도구를 구할 수 있다는 증거였지, 동일한 주소가 계속 유지될 것이라는 약속이 아니었다.

보안 절은 더 단단한 선을 그었다. 일부 도구는 무단 패킷을 생성하거나 서비스 거부 상황을 만들 수 있었다. 일부는 외부 커널 코드나 루트 권한을 필요로 했다. 패킷 캡처는 타인의 메일과 파일을 노출할 수 있었다. 그러나 목록에 있는 어떤 도구도 보안을 '어떤 방식이나 형태로든' 평가하지 않았다. 네트워크를 교란할 수 있는 능력이 곧 그 네트워크의 보안을 판단할 수 있다는 증거는 아니었다.

결국 그래프는 결코 테스트가 아니었다. 그래프는 더 긴 관할 사슬의 끝자락에 있는 하나의 표현물이었다. 도구 선택, 필요한 환경, 주입되거나 관찰된 조건, 구현 빌드, 트래픽, 캡처, 계산, 시각화, 그리고 사람의 해석이 그 사슬을 이룬다. 고리 하나를 잃으면 깔끔한 선이 매력적인 일화로 변할 수 있다. 고리를 모두 보존하면, 결과는 실험이 알도록 설계된 범위를 넘어서 주장하지 않으면서 정확히 무엇이 일어났는지 말할 수 있다.

출처