요약

  • NANOG의 공개 규칙은 벤더 발표를 실질적인 검증 대상으로 내세운다. 벤더는 제출할 수 있지만 고용주 홍보는 제약을 받고, 기밀 유지 문구는 금지되며, 공개 슬라이드가 요구되고, 다중 벤더 사례가 우선되며, 제안은 검토 및 셰퍼딩 과정을 거친다.
  • NANOG 96 발표IP Geofeeds: Trust, Accuracy, and Abuse는 상당한 수준의 방법과 분모를 공개했다. 그러나Accuracy라는 제목의 페이지는92.0% consistency를 보고했고, 이 구분은 이후 운영자들의 비평이 나오면서 무시할 수 없는 문제가 되었다.
  • 공식 혼합 주제 스레드 컨테이너는 122개 댓글과 44명 참여자를 보고한다. 주제줄 전수 분류 결과 35개 표시 이름에서 나온 지오피드 주제 답글 107건이 확인되었다. 어느 쪽 수치도 투표, 합의 측정 또는 실험적 결론이 아니다.
  • 적절한 행사 이후 기록은 중대한 주장을 슬라이드, 방법, 분모, 비평, 응답, 양보 또는 수정, 아티팩트 버전과 연결해야 한다. 단, 고객 데이터, GPS 이동 기록, 기기 식별자, 독점 코드, 사적 서신의 공개까지는 요구하지 않는다.

숫자 아래의 명사

NANOG 96의 39페이지 슬라이드 자료에서 21페이지는 한 단어 제목을 싣고 있다:Accuracy. 그 아래 국가 수준 결과는 다른 명사를 쓴다.92.0% consistency를 보고하며, 이는96.6% IPv4와79.6% IPv6로 나뉜다. 도시 결과는79.6% consistency이고,88.3% IPv4와56.2% IPv6로 나뉜다. 같은 페이지는759 km의 중위 불일치 거리도 제시한다.

이 어휘상의 간격은 대화 속에서는 사라질 만큼 작지만, 주장을 바꿀 만큼 크다. 정확도는 주소가 사용되는 위치에 대해 충분히 독립적인 기준과의 비교를 암시한다. 일치도는 두 개의 구축된 관측값이 서로 일치한다는 뜻일 수 있으며, 어느 쪽도 위치를 독립적으로 확립하지 않을 수 있다. 그 결과는 방법과 명사가 함께 다닐 때만 정보가 된다. 단서가 떨어지고 수치가 정확도 점수로 재해석되는 순간, 측정된 관계는 발표가 독립적으로 확립하지 못한 판정으로 변한다.

세션 제목은IP Geofeeds: Trust, Accuracy, and Abuse였다. IPinfo의 Calvin Ardi가 발표했으며, 슬라이드에는 Oliver Gasser와 William Leung도 이름을 올리고 있다. NANOG의 행사 페이지는 초록, 영상, 슬라이드를 그대로 보관하고 있다. 이 보관물이 이후의 논쟁을 가능하게 했다. 참여자들이 기억을 놓고 다투는 대신 아티팩트를 검사할 수 있었기 때문이다. 동시에 행사 페이지 포함이 무엇을 의미하는지 한계도 정의한다. 세션은 선정되어 공개되었다. 기록은 NANOG가 이 발견을 채택했다고 말하지 않고, 프로그램 위원회가 측정을 재현했다고 말하지 않으며, 행사 발표가 학술적 동료 평가를 거쳤다고 말하지 않는다.

본격적인 검증은 이후 공개 NANOG 메일링 리스트에서 이루어졌다. 참여자들은 독립적 지상 진실, 네트워크 지연의 지리적 거리 환산, 표본 커버리지, 감지된 충돌에서 수정에 이르는 경로를 두고 다투었다. IPinfo 대표자는 해당 작업을 옹호하고, 독립 벤치마크를 환영하며, 아웃리치의 한계를 인정했고, 나중에는 수정 양식의 모순적인 문구가 변경되었다고 밝혔다. 이런 교류는 공개 기록을 넓혔다. 그러나 모든 기술적 질문을 해결하지는 못했다.

제도적 문제는 여기서 시작된다. 벤더의 참석 자체가 결함이 아니고, 비판적인 리스트 메시지가 곧 판정도 아니다. 문제는 영구적인 세션 페이지와 사후에 중요한 의미를 갖는 논쟁이 별개의 기록으로 남아 있다는 점이다. 행사 페이지를 통해 들어온 사람은 발표는 보지만, 그 항목에서 이후의 이의 제기, 응답, 양보, 수정 주장으로 이어지는 보이는 경로를 갖지 못한다.

배제보다 노출이 더 나은 벤더 규칙이다

쉬운 정책은 발언으로 고용주가 이득을 볼 수 있는 발표자를 배제하는 것이다. 그러나 그렇게 하면 대규모 계측 장비, 구현 지식, 실운영 경험을 통제하는 엔지니어를 운영자 포럼에서 놓치게 된다. NANOG는 더 유용한 접근을 선택했다. 현재 발표 가이드라인은 여러 형식으로 참석자와 벤더 모두에게 발표 제출을 환영한다. 공급업체 소속이라는 이유만으로 자동 실격되지 않는다.

규칙은 대신 상업적 전문성이 방에 들어오는 방식을 제약한다. 발표 자료에는 기밀 유지 문구를 달 수 없다. 발표자는 강연을 고용주 홍보에 사용하지 말라고 안내받고, 고용주 로고는 일반적으로 첫 슬라이드와 마지막 슬라이드로 제한된다. 다중 벤더 구성 사례가 권장된다. 단일 벤더 사례는 금지되지 않지만 우선순위가 낮다. NANOG는 발표 당일 행사 페이지에 PDF가 게시된다고 명시한다. 행동 강령은 별도로 제품이나 서비스를 공격적으로 밀어붙이는 행위를 금지한다.

이 규칙들만으로 방법이 타당한지는 확인할 수 없다. 그러나 그보다 앞서 필요한 일을 한다: 아티팩트를 인용하고, 검사하고, 반박할 만큼 공개적으로 유지한다. 조직의 발표 팁은 사례 연구, 이상 현상, 구체적 전문성, 청중을 위한 행동 제안을 선호함으로써 그 운영 강조를 보강한다.

공개된 검토 절차에는 초록, 프로그램 위원회 초기 검토, 지정된 셰퍼드, 작업 슬라이드, 추가 슬라이드 검토, 선정, 행사 페이지 공개, 최종 자료가 포함된다. 슬라이드를 포함한 제안은 검토자가 의도된 발표를 더 잘 볼 수 있어 일반적으로 우대된다. 프로그램 위원회는 자신을 제안 모집과 투표를 포함한 행사 프로그램 담당자로 소개한다.

이 단계들 가운데 하나가 다른 단계의 의미를 대신하지는 않는다. 선정은 세션을 커뮤니티 앞에 올릴 가치가 있다고 판단한 것이고, 공개는 무엇이 말해졌는지를 보존한다. 셰퍼딩은 범위, 명료성, 주장의 절제를 개선할 수 있다. 학술적 동료 평가는 다른 형태의 검증이다. 독립 검증은 외부 테스트를 요구한다. 운영적 진실은 더 어렵다. 네트워크, 시간, 실패 모드, 사용처 전반에 걸친 성능에 달려 있기 때문이다. 이들을 하나의 승인 격상 사다리로 다루면 행사 채택에 그것이 갖지 못한 권위를 부여하게 된다.

프로그램 위원회 페이지는 전략 목표 가운데 "스폰서와 발표자와의 상호 이익이 되는 협정"을 나열하기도 한다. 이 문구는 보이는 경계선이 갖는 가치를 말해준다. 스폰서나 발표자가 이 세션에 영향을 미쳤다는 증거는 아니다. 적절한 대응은 고용주 이름에 붙은 의심이 아니다. 상업적 이해관계가 보이고 뒷받침 증거가 여전히 반박 가능한 기술 기록이다.

NANOG는 이 균형을 오랫동안 다뤄 왔다. 2008년 리스트 교류에서 한 참여자는 기밀이거나 독점적인 블랙박스 콘텐츠, 대안의 부재, 불충분한 방법론적 세부사항을 비판했다. 다른 이들은 경험적이고 운영적으로 유용한 벤더 작업을 옹호하고, 방법 자체가 정당한 상업적 가치를 담을 수 있다고 지적하며, 현장 질문의 역할을 강조했다. 2016년 발표 모집은 다시 벤더 제출을 환영하면서 홍보성 또는 독점적 발표는 거부했다. 반복되는 테스트는 실질적이다: 지식 있고 관심 있는 주체가 무엇을 공개해야 운영자가 주장을 평가할 수 있는가?

슬라이드가 드러낸 것

지오피드 발표는 그 테스트를 실제로 적용할 만큼 충분한 세부사항을 제공했다. 첫 번째 접근은 프로브 네트워크의 왕복 지연 측정을 사용했다. 이 방법은 측정값으로부터 거리 폴리곤을 구축하고 그 교집합을 지오피드 내 위치와 비교했다. 17페이지는27.7M왕복 지연 측정,205.0kIPv4 프리픽스,74.5kIPv6 프리픽스를 보고한다. 자료는 143개국, 500개 이상 도시, 400개 이상 자율 시스템에 걸친 1,300개 이상의 프로브를 기술한다.

이런 분모는 중요하다. 대규모 측정 수행과 일화 모음을 구분하고, IPv4와 IPv6 모집단을 별개로 드러내며, 비평가에게 명확히 살펴볼 대상을 준다. 그러나 모든 타당성 질문에 답하지는 않는다. 측정량만으로는 지연이 독립적인 지리적 진실을 준다는 것이 확립되지 않는다. 넓은 프로브 발판이 균일한 커버리지를 증명하지도 않는다. 네트워크 관측으로부터 추론된 폴리곤은 여전히 라우팅, 지연, 전파, 프로브 배치에 대한 가정에 의존한다.

두 번째 접근은 GPS를 갖춘 모바일 기기를 사용했다. 슬라이드는 24개국 196개 도시의 169개 기기가 135개 IPv4와 97개 IPv6 프리픽스를 커버했다고 보고한다. 이 방법에서 국가 결과는84.5% consistency이고, 도시 결과는29.9% consistency이다. 이 대비는 유용하다. 모바일 표본은 능동 측정 집합과 종이 다르고 훨씬 적은 프리픽스를 커버한다. 국가 결과와 도시 결과도 크게 벌어진다. 단일 헤드라인 점수는 이 두 사실을 모두 가릴 것이다.

자료는 운영적 설계를 완성된 것으로 제시하지 않는다. 마지막 페이지들은 운영자에게 검증과 피드백을 위한 갱신된 형식과 메커니즘을 제안한다. 이는 발표자들이 형식, 검증, 피드백을 미해결 표면으로 다룬다는 점에서 의미가 있다. 그것은 여전히 제안이며, 메커니즘이 이후 구현되었거나 분쟁을 해결했다는 증거가 아니다.

RFC 8805가 기술적 배경을 제공한다. 이 표준은 자가 공개 IP 지리정보 피드의 형식을 정의한다. 자가 공개는 네트워크가 자신이 이해하는 프리픽스의 용도를 진술하게 하지만, 형식 적합성은 기록이 사실인지, 최신인지, 모든 하류 판단에 적합한지 증명하지 않는다. 따라서 최소 세 개의 증거 층이 공존한다. 네트워크의 주장, 그것을 평가하는 관찰자의 방법, 그리고 사용자가 결과에서 내리는 판단이다.

NANOG 96 슬라이드는 주장과 평가 층을 논쟁이 가능할 만큼 충분히 보이게 했다. 그러나 상업 서비스 전체의 품질을 확립하지 못했으며, 하나의 학회 방법이 모든 주소 범위나 운영 조건을 정할 수도 없다. 방어 가능한 기여는 더 좁으면서도 여전히 가치 있다. 운영자가 추궁할 수 있는 명시된 방법, 분모, 결과였다.

리스트가 추가한 것

추궁은 정돈되지 않은 장소에서 전개되었다. 공식 리스트 컨테이너는 122개 댓글과 44명 참여자를 보고하지만, 대화는 BGP 커뮤니티로 시작해 이후 주제를 바꿨다. 122개 댓글 전부를 지오피드 논쟁이라 부르면 컨테이너가 갖지 못한 정밀성을 부여하는 셈이다.

공식 답글 주제줄의 전수 분류는 35개 서로 다른 표시 이름 아래에geofeed또는geofeeds를 담은 답글 107건을 찾았다. 그 편집적 집계는 보이는 분기를 찾는 데 유용할 뿐 그 이상은 아니다. 주제 문자열이 모든 메시지 본문이 NANOG 96 발표를 분석했다고 증명하지는 않는다. 표시 이름은 전문성이나 고유한 인간 신원의 척도가 아니다. 107도 35도 합의를 측정하지 않으며, 어느 쪽도 NANOG 전체 합의로 환산될 수 없다.

Tom Beecher는 직접적인 방법론적 비판을 했다. 그는 능동 측정 작업이 독립적인 지리적 진실과의 비교가 아니라 프로브 기반 폴리곤과 지오피드 간의 일치를 보여준다고 주장했다. 그는 네트워크 타이밍을 직선 또는 전파 거리와 연결하는 가정에 이의를 제기하고,92%수치를 정확도로 읽는 것에 반대하며 커버리지 우려를 제기했다.

이 비판은 방법과 헤드라인 사이의 관계를 겨냥한다. 그러나 그것은 판정된 반박이 아니라 비판으로 남는다. 검토된 공개 기록에는 모든 가정을 해소하는 독립 재현이 아니라 경쟁하는 주장과 운영자 사례가 담겨 있다. 적절한 귀속은 여기서 호의가 아니라, 이의 제기를 보존하는 것과 이미 승리한 것처럼 가장하는 것 사이의 경계선이다.

IPinfo 대표자는 참여자들에게 NANOG 96 발표와 별개의 동료 평가 논문을 안내하면서, 독립 학술 벤치마크를 환영한다고 말했다. 별개 논문의 평가 상태가 학회 발표로 이전되지 않는다. 그 인용 자체가 21페이지의 정확한 결과를 검증하지도 않는다. IPinfo의 이후 공개 설명은 자사 방법과 입장을 정교화했지만, 외부 대조가 아닌 벤더가 통제한 서술로 남는다.

논의는 이어서 수정 메커니즘에 닿았다. 대표자는 인터넷 서비스 제공업체가 보고한 충돌이 조사되며, 여러 프리픽스에 걸친 체계적 문제가 아웃리치를 촉발할 수 있다고 말했다. 같은 대표자는 불만이 접수되지 않은 상태에서 모든 자율 시스템에 대해 모든 개별 프리픽스 불일치마다 선제적으로 연락하지는 않는다고 말하며, 그 한계가 실재한다고 인정하고 높은 신뢰도 충돌에 대한 옵트인 보고를 제안했다.

이는 기술된 수정 루프에 관한 의미 있는 양보다. 대규모 측정과 대규모 통지는 서로 다른 사업이다. 그 발언은 모든 사례가 어떻게 처리되는지, 제안된 보고가 실제로 구축되었는지, 몇 개의 수정이 최종 결과에 도달했는지 독립적으로 확립하지 않는다.

또 다른 교류에서 대표자는 한 운영자와 연관된 모순적인 내부 결과를 기술하며 사적으로 계속하자고 요청했다. 사적 처리가 적절했을 수 있지만, 공개된 결과는 알려지지 않은 채로 남았다. 이후 한 참여자가 스레드의 주장과 모순되어 보이는 수정 양식 문구를 인용하자, 대표자는 모순에 대한 책임을 인정하고 양식이 단일 소스의 자동 우선이 아닌 다중 소스 조사를 기술하도록 갱신되었다고 말했다.

그 발언은 기록에 주장된 수정으로 남아야 한다. 그 한계는 그 옆에 놓여야 한다. 이전 양식은 재구성되지 않았고, 변경의 전체 이력은 독립적으로 검증되지 않았다. 연구 검토 당시 공개된 수정 접수 창구가 존재했지만, 그 존재는 응답 시간도, 수용률도, 최종 수정이 정확한지 여부도 보여주지 않는다.

리스트는 무대가 할 수 없는 기능을 수행했다. 가정, 반례, 유인을 드러내고, 양보를 끌어내며, 바뀐 문구에 대한 공개 진술을 낳았다. 그 약점은 구조적이다. 교류는 혼합 주제 체인 안에서 자라나고, 수십 개 메시지에 걸쳐 흩어지며, 일부 조사를 사적 서신으로 옮겼다. 행사 페이지에서 출발하는 독자는 이후 논의의 존재 자체를 알아야만 한다.

메일링 리스트는 검토 중인 주장이 아니라 답글과 주제줄로 대화를 조직한다. 한 메시지는 측정 모델에 도전하고, 다른 메시지는 영향받은 프리픽스를 기술하며, 또 다른 메시지는 수정 관행의 서술을 개정할 수 있다. 연표는 교류를 보존하지만 이후 독자에게 어떤 진술이 어떤 슬라이드에 답하는지 알려주지는 않는다. 주제 변경은 발견을 더 어렵게 한다. 컨테이너 총계는 지오피드 분기를 과대 보고하는 반면, 주제 전용 필터도 여전히 방법론적 분석과 지나가는 언급을 구분하지 못한다. 따라서 리스트는 필수적인 증거 표면이자 자신의 증거에 대한 비효율적인 색인이다. 세션 기록에서 이를 링크하면 논의의 개방성을 보존하면서, 실시간으로 교류를 따라간 소수 전문가만이 재구성할 수 있는 상황의 가능성을 줄인다.

다섯 종류의 권위

이 사례는 다섯 개의 서로 다른 사건이 각자의 이름을 유지할 때 더 읽기 쉬워진다.

선정은 프로그램 위원회가 공개된 절차에 따라 세션을 프로그램에 올릴 만하다고 판단했음을 뜻한다. 공개는 청중이 아티팩트를 검사할 수 있음을 뜻한다. 동료 평가는 학술적 절차를 지칭하며, 이 경우 리스트에서 인용된 별개 논문에는 적용되지만 NANOG 발표에는 자동으로 적용되지 않는다. 독립 검증은 관련 방법과 주장에 대한 외부 테스트를 요구한다. 운영적 진실은 사람들이 그 결과에 의존하는 환경에서의 성능을 다룬다.

한 사건은 다른 사건을 대신하지 않으면서 다른 사건을 뒷받침할 수 있다. 유용한 학회 관측이 저널에 들지 않을 수 있다. 평가된 방법이 네트워크가 변하면 다르게 작동할 수 있다. 메일링 리스트 반례가 유병률을 추정하지 않고 심각한 실패 모드를 드러낼 수 있다. 벤더가 더 큰 분석을 유지하면서 한계를 양보할 수 있다. 공개 기록은 각 항목이 다음 항목에서 권위를 빌리는 것을 막을 때 신뢰할 수 있게 된다.

Geoff Huston의 NANOG 96에 대한 APNIC 리뷰는 외부 관점을 더한다. 두 지오피드 세션을 모두 짚으며, IP 기반 지리정보를 거칠고, 조작 가능하고, 흔히 검증하기 어렵다고 기술한다. 그 논평은 이 분쟁을 어려운 운영 분야에 놓아준다. IPinfo 서비스의 벤치마크는 아니다.

운영자 반례에도 같은 주의가 필요하다. 반례는 집계 점수가 중대한 사례를 가릴 수 있음이나 수정 경로가 사용하기 어려울 수 있음을 보여줄 수 있다. 반드시 실패가 얼마나 흔한지 측정하지는 않는다. 역으로 집계 결과는 자기 프리픽스가 틀린 운영자의 질문에 답하지 않는다. 증거 거버넌스는 어느 쪽도 보편적 판정의 역할을 강제하지 않으면서 두 규모를 모두 읽히게 해야 한다.

NANOG는 누가 논쟁에서 이겼는지 결정할 필요가 없다. 독자가 불일치를 발견하고, 각 측이 무엇을 주장했는지 보고, 공개 아티팩트가 바뀌었는지 알 수 있도록 보장할 수 있다. 그것은 제품 판단이 아니라 제도적 과제다.

공개의 정당한 한계

완전한 재현 가능성은 생산 시스템에 닿기 전까지 매력적인 요구다. 벤더 연구는 라이선스 소스, 고객 제공 기록, 보호된 인프라, 고비용 실험으로 구축된 방법에 의존할 수 있다. 모바일 검증은 위치 이동 기록과 기기 식별자를 수반할 수 있다. 운영자 조사는 주소 사용, 내부 연락처, 보안에 민감한 맥락을 노출할 수 있다. 무제한 공개는 사생활을 침해하고, 시스템을 조작하기 쉽게 만들며, 고객 신뢰를 훼손하고, 정당한 상업적 가치를 파괴할 수 있다.

그 손실은 공급자를 넘어 퍼진다. NANOG 발표가 모든 관측값과 모든 독점 코드를 공개할 것을 요구한다면, 대규모 운영 증거에 가장 좋은 접근을 가진 일부 엔지니어가 떠날 것이다. 운영자는 더 적은 측정, 더 적은 구현 교훈, 더 적은 질문 기회를 받게 될 것이다. NOG 모임은 법정도 학술 저널도 아니다. 그 강점은 네트워크를 운영하는 사람들 사이의 빠른 교류에 있다.

NANOG의 현행 체계는 이미 이 반론의 일부에 답한다. 공개 슬라이드와 기밀 유지 문구 금지는 검사 가능한 아티팩트를 만든다. 홍보 제한은 기여를 세일즈 토크와 분리한다. 셰퍼딩은 행사 전 검토 관계를 제공한다. 공개 리스트는 도전의 장을 제공한다. 사적 후속은 방송되지 말아야 할 세부사항을 보호할 수 있다.

적절한 기준은 경계를 갖춘 공개다. 주장 수준의 기록은 고객 기록, 원시 GPS 이동 기록, 기기 식별자, 독점 소스 코드, 사적 운영자 서신, 익스플로잇 관련 인프라의 공개를 강요해서는 안 된다. 비평가도 실패가 발생했음을 증명하기 위해 고객을 노출할 필요가 없어야 한다. 공개 접수는 보류된 증거의 범주를 식별하고, 민감성의 이유를 밝히며, 통제된 조건에서 어떤 독립 또는 신뢰 테스트가 가능할지 말할 수 있다.

방법도 여러 수준에서 기술될 수 있다. 발표자는 완전한 구현을 공개하지 않고도 측정 범주, 중요한 가정, 분모, 제외, 불확실성, 그럴듯한 대안을 밝힐 수 있다. 수정 노트는 해당 사례를 노출하지 않고 무엇이 언제 바뀌었는지 식별할 수 있다. 사적 작업은 사적으로 남으면서 공개 상태는unresolved,confirmed,not reproduced,wording corrected로 표시될 수 있다.

따라서 기밀 유지와 반박 가능성은 대립물이 아니다. 거버넌스 의무는 그 경계를 보이게 만드는 것이다.

가장 작고 유용한 추가 기록

해법이 제2의 학회 논문집 시스템이 될 필요는 없다. 중대한 행사 이후 이의 제기에 대해 NANOG는 기존 영상 및 슬라이드 링크 아래에 간결한 주장 수준의 추가 기록을 둘 수 있다. 그 목적은 발견과 귀속이지 재정이 아니다.

이 사례에서 첫 항목은 21페이지를 식별할 것이다. 제목Accuracy, 국가 불릿92.0% consistency, IPv4 및 IPv6 세부 분해. 능동 측정 방법과 분모(왕복 지연 폴리곤,27.7M측정,205.0kIPv4 프리픽스,74.5kIPv6 프리픽스)를 명시하고, 모바일 GPS 방법과 그 훨씬 작은 기기 및 프리픽스 수를 별도로 식별한다.

이의 제기 항목은 Beecher의 비판을 링크하고 그의 것으로 기술할 것이다. 독립적 지상 진실, 기하학, 커버리지, 일치도를 정확도로 전환하는 문제에 대한 질문들. 응답 항목은 대표자의 옹호, 별개의 연구 참고문헌, 독립 벤치마크 초대를 가리킨다. 한계 항목은 개별 프리픽스 불일치가 모두 선제적 아웃리치를 촉발하지는 않는다는 진술을 보존한다. 수정 항목은 모순적인 양식 문구가 갱신되었다는 대표자의 주장을 기록한다.

기록은 그 다음 아티팩트 상태를 보여준다. 슬라이드가 바뀌었는가? 설명 자료가 추가되었는가? 공개 문구가 개정되었는가? 제안된 충돌 보고가 구현되었는가? 운영자 사례가 공개 가능한 결과 없이 사적으로 이어졌는가?Unknown은 정직한 상태다. 추가 기록의 기능은 종결을 만들어내는 것이 아니라, 시간과 인터페이스에 의한 분리가 정리처럼 보이는 것을 막는 것이다.

버전 관리가 필수적이다. 라이브 양식에 대한 링크는 분쟁 당시 그 양식이 무엇을 말했는지 확립할 수 없다. 날짜가 표기된 노트(발표자는 문구가 바뀌었다고 진술, 이전 공개 버전은 여기에 보존되지 않음)는 기록이 뒷받침하는 바를 정확히 말한다. NANOG가 아티팩트를 보유하지 않으면 검증을 암시하는 대신 그 부재를 밝힐 수 있다.

기준은 일상적인 불일치에 주석을 달지 않도록 충분히 높게 유지되어야 한다. 중심 수치 주장, 중대한 한계, 발표자 양보, 중대한 정오표, 공개 아티팩트에 대한 명시된 변경이 해당된다. 문체적 반대와 제품 선호는 해당되지 않는다. 프로그램 위원회 또는 소규모 기록 기능이 링크와 라벨을 큐레이션할 수 있으며, 배후의 과학은 판정하지 않는다.

원본 발표는 손대지 않아야 한다. 추가 기록은 슬라이드를 몰래 교체하거나 소급적으로 문구를 다듬는 대신, 역사적 주장을 보존하고 이후 증거를 그 옆에 놓을 때 가장 유용하다. 각 항목은 날짜, 안정적인 링크, 진술자의 이름과 역할,critique,presenter response,stated limitation,claimed correction,independent replication같은 짧은 증거 라벨을 실을 수 있다. 라벨은 아티팩트의 기능을 기술하며, 진실을 인증하지 않는다. 링크가 나중에 사라지면 기록은 인용을 유지하고 가용성이 변경되었음을 표시할 수 있다. 그 소박한 규율은 NANOG를 모든 기술적 불일치의 중재자로 만들지 않으면서 독자가 순서를 재구성하게 한다.

중립적 구조는 비평가만큼 발표자도 보호한다. 다른 곳에서 비난을 접한 이후 독자는 응답도 찾을 수 있어야 한다. 도전, 옹호, 양보, 수정을 하나의 지도에 놓으면 무비판적 추천과 맥락 없는 비난을 모두 줄인다.

이 사례를 위해 검토된 공개 페이지에서 주장 수준의 매핑은 발견되지 않았다. 캡처된 NANOG 96 행사 페이지는 세션, 영상, 슬라이드를 링크하지만, 이후의 지오피드 분기, Beecher의 비판, 대표자의 아웃리치 한계, 주장된 양식 수정을 보이게 링크하지는 않는다. 그것은 검토된 기록에 관한 경계를 갖춘 관찰이다. 의도를 암시하지 않으며, NANOG에 사적 또는 내부 관행이 없다고 확립하지도 않는다.

방 안 이전과 이후의 책임

행사 이후 추적 가능성이 실현 불가능한 행사 이전 보증이 되어서는 안 된다. 공개 기록은 이 세션에 대한 프로그램 위원회의 제안 수준 추론, 정확한 검토자 질문, 셰퍼딩 중의 변경, 검토자가 지상 진실, 기하학, 커버리지, 문구를 제기했는지 여부를 공개하지 않는다. 그 역사를 지어내기 위한 책임 있는 근거는 없다.

프로그램 위원회가 발표 일정을 잡기 전 모든 측정을 재현할 것으로 기대해서는 안 된다. 논쟁적인 작업은 운영자의 검증이 그것을 개선하기 때문에 정확히 가치 있을 수 있다. 선정이 정확성의 보증이 되면 위원회는 야심 있는 증거 대신 안전한 요약을 선호하게 된다. 모든 이후 분쟁이 선정 실패로 낙인찍히면 발표자는 불확실성을 숨길 유인을 얻는다.

더 명확한 분업은 주장의 생애를 따른다. 행사 전 검토자는 관련성, 공개, 방법 가시성, 분모, 한계, 고용주 가치와 청중 가치의 구분을 검사할 수 있다. 행사 중 운영자는 가정을 추궁하고 반례를 제시할 수 있다. 행사 후 영구 기록은 중대한 이의 제기, 응답, 아티팩트 변경을 세션에 연결할 수 있다. 독립 연구자는 재현에 책임을 지고, 운영자는 자신의 환경에서의 판단에 책임을 진다.

이 순서는 또한 책임성이 지연의 명분이 되는 것을 막는다. NANOG는 모든 외부 테스트가 끝날 때까지 유용한 세션을 보류할 필요가 없다. 공개는 신속하게 유지되고, 이후 증거는 원본 발표를 지우지 않으면서 기록을 개선할 수 있다. 발표자는 전체 결과를 양보하지 않고 비판에 답할 수 있고, 비평가는 유병률을 주장하지 않고 실패 모드를 문서화할 수 있으며, 행사 페이지는 기술적 판정을 발령하지 않고 양쪽 입장을 보여줄 수 있다. 포럼의 기여는 연속성이다. 증거적 상태가 변하는 동안 공개 주장에 접근 가능한 상태를 유지하는 것이다.

이 분업은 셰퍼딩에 요구되면서도 현실적인 역할을 준다. 셰퍼드는 진실을 인증할 필요 없이,Accuracy라는 제목의 슬라이드가consistency라 불리는 측정을 보고하는지, 표본 분모가 보이는지, IPv4와 IPv6 결과가 분리되어 있는지, 단일 벤더 결과가 한계와 대안을 인정하는지 물을 수 있다. 이것들은 주장의 절제에 관한 질문이다. 완성을 가장하지 않으면서 이후의 검증을 가능하게 한다.

2008년 논쟁은 이미 중심적 트레이드오프를 담고 있었다. 주장을 검증할 만큼의 방법은 있어야 하지만, 일부 방법은 정당한 상업적 민감성을 지닌다. 현장 질문은 약점을 드러낼 수 있지만 지속적인 지도를 남기지 않을 수 있다. NANOG 96 사례는 시간적 교훈을 더한다. 중대한 질문은 몇 주 뒤, 다른 매체에서 도래할 수 있다.

공식 리스트의 규모는 공개 운영자 검증의 강점과 비용을 동시에 보여준다. 긴 혼합 컨테이너, 수십 개의 표시 이름, 상당한 지오피드 주제 분기는 지속적인 관심을 보여준다. 합의, 대표성, 실험적 타당성을 증명하지는 않는다. 관련된 도전과 응답 자료가 존재한다는 것, 그리고 그것을 재구성하려면 대부분의 행사 페이지 독자가 존재 자체를 모를 작업이 필요하다는 것을 보여준다.

링크된 기록은 그 작업을 운영 기억으로 바꾼다. Beecher의 비판을 판정된 결과와 구분하고, 대표자의 양보를 관측된 시스템 행동과 구분하고, 명시된 문구 수정을 재구성된 버전 이력과 구분하고, 사적 후속을 공개된 결과와 구분한다. 이런 구분은 편집적 장식이 아니다. 불일치를 견딜 수 있는 기술 기록의 실체다.

남은 미지는 보이는 상태로 유지되어야 한다. 검토된 자료에는 상업 서비스 전체에 대한 독립 벤치마크가 없다. 수정 건수나 응답 시간, 제안된 옵트인 보고가 구축되었는지, 사적 운영자 후속에서 무슨 일이 있었는지, 발표 방법이 독립적으로 재현되었는지 알려주지 않는다. 이 공백은 사례의 경계를 정한다. 추측의 초대가 아니다.

그 절제가 지속 가능한 벤더 테스트다. 고용주 신원은 보이지만 죄로 취급되지 않는다. 발표자는 분모 공개, 비판에 대한 응답, 한계 양보, 공개 문구 수정에 대한 크레딧을 받는다. 비평가는 최종 중재자가 되지 않으면서 자기 반론에 지속적인 경로를 받는다. NANOG의 규칙은 공개 아티팩트, 절제된 홍보, 검토, 셰퍼딩을 통해 이미 강한 출발을 제공한다. 리스트는 진지한 도전 표면을 제공한다. 검토된 공개 기록에서 빠진 것은 그 둘 사이의 연결이다.

발표 아카이브는 독자에게 무엇이 무대에 도달했는지 알려준다. 증거 기록은 또한 그 주장이 무엇을 측정했는지, 누가 도전했는지, 발표자가 어떻게 답했는지, 어떤 한계가 양보되었는지, 아티팩트가 바뀌었는지, 무엇이 여전히 알려지지 않았는지 알려준다. NANOG 96 지오피드 분쟁은 어떤 제품 승자도 지목하지 않는다. 발표의 증거적 생애는 채택으로 끝날 수 없는 이유를 보여준다.

출처