요약

  • IESG는 10월 29일 실험실의 통제된 시험과 변화하는 운영망의 측정을 모두 맡는 BPM 작업반 헌장을 승인했다.
  • 헌장은 지표, 방법, 결과 보고를 표준화하면서도 성능 요구치와 인수 기준은 정하지 않는다. 구매자와 운영자가 서비스에 맞는 합격선을 써야 한다.

시험 성적서에는 수치가 많다. 정작 서명하려는 사람에게 필요한 문장은 빠지기 쉽다. “이 결과면 우리 망에 들여도 된다”는 판단이다. IETF의 새 Benchmarking & Performance Measurements 작업반, BPM은 숫자가 만들어지는 과정을 더 명확하게 만들 수 있다. 숫자가 얼마여야 합격인지까지 정해 주지는 않는다. 10월 29일 승인된 헌장은 그 경계를 일부러 남겨 뒀다.

BPM의 업무 범위는 넓다. 데이터 전달 서비스와 애플리케이션의 품질, 성능, 안정성, 확장성을 재는 지표와 방법, 프로토콜을 다룬다. 라우터와 방화벽, 데이터센터 패브릭, 컨트롤러, 가상화·컨테이너 기반 시설, 네트워크 관리 소프트웨어와 단말이 대상이다. 데이터 평면뿐 아니라 제어·관리 평면도 포함한다. 장비 공급자와 운영자가 같은 단어를 쓰더라도 다른 시험을 가리키는 일을 줄이는 것이 이 작업의 핵심이다.

새 헌장은 두 작업반의 역사를 이어받는다. BMWG는 격리된 실험실에서 통제된 자극을 주는 벤치마킹 방법을 맡았고, 운영 중인 네트워크에 대한 벤치마크는 범위 밖에 뒀다. IPPM은 IP를 통한 서비스와 애플리케이션의 성능 지표를 다루며 능동·수동·혼합 측정 방법을 살폈다. BPM 헌장은 두 작업반의 후계자로 BPM을 지목하고 기존 RFC의 유지 업무도 맡긴다. 11월 2일 확인한 Datatracker의 BMWG·IPPM 페이지에는 여전히 ‘Active’가 표시된다. 새 권한 배분은 승인됐지만 옛 페이지의 행정 상태는 아직 그 설명을 따라가지 않았다.

실험실과 운영망을 같은 작업반에 넣는다고 두 장소가 같은 환경이 되지는 않는다. 실험실에서는 장비를 분리하고 계측기를 교정하며 트래픽을 고정해 시험을 반복할 수 있다. 운영망에서는 경로, 다른 사용자의 부하, 단말의 요구가 측정하는 동안에도 달라진다. BPM은 두 환경에서 통하는 지표와 절차, 용어를 만들되 운영망에서 측정이 데이터·제어·관리 평면에 미치는 영향을 줄이라고 요구한다. 이름이 같은 지표를 썼다는 이유만으로 두 결과가 같은 질문에 답하지는 않는다.

구매 심사 장면을 떠올려 보자. 공급자는 격리된 장비의 처리량 시험을 내고, 운영팀은 바쁜 시간대의 서비스 측정치를 낸다. 앞의 수치는 지정된 부하에서 구현체가 무엇을 했는지 알려 준다. 뒤의 수치는 특정 시간에 서비스가 어떤 상태였는지 보여 준다. 둘을 이어 보려면 구성, 트래픽 조합, 토폴로지, 관측 시간, 교정 상태와 계산법이 필요하다. 그리고 한 가지가 더 필요하다. 구매하려는 서비스가 실제로 충족해야 할 조건이다. BPM이 보고 형식을 다듬어도 그 조건은 구매 조직이 계약서에 적어야 한다.

옛 BMWG 헌장에도 같은 선이 있었다. 배치 환경마다 요구가 다르므로 작업반은 인수 기준과 성능 요구치를 정하지 않았다. BPM은 분야를 넓히면서도 벤치마킹 권고가 성능 특성, 시험 환경, 명확한 결과 보고에 집중하고 공급자에 치우치지 않도록 한다. 보편적인 합격 점수는 만들지 않는다. 공통 자를 만드는 것과 모든 네트워크의 구매 결재를 대신하는 것은 다른 일이다.

RFC 6390으로 출판된 BCP 170은 평균값 하나에 결재 도장을 찍을 때 생기는 문제를 보여 준다. 패킷 손실률의 평균은 유용할 수 있다. 하지만 짧게 몰려 발생하는 손실에 약한 애플리케이션에는 손실의 분포가 더 중요하다. 평균이 비슷한 두 기록도 서비스에 서로 다른 영향을 줄 수 있다. 이 지침은 지표를 만들 때 누가 쓰는지, 어떻게 표본을 모으는지, 어디서 얼마나 오래 재는지, 정확도와 보고 기간을 밝히라고 한다. 이런 조건은 숫자 뒤에 붙은 장식이 아니라 숫자의 뜻이다.

운영망 시험은 스스로 부하를 만든다. BPM 헌장은 새 측정 방법이 같은 경로를 쓰는 다른 흐름에 해를 주거나 시험을 예상하지 못한 단말에 트래픽을 보내는 문제를 완화하도록 요구한다. 운영자는 시험 책임자, 전송량, 시간, 중단 조건을 먼저 정해야 한다. 측정 프로토콜이 표준 문서에 있다는 사실만으로 모든 단말이 시험 대상이 되지는 않는다.

BPM의 범위에는 성능 관련 YANG 모델과 원격 측정 결과를 내보내는 IPFIX 요소도 있다. 수집과 자동 처리는 쉬워질 수 있다. 잘못 정한 문턱값도 같은 속도로 대시보드, 경보, 공급자 점수, 서비스 벌칙에 퍼질 수 있다. 측정 필드를 실제 결정에 연결하는 순간 조직은 별도의 규칙을 만든 것이다. 프로토콜은 그 규칙에 서명하지 않는다.

실무 계약에는 두 문서가 필요하다. 시험 방법에는 지표, 장비, 구성, 부하, 교정, 시간 범위, 보고 형식을 쓴다. 인수 조건에는 제공받을 서비스, 필요한 부하, 합격값, 예외 승인자, 재시험 절차를 쓴다. 공급자가 가장 보기 좋은 그래프를 가져오기 전에 두 번째 문서를 완성해야 한다. 순서를 바꾸면 보여 준 숫자에 맞춰 구매 목적을 다시 쓰게 된다.

BPM이 성공하면 서로 다른 초시계를 놓고 다투는 시간은 줄어든다. 그 다음에는 더 피할 수 없는 질문이 남는다. 누구의 서비스를 위한 수치인가, 누가 위험을 받아들이는가, 누가 합격란에 서명하는가.

자료: IESG 승인 기록, 승인된 BPM 헌장, BPM 작업반, BMWG 헌장, IPPM 헌장, BCP 170 / RFC 6390.