要約

  • 10月1日付のBenchmarking & Performance Measurements（BPM）設立案は、BMWGとIPPMを引き継ぐ一つの作業部会を想定する。ただしDatatracker上の状態は提案段階であり、承認済みの統合ではない。
  • 改訂文は、厳密に制御した刺激を使う実験室での評価と、条件が変わる稼働中のネットワークでの測定を明示的に分けた。結果の報告方法は扱うが、受け入れ条件や最低性能を作業部会が決めないという制限は以前の版から続いている。

性能値は、測定した場面を離れた途端に別の意味を帯びやすい。装置単体を隔離して同じ負荷を繰り返した数字は、比較可能性を得る。一方、実運用で観測した数字には利用者のトラフィック、経路変更、他の機器の状態が入り込む。どちらも役に立つが、前者をそのまま本番サービスの保証に、後者を再現性のある装置評価に読み替えることはできない。IETFのBPM案が扱うのは、まさにこの二つの測定文化を一つの担当範囲に置く際の境界だ。

10月1日の00-04版は、実験室では隔離され高度に制御された刺激で装置、システム、サービスを評価し、本番環境では変動する実際の運用条件のもとでサービスやアプリケーションを測ると記す。9月29日の00-03版にも両環境への言及はあった。したがって今回の変更は新しい試験法の制定ではなく、試験結果の適用範囲を読み違えにくくするための明文化である。対象にはデータ、制御、管理の各プレーンに加え、物理、仮想、コンテナ化された設備が含まれる。

さらに重要なのは、何を「合格」と呼ぶかをBPMが決めない点だ。設立案は、ベンチマーク勧告が測定する特性、試験環境、誤解のない報告要件を示すとする一方、採用条件や性能要件を定義しない。この一文は00-03版にもあった。標準的な方法を使って調達先を比べることはできるが、特定の契約や運用で十分な値は、買い手やネットワークの責任者が決めなければならない。方法の標準化と、その結果に対する承認権限は別物である。

組織上の継承もまだ予定でしかない。00-04版はBPMをBenchmarking Methodology Working Group（BMWG）とIP Performance Measurement（IPPM）の後継と位置づけ、両者が出したRFCやBCP 170の保守を担わせる。Datatrackerは同時に、BPMをProposed、設立文書をIESGとIABによる内部審査段階と表示し、確認時点で一つのブロック意見を示していた。遠隔測定や送信元アドレス検証の評価を含む日付入りの目標は、将来の提出予定であって、公開済み標準の一覧ではない。

審議の争点には測定技術だけでなく、他の作業部会に対する権限もある。9月のIETFメーリングリストでGunter Van de Veldeは、旧文案の「全IETFの調整」という表現が従来の協力関係を超えるのではないかと懸念を示した。00-04版はMPLSやSPRINGなどとの「協力」を記す。これは参加者の指摘と文言の変化であり、IETFが越権を認定したという意味ではない。前版にあったStandards Track文書の実装確認に関する段落も00-04版にはないが、その削除理由やIETF全体の実装方針の変更までは本文から確定できない。

数値が共通のものさしで示されても、利用者の環境で十分かどうかは別の判断である。BPM案はその線引きを見えるようにしたが、部会そのものの設立可否はまだ決まっていない。

出典