要約

  • IESGは10月29日、実験室での管理された試験と変動する実運用網の性能測定を扱うBPM作業部会の憲章を承認した。
  • BPMは指標、手法、結果の記載方法を定める。一方、ベンチマークの受入基準と性能要件は定めず、採用する組織の判断に委ねる。

調達資料に数値が並んでも、最後の押印欄は空白のままになり得る。「この結果なら受け入れる」と誰が決めたのか。IETFが新たに承認したBenchmarking & Performance Measurements、略称BPMの憲章は、この空欄を規格の陰に隠させない。標準化するのは測定の方法であって、個々のネットワークの合格点ではない。

IESGが10月29日に承認した憲章は、データを運ぶサービスやアプリケーションの品質、性能、信頼性、規模を対象とする。ルーターやファイアウォールからデータセンターのファブリック、コントローラー、仮想化・コンテナー基盤、ネットワーク管理ソフト、端末まで含まれる。データプレーンだけでなく制御と管理のプレーンも入る。測定結果が設備投資や運用判断に使われるなら、測定対象と条件が分かる形にする、という仕事だ。

その射程には二つの前身がある。BMWGは制御した刺激を与える実験室ベンチマークを担い、現用ネットワークでのベンチマークは対象外としていた。IPPMはIP上のサービスとアプリケーションについて、能動・受動・混合の測定方法や指標を扱った。BPM憲章は両作業部会の後継を名乗り、そのRFCの保守も引き受ける。11月2日時点で旧二部会のDatatrackerページにはなお「Active」と表示されている。新しい所掌は承認済みだが、公開ページの行政上の表示はまだ一本化されていない。

一つの作業部会に収めても、試験室と本番網の条件は混ざらない。試験室なら装置を切り出し、計測器を校正し、負荷を固定して繰り返せる。本番網では経路、ほかのトラフィック、端末の需要が測定中にも変わる。BPMは両者で使える指標と用語の共通部分を作る。同時に、実運用での測定がデータ、制御、管理の各プレーンに与える影響を小さくする手順も求める。同じ名前の指標を用いても、採取条件を残さなければ比較は成立しない。

例えば購入審査で、一台の装置を隔離して得た能力値と、混雑時間帯に稼働サービスを観察した値が並んだとする。前者は定められた負荷の下での実装の性質を示す。後者はある時間帯のサービスの姿を示す。構成、トラフィック、トポロジー、時間窓、校正、計算方法を記録して初めて差を検討できる。それでも「このサービスに必要な性能はいくつか」は別の問いだ。BPMが方法を整え、採用者が必要条件を契約に書く。

この役割分担は旧BMWGの憲章にもあった。導入先によって必要な性能が違うため、作業部会は受入基準や性能要件を定めない。新しいBPMも、試験環境と結果を曖昧さなく報告し、できるだけ特定の製造者に依存しない手法を目指す一方、普遍的な合格値は設定しない。標準の物差しは必要だ。しかし、物差しの目盛りをどこで切るかは、そのサービスを買う側の責任である。

RFC 6390として公表されたBCP 170は、平均値をそのまま判定に使う危うさを具体的に示している。パケット損失率の平均が役立つ場合はある。短い損失の連続に弱いアプリケーションには、損失がいつ固まって起きたかが重要だ。平均が近い二つの記録でも、利用者側への影響は異なり得る。同文書は、指標の利用者、測定方法、サンプリング、トポロジー、精度、報告期間を明示するよう求める。数値はそれらの条件を伴って初めて意味を持つ。

本番網の試験は、観測する対象に負荷もかける。BPM憲章は、同じ経路を使う別のフローへの悪影響と、試験を予期していない端末にトラフィックが届く問題を緩和する方法を求める。運用者は試験の責任者、送出量、時間帯、停止条件を先に決めるべきだ。規格化されたプロトコルがあることと、どこへでも試験パケットを送ってよいことは別である。

BPMの対象には、性能に関するYANG管理モデルやテレメトリー輸出のIPFIX要素も入る。測定値を管理システムに取り込みやすくなる一方、誤った閾値も大量に適用しやすくなる。指標から警報、購入点数、違約金へ進むには、測定とは別の判断が必要だ。データフィールドはその判断の責任者を代行しない。

調達文書には二つの節を分けて置きたい。試験方法には指標、装置、構成、負荷、校正、測定時間、報告書式を書く。受入条件には対象サービス、要求負荷、合格値、例外の扱い、再試験の手順を書く。後者は売り手の最も魅力的なグラフを見る前に用意する。順番を逆にすると、提示された数値に合わせて購入目的を書き直すことになる。

BPMがうまく働けば、業界は違う時計を比べる無駄を減らせる。そこで残る争点はずっと具体的だ。どのサービスを買い、どのリスクを引き受け、誰がその数字に合格印を押すのか。

資料：IESGの承認記録、承認済みBPM憲章、BPM作業部会、BMWG憲章、IPPM憲章、BCP 170／RFC 6390。