要約

  • 2003 年の Informational RFC 3511 は、ルール、NAT、キャッシュ、認証、パケット、接続、DoS、違法トラフィックなどを含むファイアウォール性能試験を定義した。
  • 2023 年の Informational RFC 9411 はそれを明示的に廃止し、現代の NGFW/NGIPS 向けにセキュリティ有効性、アプリケーション混在、TLS/QUIC、持続フェーズと新しい検証条件を含む別の契約を定義した。数値だけを連結してはならない。

折れ線グラフは滑らかだった。左半分は RFC 3511、右半分は RFC 9411 による結果だったが、凡例には同じ「throughput」としか書かれていなかった。

右側の試験は暗号化を扱い、アプリケーションを識別し、セキュリティ機能を固定し、失敗率を検証していた。左側の試験は当時の目的に沿っていた。線が連続に見えたのは、編集者が方法の断点を消したからである。

廃止は過去のデータを無効にする操作ではない。どの契約が数値を作ったかを保存する要求である。

RFC 3511 は当時の境界を明示した

RFC 3511 は転送、接続、遅延、フィルタリングの試験を扱った。NAT は有効・無効の両方を試し、状態を報告する。ルールセットは報告に含める。キャッシュと認証は経路と遅延を変える。

IP throughput は予定負荷、実負荷、パケットサイズ、送信数、転送数を区別した。接続も同時容量、確立率、切断率に分けた。HTTP はオブジェクトサイズ、要求数、応答完了、再送と goodput を持った。

この細かさは、装置名だけでは測定対象を表せないという認識だった。2003 年の方法は単純だったのではなく、2003 年の問題に対して限定されていた。

セキュリティ評価を内包しなかった

RFC 3511 は DoS handling と illegal traffic handling を含む一方、一般的なセキュリティ評価は範囲外だと明記した。

違法トラフィック試験では、禁止されたのに許可された接続を数える。これを落とせば、検査せず通す実装が高性能に見える。DoS 試験も、定義した攻撃負荷が定義した率へ与える影響であり、あらゆる攻撃への耐性ではない。

したがって古い throughput を「防御性能」と呼ぶことは、当時の RFC 自身が置いた境界を越える。

RFC 9411 は測る前に機能を固定する

現代のインライン NGFW/NGIPS は、TLS inspection、IDS/IPS、anti-malware、application identification、logging、deep packet inspection などを実行し得る。

RFC 9411 は推奨機能を定め、採用しない場合は理由と性能影響を報告させる。同じ構成を一連の試験で保ち、現実的な ACL 数を使うよう求める。

これは機能を多く有効にすれば必ず正しいという意味ではない。何を測ったかを再現できるように、測定対象を先に固定するという意味である。

有効性と性能は連結するが同一ではない

RFC 9411 は選んだセキュリティ構成の有効性を検証した後で性能を測る。速い allow path だけを取り出して保護性能と呼ぶことを防ぐ。

しかし有効性試験も万能ではない。選んだ CVE エミュレーション、背景トラフィック、ポリシーと判定基準の範囲に限られる。性能値はその検証済み構成へ結び付くが、未知の脅威や本番事故を証明しない。

有効性、速度、安定性、本番結果には別の receipt が必要である。

隔離試験と参照試験が必要になった

RFC 9411 のベンチマークは隔離環境で行う。RFC 6815 が示すとおり、RFC 2544 系の負荷を本番ネットワークに流すことは有害である。

DUT/SUT を外した参照試験を先に行い、テスト装置、リンク、外部 switch/router、virtual function、他の workload や熱による低下が限界でないことを確認する。

参照値を持たずに装置だけを責めると、試験環境のボトルネックが製品特性として残る。

アプリケーション混在が分母を作る

RFC 9411 はアプリケーション名、Layer 7 protocol、暗号化比率、方向、object-size 分布を報告させる。

HTTP/1.1、HTTP/2、HTTP/3 は connection と stream の使い方が違う。TCP と QUIC も違う。小さな object を多数処理する workload と大きな transfer は、同じ Gbit/s でも別の負荷を作る。

混在を削除した throughput は、何を inspection した数値か分からない。method 名だけでは分母を復元できない。

TLS と QUIC の仮定を保存する

HTTPS baseline は TLS 1.2 以上を使い、full handshake を実行し、session reuse/resumption を無効にする。QUIC baseline は 0-RTT と early data を無効にする。

これは比較のための規定条件であり、実ブラウザの全挙動ではない。TLS version、cipher、key size、record size、certificate、SNI、ALPN、inspection の有無を一緒に残す必要がある。

暗号方式や再開条件が違う結果を一列に並べれば、装置差と workload 差を分離できない。

sustain フェーズがピークを裁く

RFC 9411 は init、ramp-up、sustain、ramp-down を分け、KPI を sustain 中に測る。最初の短い peak は目的値ではない。

application transaction failure、予期しない TCP RST、HTTP/3 の一部 QUIC failure には検証閾値がある。成功 transaction は全データを転送し、有効な status を受ける。

時間系列は、state table、inspection queue、cache、thermal limit による低下を明らかにする。平均だけでは契約が維持されたか分からない。

手法の断点を台帳にする

各結果に RFC 番号、版、日付、DUT/SUT hardware/software、license、feature、policy hash、topology、reference test、traffic、crypto、load phase、validation outcome と measurement layer を結び付ける。

RFC 3511 から RFC 9411 へ移るグラフでは断点を表示する。再計算や正規化で差を消さない。両方法に共通する KPI でも、含まれる仕事が同じとは限らない。

本番へ適用する判断は別に署名する。本番の topology、policy、traffic と余裕が lab receipt に適合する理由を記録する。

証拠の境界

本稿は vendor、product、release、laboratory、customer、deployment を特定せず、benchmark score、exploit result、market rank、incident、現在の実装性能を報告しない。

RFC 3511 は 2003 年 4 月の Informational methodology、RFC 9411 はそれを廃止した 2023 年 3 月の Informational methodology である。後者も certification や production guarantee ではない。

RFC 9411 が machine learning と behavioral analysis を無効にする範囲は、それらを測らないという意味であり、実運用コストを推定する根拠ではない。

Heng Lu の最小仕様と running-code primacy は開示した編集レンズである。比較可能な最小 receipt と local decision を重視するが、firewall data ではない。

結論は単純だ。物差しが変わった地点を隠せば、滑らかな線ほど誤解を強くする。

Sources