要約

  • 設定やロジックの変更は、インフラの警報を鳴らさずに自動処理の結果を誤らせることがある。
  • Sepuriは本番の出力を継続的に確かめ、その挙動を次のテストへ戻すよう提案した。

緑色のダッシュボードは、サーバーが応答し、遅延やエラーが落ち着いていることを示す。サービスが正しい判断を下した証明にはならない。Shruthi SepuriのNANOG 98講演は、この差を信頼性の問題として正面から扱った。

講演名は「From Testing to Reliability: Detecting Silent Failures in Production Systems」。NANOGの公式プログラムによると、30分のセッションは2026年10月19日にマイアミで予定された。公式概要は、設定、ルール、依存関係の変更が自動処理の結果を変えながら、可用性、遅延、エラー率といった監視値には現れない状況を説明している。

スライドが示すのは実在の障害報告ではなく、失敗のシナリオだ。インフラは正常表示のまま、ルールエンジンが失敗し、判断結果が誤り、検証が飛ばされ、監査ログに空白が残る。公開資料は影響を受けたサービスや顧客を特定していない。例が投げかける問いは明快だ。「動いている」と「期待どおりに動いた」は同じではない。

Sepuriが提案するのは、入力から判断結果までを測ることだ。出力の正しさ、設定検証の網羅性、出力分布の変化、既知のケースに照らしたルール実行の正しさを指標に挙げる。さらに、合成リクエストを本番ロジックへ流し、変更後の結果を既知の基準と比べ、観測された挙動をテストケースに反映する。

まずチームは、何を正解とするかを定義しなければならない。必須フィールドは揃っているか。どのルール経路を通るか。結果をどの設定版と結びつけるか。ここが曖昧なまま出力指標だけ増やしても、画面が賑やかになるだけだ。

出力分布の変化は調査の入口であり、故障の判定そのものではない。トラフィックやポリシーの変化が正当な場合もある。変更記録と期待値、そして差を説明できる担当者をアラートに結びつける必要がある。そうすれば異常は、誤った自動ロールバックにも、無視される通知にもならない。

Sepuriの主張は、自己申告の健康状態ではなく、実際に走る処理を見ようというものだ。テストを本番のロジックへ安全に通し、追跡可能な証拠とともに戻す。そうしなければ、システムは全項目を緑にしたまま、誤った判断を次の工程へ送り続ける。

出典：NANOG 98公式セッション · 公式スライド · 公式登壇者写真。