要約

  • Observability Pipelinesは、顧客のインフラ内でテレメトリをフィルタリング、サンプリング、重複排除、秘匿化、振り分けし、下流の索引化や保存より前に処理できる。
  • 経済性の基準は削ったバイトの割合ではない。確認済みの節減額が、Workerの運用、ルール統制、復旧費用、再構成不能な証拠の期待損失をなお上回るかである。
  • 説明可能な導入には、削除禁止のイベント群、すべての削減の計測、独立した復旧経路、そして事故・監査の問いに答えられることを示す時間制限付き再生試験が要る。

フィルタリング規則を下流のログ索引から、データを生むシステムの隣で動くWorkerへ移す。次の請求額は下がるかもしれない。その後、事故調査でその規則に一致しなかったイベントが必要になる。イベントは索引にもアーカイブにも届かず、分析者の検索結果にも現れない。節減は本物だが、欠けた事実も本物である。

Datadog Observability Pipelinesの戦略的な意味はここにある。Datadogによれば、Workerは顧客インフラ内で動き、ログ、メトリクス、トレースを処理し、環境外へ出る前に送り先を分ける。用意されたテンプレートは、量の制御、機微データの秘匿化、二重送信、生ログの保管、メトリクスタグの統制、トレースのサンプリングを扱う。単なる転送機能ではない。重要な制御面の位置を変える製品である。

商業的な魅力は明快だ。可観測性やセキュリティの料金は、イベント数、バイト数、索引量、保持期間、高カーディナリティの属性とともに増えることが多い。ノイズを早く除けば、価値の低い同じデータを複数の下流システムへ取り込む費用を避けられる。反復ログからメトリクスを作れば、小さな保存量で傾向を残せる。外部送信前の秘匿化は、秘密情報や個人情報の拡散範囲も狭める。

しかし、処理機能の仕様を見ると、削減率だけでは不十分だと分かる。Filterの文書では、一致するイベントだけが次へ進み、不一致のイベントは後続の処理や送信先より前に破棄される。Sampleは一致したログやトレースの指定割合を残し、残りを捨てる。Quotaは日次上限後のログを保持、破棄、またはストレージへ迂回できる一方、Worker間の同期までに上限を超える可能性が明記されている。重複排除は各Workerのメモリ内LRUキャッシュで繰り返しを除く。どの機能にも合理性はあり得るが、どれも「将来は何を必要としないか」を先に決める。

その判断者は組織の中で見えにくい。調達が製品を承認し、FinOpsが量の削減を求め、セキュリティ部門が保持方針を定める。希少なイベントの意味を知るのはサービス担当者であり、法務や監査が後で問う内容は当初の条件にないかもしれない。Datadogは機構を提供し、挙動を文書化している。だが、それは顧客の規則が安全であること、節減が総費用ベースでもプラスであること、破棄イベントに将来の証拠価値がないことを証明しない。

正しい比較対象は「すべてを永遠に残す」ことではなく、統制された選択肢だ。保護対象を二重送信し、上限超過分をオブジェクトストレージへ送り、一定期間だけ生ストリームを保管し、セキュリティ証拠用の独立経路を維持できる。送信先一覧にはDatadogのサービス、オブジェクトストレージ、Kafka、SIEM、OpenTelemetryのエンドポイント、競合する可観測性基盤も含まれる。設計上の選択肢は、保存したコピーを取り出して使える場合にだけ運用上の選択肢になる。

運用費も数えなければならない。Workerは重要なデータ経路上で顧客が運用するソフトウェアだ。Datadogはマイナー版や修正版ごとの更新、少なくとも月次更新を勧める。容量、バッファ、配備、設定審査、ロールバック、当番対応は索引量が減っても消えない。OpenTelemetry Collectorの独立した指針も、メモリ内キューと書き込み先行ログを使う永続キューでは、再起動を越えて残る保証が異なると示している。

したがって判断基準は測定できる。上流制御が価値を生むのは、確認した変動費節減が、Worker運用、変更統制、復旧試験、回収不能な証拠の期待費用を上回る場合だけだ。この主張は反証できる。代表的な事故・監査の問いを選び、必要なイベント群を保護し、保持経路から時間制限付きで再生する。合意した完全性と復旧時間の基準内で事実を再構成でき、節減も続くなら、設計は経済性を実証した。できなければ、安い請求は将来の調査者へのリスク移転を含む。

事実、推論、不明点を分ける必要がある。文書化された処理機能が破棄、抽出、制限、重複排除、振り分けを行えるのは事実である。それが証拠に関する権限を上流へ移すというのは本稿の推論だ。Datadogが損失を隠す、あるいは特定顧客が証拠を破壊したという主張ではない。共通価格、顧客別の実績、規則の質、復旧性能、特定バージョンと構成での挙動は不明であり、承認時に扱うべき事項である。

出典