Eric Dumazet と Linux サーバーの経済を支える小さなキュー

要約

• Eric Dumazet は現在、Linux のネットワーク一般、TCP、ソケットのメンテナであり、Netdev Foundation の技術委員会メンバーでもあります。これらの役割は他のメンテナやレビュアーと共有されており、個々のネットワークスタックに対する支配ではなく、統合に関する大きな責任を伴います。
• 彼の最も明確な貢献は TCP Small Queues で、2012年に導入され、単一の TCP フローがトランスポート層の下にあるキューに過剰なデータを蓄積するのを防ぎました。ソケットのローカルクレジットをパケット完了に結び付けることで、TSQ は送信側のレイテンシとメモリ負荷を軽減しつつ、経路上のすべてのキューを排除するわけではありません。
• その後のsch_fqと内部ペーシングの業績により、送信タイミングは明示的な制御へと変わりました。公平キューイングはフローを分離し、ペーシングはパケットを時間的に分散させます。これらの要素は BBR を含むさまざまな輻輳制御アルゴリズムを支えますが、BBR には独自の作者と歴史があります。
• 最近の業績は、データ構造設計、キャッシュラインのトラフィック、ソケットごとの状態を大規模フリートの効率に結び付けています。結論として、Linux のネットワークは CPU、メモリ、キューの深さ、時間の会計でもあります。経済的効果は実質的である可能性がありますが、公開された証拠から金額を割り当てたり、すべてのシステムで同じ結果を約束したりすることはできません。

高速サーバーでも自らのパケットの背後で時間を失うことがある

物語は送信キューの内部から始まります。アプリケーションがデータを書き込み、TCP はさらに送信可能と判断し、カーネルはそれを下位層に渡します。上からは送信済みに見えますが、同じマシン内で待機し続けることがあります。

リンクはビジー状態のままで、問題は隠れています。インタラクティブなリクエストは大量転送の後ろで待たされ、バッファはメモリを保持し、「飛行中のデータ」という概念は単にローカルに蓄積されたものと一致しなくなります。TCP Small Queues は、ソケットが TCP の下に配置できる量を制限し、ハードウェアが実際の作業を完了したときに送信許可を返すことで、この関係を変えました。

公開記録がエンジニアリングを説明し、伝記の捏造を避ける

最良の証拠はカーネル自体から得られます：MAINTAINERS、パッチの議論、ドキュメント、カンファレンス、公開レビューです。これらの記録が、ネットワーク、TCP、ソケットに関する継続的な作業、Netdev Foundation での地位、メンテナ用メールによる Google への所属を示しています。

完全な伝記、検証済みの現在の役職、パッチの総数、時間配分の正確な内訳は提供されていません。もっともらしい詳細でこれらの空白を埋めることは不正確です。したがって、プロフィールは観察可能なメカニズムと判断に焦点を当てています。Dumazet は、他の人々がレビュー、修正、テスト、展開した後にのみ、その作業がインフラストラクチャになる技術的責任を負うエンジニアとして現れます。

メンテナであることはコミュニティの上ではなく、決定に近い場所にいることを意味する

2026年8月4日現在、Linux の記録では、彼はネットワーク一般、TCP、ソケットに含まれていました。メンテナはインターフェースの再設計を要求し、不当な保守負担を拒否し、受け入れられた変更を適用し、メインラインに対してサブシステムを代表することができます。

同じ情報源は権限の共有を示しています。David S. Miller、Jakub Kicinski、Paolo Abeni がネットワーク一般に含まれ、Neal Cardwell が TCP を共有し、他のレビュアーもトピックに応じて関与します。パッチはさらにアーキテクチャ、ドライバ、セキュリティ、テスト、安定ブランチ、カーネルの最終プロセスを通過します。Dumazet の影響力は、その統制のネットワーク内で機能するため注目に値します。

接続が増加したとき、Linux は経済インフラとなった

小さなマシンでは、ソケットあたり数バイトの追加やキャッシュミスはほとんど目立ちません。数十万の接続を持つサーバーでは、コストはアプリケーション、メモリ、エネルギーと競合するほど倍増します。

「サーバーの経済」とは、公開された節約額が存在することを意味しません。それはフリート全体の結果を説明します：何本の接続が収容できるか、サービスにどれだけの CPU が残るか、ネットワークがどれだけのメモリを消費するか、ローカルキューがレイテンシ目標を何回破るかです。ディストリビューションやオペレータはバージョン、qdisc、輻輳制御、NIC を選択します。Dumazet はそれらの決定を制御しません。彼は共通の出発点を変えるのです。

おなじみの TCP の作業は非常に複雑な会計システムを隠している

TCP は信頼できるフローを提供しますが、何バイトを未処理にできるか、いつ再送するか、メモリをどのように課金するか、パケットをどのように順序付けるか、数千のソケット間で CPU とキューをどのように共有するかを決定する必要があります。

実装は正しくても性能が悪いことがあります：ローカルバックログが多すぎる、バースト、共有ロック、キャッシュを無駄にする構造などです。Dumazet の業績に共通するテーマは会計です。バイトはソケットに課金され、完了はクレジットを返し、送信時間が計算され、ホットフィールドとコールドフィールドが分離されます。目標は、ホスト内部に第二の隠れたネットワークを構築せずに必要なリソースを使用することです。

TCP Small Queues 以前は、送信側が制御不能なバックログを構築できた

TSQ 以前は、TCP は大量のトラフィックを qdisc とドライバに渡すことができました。輻輳ウィンドウが妥当でも、長いローカルキューがトランスポートの下にパケットを保持することがありました。緊急フローが現れたときに、アプリケーションはそれらを取り消すことができませんでした。

この蓄積はフィードバックを弱めました：TCP は経路からの確認応答を見ていましたが、データの一部はホストを出ていませんでした。特に多くのフローが同じパターンを繰り返すと、メモリも消費しました。各ソケットが下位層を無制限の倉庫として使用することを許さずに、性能を維持する必要がありました。

2012年の TSQ シリーズはソケットにローカルキューの予算を返した

2012年のパッチは、TCP の下にキューイングされるデータ量をソケットごとに制限しました。ローカルクレジットが尽きるとソケットは停止し、パケットが完了すると送信能力を回復しました。

アイデアは単純でした：ローカルバイトを数え、完了を進捗の証拠とすることです。制御はフローを知るトランスポートに戻りました。リンクをビジーに保つために大量のバッチを事前に預ける必要がなくなりました。TSQ の重要性はまさに、メカニズムを知らないアプリケーションがコードを変更せずにより規律ある動作を得た点にあります。

パケット完了はホスト内部の有用な信号となった

完了は単なるクリーンアップに見えるかもしれません。TSQ はそれを情報に変えました：下位経路の一部が進み、ソケットはさらに送信できます。

このローカルフィードバックはリモートの確認応答を補完します。一方はネットワーク経由の進捗を、もう一方は TCP の下の進捗を表します。qdisc、ドライバ、NIC の統計は他の部分を数えます。単独の信号では不十分です。TSQ は、エンドツーエンドの輻輳制御を置き換えることなく、ローカルの過剰を制御するためにその一つを使用しました。

TSQ はバッファブロートの一因を減らしたが、経路上のすべてのキューをなくしたわけではない

TSQ はバッファブロートを排除しません。送信側の TCP より下のバックログに作用します。qdisc、ドライバ、NIC、アクセス、ルーター、スイッチ、受信側には依然としてキューが存在します。

有用な主張はより正確です：TSQ はソケットが過大な隠れたキューを作る能力を減らします。レイテンシとメモリを低下させ、TCP の状態をデバイスの進捗に近づけることができます。アクティブキュー管理、適切な設定、エンドツーエンドの輻輳制御の代替にはなりません。

しきい値、オフロード、負荷が TSQ の効果を左右する

結果は制限、パケットサイズ、qdisc、ハードウェアキュー、TSO、フローの混合によって異なります。インタラクティブなサービスと大量レプリケーションは同じように反応しません。

実装も2012年以降変化しました。他の開発者が制限を調整し、相互作用を修正しました。概念の作者は Dumazet に帰属できますが、現在のメカニズムを凍結された彼だけの作品として提示すべきではありません。

sch_fqはフローを分離し、スケジューラに時間を組み込んだ

2013年、Dumazet はスケジューラsch_fqを公開しました。フローごとの状態と時間順の構造を維持し、目標日時に従ってパケットを解放します。新しいフローはすぐにサービスを受けることができ、ペーシングされたフローは順番を待ちます。

これは二つの問題を解決します：大規模な転送がローカルキューを独占するのを防ぎ、カーネルが送信時間を尊重できる場所を提供します。アプリケーション間の平等を保証するものではなく、より規律あるポリシーとペーシングの実用的なサポートを提供します。

公平キューイングはポリシーであり、結果の平等の約束ではない

「公平」は実際よりも絶対的に聞こえるかもしれません。フローをキューで分離しても、アプリケーションのスループットは等しくなりません。パケットサイズ、経路、受信側、輻輳制御、オフロード、接続数が依然として重要です。

フローのアイデンティティ自体が決定です：一つのアプリケーションが多数の接続を開き、別のアプリケーションが一つを開くことができます。sch_fqはローカルの支配を制限しますが、ユーザーや企業間の公正さを解決しません。オペレータにとっては仲裁のツールであり、普遍的な保証ではありません。

ペーシングはレート推定を一連の送信時刻に変換する

アルゴリズムは正しいレートを決定しても、それをバーストで放出することがあります。平均は維持されますが、キューはピークに苦しみます。

ペーシングはパケットを時間的に分散させます。キューを安定させ、共存を改善し、輻輳モデルをより良く表現できます。実装にはタイムスタンプ、タイマー、qdisc、セグメンテーション、NIC の一貫性が必要です。ソフトウェアレートは、それがリンク上の実際の時間に変換されて初めて意味を持ちます。

ペーシングと輻輳制御は異なる部分を解決する

輻輳制御は経路をどれだけ使うかを決定し、ペーシングは許可されたデータがいつ出るかを決定します。良いモデルでもバーストで台無しになり、完璧なペーシングでも誤ったレートを実行することがあります。

Dumazet のインフラストラクチャは、複数のアルゴリズムが時間的にレートを表現することを可能にします。各モデルの作者は、そのインフラに依存していても、その設計者に帰属します。

BBR はペーシングを使用するが、独自の作者と進化を持つ

BBR はペーシングへの依存と Google 環境のため、しばしば Dumazet と関連付けられます。それが彼を唯一の発明者にするわけではありません。BBR には独自の作者、モデル、バージョンがあります。

Dumazet の貢献は基盤にあります：キュー、ペーシング、計装、ソケットが後続のアルゴリズムを展開可能にします。この説明は彼の重要性を認識しつつ、Neal Cardwell や他の輻輳制御の作者の功績を保持します。

TSO は CPU を節約するが、ペーシングが避けようとしたバーストを再構築できる

TCP Segmentation Offload は大きなセグメントを NIC に渡して後で分割させることができます。パケットあたりのコストを大幅に削減しますが、時間的決定と送信の間にハードウェアを介在させます。

セグメントがユニットとして出る場合、NIC はバーストを生成する可能性があります。TSQ、qdisc、TSO、ドライバ、ハードウェアはシステムとして扱う必要があります。CPU の節約は、トラフィックの形状と調整されないとレイテンシを悪化させる可能性があります。

量子、タイムスタンプ、NIC の動作は同じ現実を記述しなければならない

カーネルは量子、タイマー解像度、タイムスタンプ、オフロード単位、物理キューを扱います。大きな量子はバーストを生み、小さな量子は CPU を浪費し、異なる粒度を解釈する NIC は出力を変えます。

そのため、qdisc はキャパシティプランニングの一部です。開発者は経路全体を測定する必要があり、輻輳制御やリンク速度だけを挙げるベンチマークはシステムの大部分を省略します。

TCP 内部ペーシングは特定の qdisc への依存を減らした

2017年、Dumazet は TCP 内部でのペーシングを公開しました。トランスポートは、特定のディシプリンに完全に依存せずに、レートとタイマーに従ってトラフィックを保持する能力を高めました。

qdisc は順序とポリシーに依然として関連します。ロジックは意図を所有するサブシステムに近づきましたが、最終的な出力は TCP、スケジューラ、ドライバ、NIC に分散されたままでした。それは層ごとの進化であり、きれいな置き換えではありません。

キューのディシプリンは依然として実際の結果をもたらす運用上の決定である

Linux は異なる目的のための qdisc を提供します。sch_fqはペーシングを支援し、FQ-CoDel はフロー分離とアクティブキュー管理を組み合わせます。それらは同じではありません。

デフォルトはディストリビューションや環境によって異なります。クラウドイメージ、アプライアンス、コンテナホストは異なる選択をする可能性があり、ハードウェアは実行を移すことができます。アップストリームはメカニズムを提供し、オペレータがそれを実際のサービス動作に変換するかどうかを決定します。

ソケットあたり数バイトがフリートの制約になる

各接続はシーケンス、タイマー、輻輳状態、キュー、カウンタを維持します。大規模では、各バイトが倍増し、頻繁にアクセスされる各フィールドがキャッシュを占有します。

ソケットあたりのメモリを削減すると密度が向上し、レイアウトを改善するとミスや CPU 間のコヒーレンスを減らすことができます。これはサーバー経済への最も強固な架け橋ですが、普遍的な節約額や仕事の個人的評価を計算することはできません。

キャッシュラインはパケットごとに触れられるとインフラとなる

プロセッサは個々のフィールドではなくライン全体を移動します。ホットデータがコールドフィールドの隣にあると無駄なバイトが循環し、二つの CPU が同じラインを変更すると、異なる値に触れていてもコヒーレンストラフィックが発生します。

Dumazet の最近の業績はこの物理的視点を採用しています。ホットフィールドとコールドフィールドを分離すると、パケットとソケットに応じて増加するメモリトラフィックが減少します。利点はプロセッサと負荷に依存するため、フリートのプロファイルを普遍的法則に変換することはできません。

2024年の構造に関する業績は成熟したパフォーマンスエンジニアリング段階を示す

2024年のプレゼンテーションはプロファイルから始まりました：どのフィールドがホットか、どのラインが移動するか、どの構造がメモリを支配するかです。ツールは再編成を提案できますが、アラインメント、ロック、互換性、保守に関するレビューに代わるものではありません。

成熟したインフラでは、大きな利益は新しいアルゴリズムではなく、ミスを避けるかフィールドを移動することから生まれることがあります。それは輻輳のブランドほど目立ちませんが、実際の性能を決定します。

ハイパースケールのプロファイルは強力な証拠であり、不完全な公開科学である

大規模オペレータは実験室では再現困難な母集団とハードウェアを見ます。他の場所では現れないコストを発見できます。Dumazet の Google への所属は彼をその環境に置きます。

負荷とデータの一部は非公開のままです。講演は方法と結果を示しても、すべての入力を提供しないことがあります。解決策は証拠を捨てることではなく、その範囲を制限し、より多くの実際のケースを公開テストと CI に変換することです。

ロックと受信キューは同じリソースの物語に属する

プロフィールの中心は送信にありますが、Dumazet の経歴にはソケットと受信が含まれます。着信パケットにはポーリング、メモリ、分類、キュー、CPU 間の配信が必要です。高レートでは、ロックと共有状態がコストになります。

Linux は作業を移動し、操作をグループ化し、競合を減らすことでそのコストを削減します。原則は同じです：正しさに必要な調整を使用し、会計がサービスを消費しないようにすることです。

バッチ処理はスループットを向上させ、レイテンシと公平な共有を変える

パケットや完了をグループ化すると、ロック、呼び出し、キャッシュが償却されます。NAPI、ドライバ、オフロードはこれに依存します。

しかし、バッチは待ち、バーストとして到着することがあります。大きなバッチは償却を改善しますが、待ち時間や支配を増やします。TSQ、公平キューイング、ペーシングはバッチ処理を拒否しません。フィードバックとレイテンシを維持するためにそれを制限します。

TCP 性能は互いに打ち消し合う層から生まれる

アルゴリズムは意図を定義し、TCP はパケットを作成し、TSQ はバックログを制限し、qdisc は順序付け、TSO はグループ化し、ドライバはマッピングし、NIC は送信し、ネットワークはキューと損失を追加します。

正確なペーシングは粗いセグメンテーションによって無効にされ、低レイテンシの qdisc は過剰なエンキューによって、コンパクトなレイアウトは新しいロックによって無効にされます。Dumazet の重要性は、それらの継ぎ目で作業し、インストールされた経路を離れるのではなく改善することにあります。

公開レビューはローカル最適化を共有インフラに変える

改善は主張として始まります：レイテンシ、メモリ、CPU の減少。Linux に入るには netdev を生き残る必要があります：方法論、汎用インターフェース、珍しいアーキテクチャ、テスト、将来のコスト。

メンテナはシリーズを分割し、ベンダーの抽象化を拒否し、変更を延期することができます。それはプライベートパッチより遅いですが、より永続的です。Dumazet の権限には、今日機能するかだけでなく、Linux が何年も維持できるかどうかを判断することが含まれます。

netとnet-nextは緊急修理と将来の開発を分離する

修正は通常netに、機能はnet-nextに送られます。分離により、緊急のメンテナンスと将来のバージョンのリファクタリングが混在するのを防ぎます。

分類には判断が必要です。修正が動作を変え、機能が古い欠陥を明らかにすることがあります。メンテナはリスクを明示し、商業的な日付が技術的な準備に取って代わることを防ぐためにシリーズを分割します。

レビュー、拒否、再設計はコミットカウントに現れない

コミットは可視の作者を測定しますが、インターフェースの再設計を強いるフレーズや、何年もの負担を防ぐ拒否は測定しません。パッチを適用することは、そのアイデアを発明することではなく、統合を引き受けることを意味します。

プロフィールは帰属するメカニズムとスチュワードシップを組み合わせます。TSQ、sch_fq、ペーシング、レイアウトは明確ですが、数十年のレビューを尽くしたり、統合されたすべての変更を個人の作品に変えたりするわけではありません。

テストはリスクを減らすが、Linux が見るすべてのマシンを代表しない

ビルド、セルフテスト、KUnit、syzbot、ドライバラボ、下流の展開は障害を見つけますが、すべての CPU、NIC、qdisc、負荷をカバーしません。

ハイパースケールに有用な変更が珍しいデバイスに害を与えることがあります。メンテナは依然として経験、互換性、ロールバックを必要とします。テストはガバナンスを強化しますが、判断を排除しません。

安定バックポートはメインライン後の別の決定を必要とする

メインラインパッチは自動的にすべてのブランチに入るわけではありません。Stable は本当の修正、限定的で低リスクであることを要求します。ディストリビューションはさらに別の決定を行います。

性能変更は古いブランチに存在しない周囲のコードに依存することがあります。影響は段階的に届きます：アップストリーム、安定版、ディストリビューション、クラウド、設定。誰も完全なチェーンを制御しません。

TCP とソケットに関する現在の責任は意図的に分散されている

MAINTAINERSは Dumazet、Neal Cardwell、他のメンテナとレビュアーの間で負荷を分散します。これにより一人への依存が減り、輻輳、ソケット、ドライバ、テストの知識が組み合わされます。

複数性には明確な所有権が必要です。重複は、全員が他者を待つと空白を残す可能性があります。健全な後継は権限を分散し、ファイル内の名前だけでなく、決定の背後にある理由を保持します。

Netdev Foundation はマージの権威にならずに資金を提供できる

Linux Foundation 傘下の財団は CI、ツール、旅行、研究を支援します。Dumazet はその TSC の一員です。助成金はパッチの受け入れを保証しません。

この区別は健全です：ネットワークの維持にはお金と時間がかかりますが、アップストリームの正当性は公開された証拠から生まれ続けます。資金は決定能力を高めるべきであり、例外を買うべきではありません。

Google への所属は Linux の TCP の所有権なしに能力をもたらす

Google のメールは所属を証明しますが、完全な役職は証明しません。ハイパースケーラーはプロファイル、ハードウェア、レビューに資金を提供し、それが Linux 全体に利益をもたらします。

非対称性は、その負荷とデータが完全に公開されていないことです。オープンレビューが補います：パッチは汎用的で Google の外で受け入れ可能でなければなりません。会社は時間と証拠を提供しますが、スタックを所有しません。

下流のオペレータが改善がサービスを変えるかどうかを決定する

ディストリビューションはカーネルを選び、クラウドは qdisc と輻輳を、アプライアンスはバージョンを、NIC ベンダーは能力を、アプリケーションはトラフィックを選びます。TSQ やsch_fqの使用に関する完全な国勢調査は存在しません。

メカニズムはコンパイルされていても有効でない、またはデフォルトで有効でもユーザーに見えないことがあります。Dumazet の影響は広範ですが間接的です：彼は共通のオプションを変え、各オペレータがそれを体験に変換します。

ユーザースペーススタックは特殊な負荷で競争し、Linux のすべての機能ではない

DPDK、VPP、独自スタックは高いレートを達成するためにカーネルの一部を回避できますが、専用コア、巨大ページ、別の運用モデルと引き換えです。

Linux はソケット、セキュリティ、名前空間、可観測性、ドライバを統合します。Dumazet の仕事は、すべてに完璧であると主張せずに汎用経路のコストを削減します。バイパスは特定の用途向けに残り、Linux は大多数の基盤であり続けます。

統合が生の速度より価値があるため、Linux はデフォルトであり続ける

スタックは高速で、互換性があり、安全で、可観測で、保守可能でなければなりません。孤立した経路はより多くのパケットを生成しても、運用とサポートのコストを生み出します。

Linux アプリケーションは通常のソケットを通じて TSQ、ペーシング、会計を継承します。その不可視性は強みの一部です：ユーザーが作者の名前を知らなくても利益は続きます。

高速なホストはネットワーク経路が優れていることを証明しない

ローカルキューを改善しても、混雑したアクセス、遅い受信側、パケットを失うルーターは修正されません。TSQ とペーシングは送信側を制御し、経路全体を制御しません。

遅延の一因を減らし、フローをより規則的にすることができます。アプリケーションの結果を保証しません。エンドツーエンドの性能は依然としてアプリケーション、受信側、経路、設定に依存します。

ベンチマークはすべてのサーバー、NIC、ワークロードを代表しない

パケットサイズ、接続、CPU、キャッシュ、NIC、オフロード、qdisc、タイマー、カーネル、負荷が結果を変えます。Google のプロファイルは実際のコストを発見しても、別のフリートでの割合を予測しません。

良い情報は条件を保持します。Dumazet の講演は帰属された運用上の証拠であり、一般化には公開テストと独立した測定が必要です。

設計の多くは記憶に存在するため、後継は技術的問題である

奇妙な制限は古い NIC、まだ使用されている API、忘れられたリグレッションのために存在することがあります。コードは常に理由を説明しません。

ベテランメンテナはその文脈を担います。ドキュメント、テスト、アーカイブ、新しいレビュアーが私的記憶を制度的知識に変えます。後継は原則を保持し、将来のハードウェアのためにそれらを見直すことを可能にしなければなりません。

ハードウェアペーシングとデバイスメモリは再び境界を動かす可能性がある

最新の NIC はパケットをプログラムし、より多くのキューを管理し、テレメトリやローカルメモリを公開します。CPU を削減し、動作をファームウェアに移します。

Linux は意図を表現し、何が起こったかを観察し、ハードウェアとソフトウェアが異なる場合に回復する必要があります。ドライバ API、タイムスタンプ、エラーはレートと同じくらい重要になります。原則は変わりません：フィードバック、隠れたキューへの制限、可観測性。

キャッシュの経済は新しいトランスポートの式よりも多くの利益を提供できる

輻輳アルゴリズムは引き続き現れますが、次の実質的な改善はレイアウト、ロック、バッチの改善かもしれません。魅力的なブランドはなく、複数のアルゴリズムに利益をもたらします。

2024年の業績は、物理的コストによって評価される成熟したスタックを示しています。問いは「どのプロトコルが勝つか」から「各接続がどれだけのマシンを消費するか」に変わります。

Dumazet の永続的な貢献はリソースの規律であり、英雄伝説ではない

誇張されたバージョンは彼を現代の TCP と BBR の発明者にし、別のバージョンはコミュニティの中で個人を消します。証拠は正確な立場を可能にします。

彼は TSQ を導入し、sch_fqの基礎的な業績に署名し、内部ペーシングを推進し、レイアウトの重要性を示しました。また、共有システム内で重要な領域を維持しています。彼の貢献は、パケットとソケットを時間、メモリ、キュー、CPU 局所性の需要として扱うことです。

最終的な影響は設計、レビュー、統合、運用に分散します。コミットは帰属されますが、より密度の高いフリートや回避された障害は帰属されません。その難しさは誇張も消去も認めません：インフラの価値は、識別可能な個々の決定を持つ集合的な連鎖から生まれることを示しています。