概要

  • Weil は UC Santa Cruz の共同研究プログラムの中で Ceph プロジェクトを開発し、2006 年に Ceph と CRUSH の基礎論文を発表した後、2007 年に博士号を取得しました。
  • CRUSH はマップ、重み、トポロジー、ルールから配置を計算します。RADOS はオブジェクトとレプリカの分散、障害検出、リカバリを monitors と OSD の間で行います。
  • Ceph は同じ基盤の上に、RBD によるブロック、RGW によるオブジェクト、CephFS による POSIX 型ファイルシステムを提供しますが、運用経路はそれぞれ異なります。
  • Weil は 2012 年に Inktank を共同設立し、Red Hat は 2014 年 4 月 30 日に約 1 億 7500 万ドルでの買収を発表しました。
  • Weil は Ceph の日常業務から離れ、Civic Media を率いています。現在の権限は、歴史的な創業者ではなく、メンテナーと現代のガバナンス体制にあります。

アルゴリズムとなったストレージアレイ

Ceph は通常のデータパスから集中型の配置テーブルを排除しました。CRUSH はマップとルールからデバイスを計算し、OSD は RADOS にオブジェクトを格納し、monitors が保持する信頼されたマップのもとで状態を交換し、複製し、リカバリします。作業は分散されますが、権限が消えるわけではありません。

結果は、重み、階層、実際の障害ドメインに依存します。古いマップは、不適切な配置を正確に再現します。このアルゴリズムはルックアップと不要な移動を減らしますが、運用者は物理的な世界を正しく表現しなければなりません。

単独の発明者ではなく研究グループ

Ceph は UC Santa Cruz の Storage Systems Research Center で生まれました。Weil は中心的な設計者・開発者でしたが、指導教員、共著者、学生、資金、テスト環境がプロジェクトを形作りました。2006 年の論文には複数の名前が載っており、論文によって Scott Brandt、Ethan Miller、Carlos Maltzahn、Darrell Long らが含まれます。

共同での帰属は Weil の役割を軽視するものではなく、博士論文がどのようにインフラストラクチャになったのかを説明するものです。システムが創設者の後も生き延びるには、他の人々がシステムを理解し、批判し、保守できなければなりませんでした。

CRUSH：データが属する場所の計算

CRUSH は、階層バケット、重み、ルールを使って順序付きデバイスリストを選択します。ルールは、コピーを異なるラックに置くことを強制したり、メディアクラスを選択したりできます。クラスターが変化すると、オブジェクトごとの集中テーブルではなく、オブジェクトの一部が再割り当てされます。

ルールは実行可能なポリシーです。誤った重みや、表現されていないラックは、分散とリカバリを歪めます。変更前には、データ移動をシミュレーションし、空き容量を確認し、ネットワーク負荷を理解すべきです。

RADOS：修復を分散する判断

RADOS は多数の OSD を一つの基盤に変えます。monitors はクォーラムとマップを保持し、OSD はオブジェクトを保存し、状態を比較し、複製し、修復します。リカバリは、転送ごとに単一のコントローラがあるのではなく、データを把握しているコンポーネントの近くで行われます。

大規模な障害は、クライアントとネットワークおよびディスクを競い合う再構築ストームを引き起こす可能性があります。可用性は、余裕、スロットリング、デバイスの健全性、OSD の復帰時間に依存します。分散は無料でも自動でもありません。

単一オブジェクトストアと3つのストレージインターフェース

RBD はブロック用ボリュームを提供し、RGW はオブジェクト用 API を提供し、CephFS はメタデータサーバーを備えた POSIX 型ファイルシステムを構築します。各インターフェースは RADOS と配置・リカバリの仕組みを共有します。

ただし、ボトルネックは異なります。RGW はアイデンティティとゲートウェイを追加し、CephFS はメタデータ層を追加し、RBD はクライアントとキャッシュに依存します。ある方式の成功が、別の方式の適合性を証明するわけではありません。

placement group、リカバリ、障害の代償

placement group はオブジェクトを束ね、配置、ピアリング、リカバリを管理可能にします。その分布が、バランスと障害後の作業を決定します。OSD が失われると、クラスターはポリシーに従って再マッピングと再構築を行います。

空き容量の不足やトポロジーの誤りは、劣化状態を長引かせます。unclean オブジェクト、バックフィル、レイテンシ、帯域幅、リカバリ時間を監視する必要があります。レプリケーションは、論理削除や破損に対するバックアップの代わりにはなりません。

博士論文のコードから Linux インフラストラクチャへ

博士論文から Linux と OpenStack への移行には、パッケージング、互換性、ドキュメント、アップグレードテスト、障害修正に何年もかかりました。カーネルとディストリビューションへの統合が、Ceph をクラウドと製品にもたらしました。地味な運用作業は、学術論文と同じくらい重要でした。

オープン性はハードウェアの選択を可能にし、複数の提供形態を生み出しましたが、ネットワーク、デバイス、カーネル、バージョンの組み合わせを増やしました。upstream はブランチをリリースし、インテグレーターと運用者が実際の組み合わせに責任を持ちます。

Inktank と Red Hat、そして商業的責任

Inktank は 2012 年に設立され、サポートを販売し、エンジニアリングを集めました。Red Hat は 2014 年 4 月 30 日に約 1 億 7500 万ドルでの買収を発表し、Ceph を大手オープンソース企業とクラウド事業に取り込みました。

資金はメンテナンスと拡大を支えましたが、雇用を集中させました。ライセンスとコミュニティは、独占的な支配を制限しました。顧客は、公開プロジェクト、Red Hat 製品、特定のディストリビューションを区別する必要があり、それぞれにロードマップとサポート範囲があります。

プロジェクトは創設者なしで生きることを学ぶ

Weil は後に Ceph のフルタイム業務を離れ、Civic Media を設立しました。彼の経歴は原点を説明しますが、現在のリリース決定を決めるものではありません。現在のあらゆる成功や障害を創業者のせいにすることは、現在のメンテナー、パッケージャー、運用者の仕事を消し去ります。

彼なしでの継続は成功の一部です。継承には、紛争を解決し、パッチをリリースし、サブシステムを維持する構造が必要です。歴史的な権威は尊重に値しますが、永続的なリーダーシップの権利ではありません。