Das Wichtigste in Kürze

  • Weil entwickelte Ceph im Rahmen eines Gemeinschaftsforschungsprogramms an der UC Santa Cruz und schloss seine Promotion 2007 ab, nachdem 2006 die grundlegenden Ceph- und CRUSH-Papiere erschienen waren.
  • CRUSH berechnet den Speicherort aus Karten, Gewichten, Topologie und Regeln; RADOS verteilt Objekte und Replikate, erkennt Ausfälle und steuert die Wiederherstellung zwischen Monitoren und OSDs.
  • Ceph bietet Block-Speicher über RBD, Objekt-Speicher über RGW und ein POSIX-artiges Dateisystem über CephFS auf derselben Basis, jedoch mit unterschiedlichen Betriebspfaden.
  • Weil war 2012 Mitbegründer von Inktank; Red Hat gab am 30. April 2014 die Übernahme für rund 175 Millionen US-Dollar bekannt.
  • Weil hat sich aus der täglichen Ceph-Arbeit zurückgezogen und leitet Civic Media. Die heutige Autorität liegt bei den Maintainern und den zeitgenössischen Governance-Strukturen, nicht beim historischen Gründer.

Vom Speicher-Array zur Algorithmus-Architektur

Ceph entfernte eine zentrale Positionstabelle aus dem üblichen Datenpfad. CRUSH berechnet die Geräte anhand einer Karte und einer Regel, und OSDs speichern in RADOS, tauschen Zustände aus, replizieren und erholen sich unter vertrauenswürdigen Karten, die von Monitoren gepflegt werden. Die Arbeit ist verteilt, die Autorität verschwindet nicht.

Das Ergebnis hängt von Gewichten, Hierarchie und realen Ausfallbereichen ab. Eine veraltete Karte reproduziert eine schlechte Platzierung präzise. Der Algorithmus reduziert Lookups und unnötige Bewegung, aber der Betreiber muss die physische Welt korrekt abbilden.

Eine Forschungsgruppe, kein einzelner Erfinder

Ceph entstand im Storage Systems Research Center der UC Santa Cruz. Weil war ein zentraler Designer und Erbauer, aber Betreuer, Koautoren, Studierende, Finanzierung und Testumgebungen prägten das Projekt. Die Papiere von 2006 tragen mehrere Namen, darunter Scott Brandt, Ethan Miller, Carlos Maltzahn und Darrell Long, je nach Veröffentlichung.

Die kollektive Zuschreibung schmälert Weils Rolle nicht; sie erklärt, wie aus einer Dissertation Infrastruktur wurde. Andere mussten das System verstehen, kritisieren und pflegen, damit es seinen Schöpfer überlebt.

CRUSH: Berechnen, wohin die Daten gehören

CRUSH verwendet hierarchische Buckets, Gewichte und Regeln, um eine geordnete Liste von Geräten auszuwählen. Eine Regel kann Replikate in verschiedene Racks erzwingen oder eine Medienklasse wählen. Wenn sich der Cluster ändert, wird ein Teil der Objekte neu zugeordnet, statt eine zentrale Tabelle für jedes Objekt zu führen.

Regeln sind durchsetzbare Politik. Ein falsches Gewicht oder ein nicht abgebildetes Rack verzerrt Verteilung und Wiederherstellung. Vor einer Änderung sollten Datenbewegung simuliert, freie Kapazität geprüft und die Netzlast verstanden werden.

RADOS und die Entscheidung, Reparatur zu verteilen

RADOS verwandelt eine große Zahl von OSDs in eine gemeinsame Basis. Monitore halten Quorum und Karten; OSDs speichern Objekte, gleichen Zustände ab, replizieren und reparieren. Die Wiederherstellung erfolgt nahe den Komponenten, die die Daten kennen, statt über einen einzelnen Controller für jede Übertragung.

Ein großer Ausfall kann einen Wiederaufbausturm auslösen, der mit den Clients um Netzwerk und Platten konkurriert. Verfügbarkeit hängt von Reserven, Throttling, Gerätezustand und den Zeiten zum Ausschluss von OSDs ab. Verteilung bedeutet weder kostenlos noch automatisch.

Ein Objektspeicher und drei Speicherschnittstellen

RBD stellt Volumes für Block-Speicher bereit, RGW bietet APIs für Objekte, und CephFS bildet ein POSIX-artiges Dateisystem mit Metadata-Servern ab. Die Schnittstellen teilen sich RADOS sowie die Mechanismen für Platzierung und Wiederherstellung.

Aber die Engpässe unterscheiden sich. RGW fügt Identität und Gateways hinzu, CephFS eine Metadatenebene, und RBD hängt von Clients und Caches ab. Der Erfolg eines Musters belegt nicht die Eignung eines anderen.

Placement Groups, Wiederherstellung und der Preis eines Ausfalls

Placement Groups bündeln Objekte, damit Platzierung, Peering und Wiederherstellung beherrschbar bleiben. Ihre Verteilung bestimmt Ausgewogenheit und Aufwand nach einem Ausfall. Geht ein OSD verloren, ordnet der Cluster neu zu und baut gemäß der Politik wieder auf.

Fehlender freier Speicher oder ein Topologiefehler verlängern den degradierten Zustand. Unclean Entitäten, Backfill, Latenz, Bandbreite und Wiederherstellungszeiten müssen überwacht werden. Replikation ersetzt kein Backup gegen logisches Löschen oder Korruption.

Von der Dissertationscodebasis zur Linux-Infrastruktur

Der Weg von der Dissertation zu Linux und OpenStack brauchte Jahre an Packaging, Kompatibilität, Dokumentation, Upgrade-Tests und Fehlerbehebungen. Die Kernel- und Distributionsintegration trug Ceph in Clouds und Produkte. Die unscheinbare Betriebsarbeit war so wichtig wie die wissenschaftlichen Papiere.

Die Offenheit erlaubte freie Hardwarewahl und schuf viele Angebote, vervielfachte aber auch die Kombinationen aus Netzwerk, Gerät, Kernel und Version. Upstream veröffentlicht einen Zweig; Integratoren und Betreiber tragen die Verantwortung für die tatsächliche Kombination.

Inktank, Red Hat und die kommerzielle Verantwortung

Inktank wurde 2012 gegründet, verkaufte Support und stellte Ingenieure ein. Red Hat gab am 30. April 2014 die Übernahme für rund 175 Millionen US-Dollar bekannt und brachte Ceph in ein großes Open-Source-Unternehmen und Cloud-Geschäft.

Die Finanzierung half bei Wartung und Ausbau, konzentrierte aber auch die Beschäftigung. Lizenz und Community begrenzten die alleinige Kontrolle. Kunden mussten zwischen dem öffentlichen Projekt, dem Red-Hat-Produkt und der jeweiligen Distribution unterscheiden, jede mit eigener Roadmap und Support-Grenzen.

Das Projekt lernt, ohne seinen Gründer zu leben

Weil zog sich später aus der Vollzeitarbeit an Ceph zurück und gründete Civic Media. Seine Biografie erklärt die Herkunft, bestimmt aber nicht die heutigen Release-Entscheidungen. Jeden gegenwärtigen Erfolg oder Vorfall dem Gründer zuzuschreiben, löscht die Arbeit der heutigen Maintainer, Packager und Betreiber aus.

Das Weitermachen ohne ihn ist Teil des Erfolgs. Nachfolge braucht Strukturen, die Konflikte entscheiden, Patches veröffentlichen und Subsysteme pflegen. Historische Autorität verdient Anerkennung, kein dauerhaftes Führungsrecht.