Zusammenfassung

  • NVM Express, Inc. ist eine gemeinnützige Industrieallianz, die die NVMe-Spezifikationsfamilie verwaltet; sie stellt weder SSDs, Controller, Switches noch Storage-Arrays her.
  • NVMe ersetzt das schmalere, stärker serielle Warteschlangenmodell der HDD-Ära durch mehrere Submission Queues und Completion Queues im Speicher, die besser zu parallelem Flash und Mehrkernprozessoren passen.
  • Dieselben Controller-, Subsystem- und Namespace-Semantiken funktionieren innerhalb des Servers über PCIe und lassen sich mit NVMe over Fabrics über TCP- oder RDMA-Netze bereitstellen.
  • NVMe 2.x ist modular aufgebaut. Die am 4. August 2026 veröffentlichte 2.4-Spezifikationssammlung umfasst Base, PCIe-/RDMA-/TCP-Transporte, NVMe-MI, Boot sowie mehrere spezielle Command Sets.
  • Das Protokoll verbessert die Komponierbarkeit von Kapazität, definiert aber weder Dateisystem, Persistenz, RAID, Erasure Coding, Netzdesign, Betriebssicherheit noch Anwendungskonsistenz.

Speicherbefehle können den Server verlassen, ohne die grundlegende Sprache zu ändern

Ein Lesebefehl kann an einen Namespace auf einer lokalen PCIe-SSD gehen oder über ein Fabric an ein entferntes Subsystem. Medium, Controller und Pfad ändern sich; das Modell aus Befehlen, Queues und Namespaces bleibt jedoch weitgehend gleich.

Genau das ist die Grundlage der Speicher-Entkopplung. Kapazität lässt sich in gemeinsam genutzten Pools bündeln und nach Bedarf an Hosts verteilen, ohne jedes Laufwerk in das Gehäuse einzubauen, das es nutzt.

Doch der Gang aus dem Server bringt Discovery, Netz, Multipath, Authentifizierung, Reconnect und neue Fehlerdomänen mit sich. NVMe macht Speicher zu einem programmierbaren Dienst – die Topologie verschwindet nicht.

Flashspeicher braucht ein Protokoll, das auf Parallelität ausgelegt ist

Traditionelle Speicherschnittstellen sind von mechanischer Suche und wenigen parallelen Operationen geprägt. Flash kann dagegen viele Anfragen gleichzeitig bearbeiten, und moderne Server besitzen zahlreiche CPU-Kerne.

NVMe nutzt Submission Queues und Completion Queues im Speicher. Der Host schreibt Befehle in die Queue, benachrichtigt den Controller über eine Doorbell und liest den Abschluss per Interrupt oder Polling. Mehrere Queues lassen sich verschiedenen Kernen oder Prozessen zuordnen und reduzieren so gemeinsame Sperren und Konkurrenz.

Das tatsächliche Ergebnis hängt weiterhin von Controller-Firmware, PCIe-Topologie, NUMA, Queue Depth, Interrupt-Strategie und Workload ab. NVMe zu verwenden bedeutet nicht automatisch ein bestimmtes Leistungsniveau.

Das Konsortium trennt die Governance des Protokolls vom Produktwettbewerb

Die NVMe-Arbeit begann Ende der 2000er-Jahre; die 1.0-Spezifikation erschien 2011, und NVM Express, Inc. wurde 2014 gegründet. Die Mitglieder kommen aus Prozessor-, Flash-, Controller-, Netz-, System- und Cloud-Computing-Branche.

Zum Redaktionsschluss war Amber Huffman von Google President, Curtis Ballard von AMD Treasurer und David Allen von Microchip Secretary; der öffentliche Vorstand umfasst dreizehn Promoter-Vertreter.

Das Konsortium verantwortet Verträge, Änderungen und den Compliance-Rahmen; die Mitglieder konkurrieren weiterhin bei Chips, Firmware, Systemdesign, Support und Leistung. An der Standardisierung teilzunehmen bedeutet nicht, dass ein Produkt alle Funktionen implementiert.

NVMe 2.0 zerlegt das wachsende Einzeldokument in eine modulare Familie

Mit Transporten jenseits von PCIe und neuen Datenmodellen wurde es immer schwerer, alles in einer einzigen Spezifikation zu pflegen. Die Neustrukturierung von NVMe 2.0 im Jahr 2021 trennte Base, Command Sets und Transporte.

So kann der TCP-Transport eigenständig weiterentwickelt werden, und Zoned Namespace lässt sich erweitern, ohne alle herkömmlichen Controller ändern zu müssen. Der Preis: Einkäufer müssen komplexere Versionskombinationen verwalten.

Die am 4. August 2026 veröffentlichte NVMe-2.4-Sammlung umfasst Base 2.4, PCIe Transport 1.4, RDMA Transport 1.3, TCP Transport 1.3, NVMe-MI 2.2, Boot 1.4 sowie die Command Sets NVM, Key Value, Zoned Namespace, Computational Programs und Simple Log Memory. „NVMe 2.4“ ist keine einzelne Datei.

Submission- und Completion Queues bringen Speicheraufträge näher an die CPU-Kerne

Der Host schreibt Befehle in eine Submission Queue, der Controller schreibt Ergebnisse in eine Completion Queue. Verschiedene Kerne oder Anwendungen können eigene Queue-Paare nutzen und so globale Sperren und Kontextwechsel reduzieren.

Die Doorbell meldet neue Arbeit. Polling kann bestimmte Latenzen senken, bindet aber dauerhaft CPU; Interrupt Coalescing spart CPU, kann aber Wartezeiten erhöhen. Die Queue Depth beeinflusst Auslastung und Tail Latency.

Eine tiefere Queue ist nicht immer besser. Sie kann Sättigung überdecken und Wartezeiten verlängern. Die richtige Konfiguration muss vom Workload und von SLAs ausgehen.

Controller, Subsystem und Namespace trennen logische Endpunkte vom physischen Medium

Ein Controller stellt Queues und Befehle bereit. Ein Subsystem kann mehrere Controller enthalten. Ein Namespace bezeichnet logische Kapazität und kann dem Host über verschiedene Controller und Pfade angeboten werden.

Die vom Host gesehene Identität muss daher keiner physischen SSD entsprechen. Ein Array kann verschiedene Medien kombinieren und stabile Namespaces bereitstellen.

NVMe entscheidet nicht, wie Daten platziert, repliziert oder geschützt werden. RAID, Erasure Coding, Thin Provisioning, Snapshots und Anwendungskonsistenz bleiben Aufgabe übergeordneter Systeme.

Admin-Befehle sind genauso kritisch wie normaler I/O

Die Admin Queue dient zur Geräteidentifikation, zum Anlegen von I/O-Queues, zum Setzen von Features, zum Lesen von Logs sowie zur Verwaltung von Firmware, Namespaces und Sicherheit. Sie schafft die Umgebung, in der normale Lese- und Schreibvorgänge stattfinden.

Ein falscher Admin-Befehl kann einen Namespace löschen, falsche Firmware aktivieren oder den Power State ändern. Berechtigungen, Auditierung und Change Control müssen diese Ebene abdecken.

Die Trennung von Admin und I/O ist architektonisch sinnvoll, bedeutet aber nicht, dass die Control Plane zweitrangig ist. Im Fabric hängen beide manchmal von denselben Netzen und Identitätssystemen ab.

PCIe bringt den lokalen Pfad näher an Speicher und Hardware

NVMe over PCIe kommuniziert über gemeinsame Speicherstrukturen und Controller-Register auf dem lokalen Bus – der direkte Pfad für SSDs und Karten im Server.

Physische Nähe bedeutet nicht automatisch eine einfache Topologie. Ein Gerät kann hinter einem PCIe-Switch liegen, an einen anderen NUMA-Sockel angebunden sein oder sich Lanes teilen. Die Lage von CPU, Speicher und Gerät beeinflusst die Leistung.

Man darf daher nicht nur die Anzahl der Laufwerke zählen. Auffällige Latenzen können schon im PCIe-Pfad innerhalb des Hosts entstehen, bevor sie das Medium erreichen.

NVMe over Fabrics macht aus lokalen Controller-Beziehungen einen Netzwerkdienst

NVMe-oF 1.0 und NVMe-MI 1.0 erschienen am 9. Juni 2016. NVMe-oF überträgt Command Capsules und Daten an entfernte Subsysteme; der Host baut über das Fabric Queues auf und greift auf Namespaces zu.

Das ermöglicht Kapazitätspooling und die Trennung von Compute und Storage. Hosts können ausgetauscht werden, während die Daten im gemeinsamen System bleiben.

Zugleich gelangen NICs, Switches, Routen, Discovery, Controller, Authentifizierung und Multipath in den Datenpfad. Das Netz ist nicht mehr nur eine „Verbindung“, sondern Teil der Speicherintegrität.

Discovery-Controller vereinfachen dynamischen Zugang und schaffen zugleich eine kritische Abhängigkeit

Ein Host kann einen Discovery-Controller abfragen und verfügbare Subsysteme, Adressen und Dienste erhalten. So müssen Pfade nicht für jedes Target manuell konfiguriert werden, und Ressourcen lassen sich dynamisch hinzufügen oder entfernen.

Fehlerhafte Informationen oder ein Ausfall des Discovery-Dienstes verhindern neue Verbindungen oder führen Hosts zum falschen Target. Redundanz, Caching, Identitätsschutz und Inhaltsvalidierung sind nötig.

Die Verfügbarkeit von Discovery unterscheidet sich von der Verfügbarkeit des Datenpfads. Bestehende Sessions können weiterlaufen, während neue Hosts den Dienst nicht mehr finden.

NVMe/TCP bringt Fabric-Speicher ins normale IP-Netz

Das 2019 standardisierte NVMe/TCP bildet Befehle und Daten auf TCP-Verbindungen ab. Betreiber können routbares Ethernet, IP-Werkzeuge, Firewalls und vertraute Netzpraktiken nutzen, ohne ein RDMA-Fabric aufbauen zu müssen.

Der Komfort hat Overhead. TCP-Stack, Kopien, Interrupts und CPU können die Tail Latency beeinflussen. Kernel-Implementierung, Offload, Übertragungsgrößen und Tuning sind wichtig.

Der Transport definiert außerdem speicherspezifisches Framing und Digests und kann TLS verwenden. TLS zu unterstützen bedeutet nicht, dass es aktiviert oder sicher betrieben wird.

NVMe/RDMA strebt geringe Latenz an und verlangt zugleich strikteres Fabric-Engineering

RDMA reduziert den CPU-Eingriff über Queue-Paare, registrierten Speicher und NIC-Offload und eignet sich für Szenarien in HPC und KI, in denen Mikrosekunden und CPU-Zyklen zählen.

RDMA ist kein einheitliches Netz. Bindungen wie RoCE und iWARP stellen unterschiedliche Anforderungen an Überlastung, Paketverlust, PFC, ECN und Speicherverwaltung.

Niedrige Latenz im Benchmark bedeutet keinen einfachen Betrieb. Netzwerkstörungen können wie Storage-Timeouts aussehen und verlangen die gemeinsame Diagnose von Netz- und Systemteams.

Multipath macht Redundanz zur Strategiewahl des Hosts

Auf einen Namespace kann über mehrere Controller und Pfade zugegriffen werden. Der Host entscheidet über Load Balancing und Failover. Asymmetric Namespace Access kennzeichnet Pfade als optimiert, nicht optimiert oder nicht verfügbar.

Zwei Links können trotzdem einen Switch, Controller, eine Stromversorgung oder Route gemeinsam nutzen. Echte Unabhängigkeit muss durch Fehlertests nachgewiesen werden.

Eine falsche Richtlinie kann einen defekten Pfad dauerhaft behalten oder I/O auf langsamere Pfade lenken. Redundanz bemisst sich am tatsächlichen Verhalten, nicht an der Zahl der Ports.

Reservierungen koordinieren gemeinsamen Zugriff, ersetzen aber keinen Cluster-Konsens

NVMe-Reservierungen erlauben einem Host, einen Namespace zu registrieren und zu reservieren, um unbefugte Schreiber fernzuhalten; sie werden häufig in Clustern und Failover-Szenarien eingesetzt.

Sie ersetzen weder Konsensprotokolle noch Anwendungskonsistenz. Ein ausgefallener Host kann Reservierungszustände hinterlassen; der Wiederanlauf muss alte Knoten ausgrenzen (Fencing), damit sie nicht erneut schreiben.

Fehlerhafte Wiederherstellung kann aus einem Schutzmechanismus eine Quelle von Nichtverfügbarkeit oder Datenbeschädigung machen.

Wenn Speicher PCIe verlässt, werden Authentifizierung und TLS zur Notwendigkeit

Lokale Geräte erben oft die physische Grenze. Bei einer Netzverbindung müssen Initiator und Target ihre Identität nachweisen und die passenden Control- und Data-Channel schützen.

NVMe definiert Authentifizierungsmechanismen; NVMe/TCP kann TLS nutzen. Die tatsächliche Sicherheit hängt von Schlüsseln, Zertifikaten, Rotation, Algorithmen, Zugriffsrichtlinien und Implementierungsqualität ab. Dass eine Funktion existiert, heißt nicht, dass die Sicherheitskonfiguration abgeschlossen ist.

Discovery, Admin und Data Plane müssen gemeinsam bewertet werden. Eine echte Identität kann trotzdem zu weitreichende Berechtigungen besitzen.

NVMe-MI bietet einen vom Anwendungs-I/O unabhängigen Verwaltungspfad

Das NVMe Management Interface ermöglicht Werkzeugen, Subsysteme zu entdecken, den Gesundheitszustand zu lesen, Geräte zu inventarisieren und bestimmte Verwaltungsaktionen auszuführen – auch wenn der Haupt-I/O-Pfad von Anwendungen nicht genutzt wird.

Das hilft bei Wartung und Wiederherstellung, schafft aber eine weitere Schnittstelle mit hohen Rechten. Zentrale Verwaltungsplattformen können sensible Informationen lesen oder Geräte in großem Umfang verändern.

NVMe-MI lässt sich in Verwaltungssysteme wie Redfish integrieren. Integration bedeutet nicht, dass die Verantwortlichkeiten verschiedener Standardisierungsgremien und Anbieter verschmelzen.

Zoned Namespace legt Medienbeschränkungen für die Host-Software offen

ZNS teilt Kapazität in Zonen mit sequenziellen Schreibzugriffen. Wenn die Software das Medien-Layout kennt, kann sie die Garbage Collection im Controller reduzieren und so die Endurance oder die Vorhersagbarkeit verbessern.

Die Vorteile setzen voraus, dass Dateisystem, Datenbank oder Storage Layer Zonen verstehen. Anwendungen, die für klassische Block Devices entwickelt wurden, erhalten die Vorteile nicht automatisch.

ZNS zeigt den Trade-off von NVMe: mehr Offenlegung des Medienverhaltens kann die Effizienz erhöhen, verteuert aber die Portabilität der Software.

Key Value, Simple Log Memory und Computational Programs erweitern die Bedeutung des Namespace

Spezielle Command Sets unterstützen Key/Value-Zugriffe, einfachen Log-Speicher oder die Ausführung von Programmen in der Nähe des Speichers – mit dem Ziel, Konvertierungen und Datenbewegungen zu reduzieren.

Die Einführung hängt von Controller, Treiber, Bibliothek und Anwendung ab. Dass etwas in der Spezifikation steht, bedeutet nicht, dass alle SSDs und Arrays die Funktion anbieten.

Je mehr Funktionen, desto wichtiger werden Capability Discovery und Fallback. Modularität bringt Flexibilität, erzeugt aber auch eine neue Kompatibilitätsmatrix.

Compliance liefert nützliche Belege, zertifiziert aber keine End-to-End-Leistung

Das Compliance-Programm und Interoperability-Workshops testen konkretes Host-Controller-Verhalten und decken Abweichungen auf, die man beim bloßen Lesen der Spezifikation nicht sieht.

Eine Listung besagt nicht, dass unter jeder Topologie eine bestimmte Latenz, Endurance, Wiederherstellungs- oder Sicherheitsstufe erreicht wird. Optionale Features und die Treiber-Firmware-Matrix ändern sich ständig.

Käufer sollten Compliance als Mindeststandard betrachten und eigene Workloads, Störungen und Upgrade-Prozesse testen.

Speicher-Entkopplung trennt Kapazität vom Server und verteilt Verantwortung neu

Lokaler Speicher bindet Gerät, Host und Systemteams oft eng aneinander. Ein entfernter Pool kann mehrere Verbraucher bedienen und die Zuteilung per Software anpassen.

Netz-, Speicher-, Plattform-, Sicherheits- und Anwendungsteams teilen sich dadurch denselben Incident. Eine Fabric-Störung kann wie ein Datenbankproblem aussehen, und ein Controller-Firmware-Problem wie ein Netzverlust.

Der wirtschaftliche Nutzen hängt von Kapazitätsauslastung und Betriebsfähigkeit ab, nicht nur vom Preis pro Terabyte.

KI macht Speicherlatenz direkt zu Rechenkosten

Trainingsläufe laden Datensätze, schreiben Checkpoints und tauschen großskalige Zustände aus. Wenn Zehntausende Beschleuniger warten, verschwendet Speicher-Tail-Latency teure Rechenressourcen.

TCP, RDMA, Multipath und gemeinsam genutzte Namespaces bieten unterschiedliche Architekturen. Die Wahl muss Überlastung, Metadaten, Queue-Verhalten, Störungen und Wiederherstellung berücksichtigen.

Das Ziel sollte nicht nur der Spitzendurchsatz sein, sondern vorhersehbare Warte- und Wiederherstellungszeiten unter synchroner Last.

NVMe 2.4 zeigt die Reichweite des Protokolls und erhöht den Versionsdruck

Die 2.4-Sammlung koordiniert Base, Transporte, Boot, Management Interface und spezielle Command Sets. NVMe ist damit ein vollständiger Stack geworden, nicht nur eine SSD-Schnittstelle.

Ein Host kann Base 2.4 unterstützen, ohne alle Command Sets zu beherrschen; ein TCP-Controller kann sich funktional von einem RDMA-Produkt unterscheiden. Unterstützungsangaben müssen konkret sein.

Die Matrix aus Treibern, Betriebssystem, Firmware, Transport und Verwaltungswerkzeugen ist in der Praxis Teil des Protokolls.

NVMe macht Speicher komponierbar, aber nicht einfacher

Ein gemeinsames Protokoll senkt eine Art von Wechselkosten: Befehle und Namespaces können von PCIe auf ein Fabric oder von einem Anbieter zu einem anderen wechseln. Datenmigration, Identität, Sicherheit, Netz, Beobachtbarkeit und Supportkosten bleiben.

Der Vorteil: Protokoll und Produkt sind klarer getrennt. Das Risiko: Der Name „NVMe“ verdeckt sehr unterschiedliche Architekturen.

Speicher wird dadurch programmierbarer und verteilbarer, bleibt aber ein Datenintegritätssystem, das sich im Störungsfall erklären lassen muss.