Zusammenfassung

  • AWS hat am 11. September zwei getrennt aktivierbare HyperPod-Caches vorgestellt. Sie bereiten Modellgewichte beziehungsweise Containerabbilder vor; standardmäßig sind beide ausgeschaltet.
  • Gewichtedateien liegen auf einzelnen Knoten. Die Platzierung bevorzugt vorbereitete Knoten, lässt aber andere zu, die erneut auf die entfernte Quelle zugreifen müssen.

Zusätzliche Rechenkapazität ist bei der Inferenz noch keine zusätzliche betriebsbereite Instanz. Zunächst müssen oft ein Containerabbild und umfangreiche Modellgewichte ankommen. Mit dem neuen Modellcache für Amazon SageMaker HyperPod will AWS diesen Vorlauf auf bereits vorbereiteten Knoten wiederverwendbar machen. Damit wird die Frage, wohin eine Instanz kommt, auch wirtschaftlich bedeutsam.

Die Ankündigung vom 11. September unterscheidet zwei Funktionen. Der Gewichtecache hält Modelldateien auf lokalem NVMe-Speicher und vermeidet wiederholte Übertragungen aus Amazon S3 oder Amazon FSx. Der Abbildcache lädt den Inferenzcontainer vorab herunter. Bei einem späteren Start auf einem vorbereiteten Knoten entfällt dadurch der erneute kalte Abruf aus der Registry. Beide Funktionen lassen sich unabhängig einschalten.

AWS nennt für Tests mit 57 bis 145 GB großen Modellen ein um etwa 60 Prozent schnelleres Hochskalieren. Für das Herunterladen des Containerabbilds führt der Anbieter separat eine Verkürzung um 97 Prozent beziehungsweise mehr als zwei Minuten an. Die Bezugsgrößen unterscheiden sich. Daraus lässt sich weder eine gemeinsame Prozentzahl noch eine entsprechend niedrigere Antwortzeit oder Kundenrechnung ableiten. Eine unabhängige Lastmessung liegt dieser Analyse nicht zugrunde.

Beim Gewichtecache setzt die Dokumentation geeigneten lokalen NVMe-Speicher am konfigurierten Pfad und genügend freien Platz voraus. Instanzen, die ausschließlich EBS verwenden, erfüllen diese Voraussetzung nicht. Fehlt geeigneter lokaler Speicher, können die Gewichte weiter aus der entfernten Quelle geladen werden. Ein gesetzter Konfigurationsschalter belegt also nicht, dass der Knoten tatsächlich einen nutzbaren Gewichtecache besitzt. Ebenso wenig beweist ein vorbereiteter Container, dass die Gewichte bereitliegen.

Der Operator bereitet Knoten vor, die zu den Platzierungsvorgaben der Bereitstellung passen, und kennzeichnet deren Bereitschaft. Anschließend bevorzugt er sie über eine entsprechende Knotenaffinität. Eine solche Präferenz ist nach der allgemeinen Kubernetes-Dokumentation kein absolutes Verbot anderer Platzierungen: Weitere Anforderungen wirken an der Entscheidung mit. Das erklärt die Bedeutung der Regel, ohne eine bestimmte Kubernetes-Version von HyperPod zu unterstellen.

Landet eine Instanz auf einem Knoten ohne passende lokale Gewichte, greift sie auf die ursprüngliche S3- oder FSx-Quelle zurück. Dieser Ausweichpfad verhindert, dass ein warmer Cache zur zwingenden Startbedingung wird. Er beseitigt aber nicht die Abhängigkeit von der Quelle. Der Leitfaden behandelt ausdrücklich fehlgeschlagene Downloads und nicht erreichbare Speicherquellen.

Auch ein Ersatzknoten muss neu vorbereitet werden. Bereits vorbereitete Knoten bedienen in dem von AWS beschriebenen Szenario weiter Anfragen. Daraus folgt keine Garantie ausreichender freier Kapazität für jeden Lastsprung. Eine Datei im lokalen Speicher ist weder ein bereits in den GPU-Speicher geladenes Modell noch reservierte Inferenzleistung.

Hinzu kommt die Konkurrenz um Platz. Jede Bereitstellung erhält ein isoliertes Cacheverzeichnis, verbraucht aber weiterhin Kapazität desselben physischen NVMe-Speichers. Für Speicherknappheit nennt AWS unter anderem getrennte Instanzgruppen oder weniger gleichzeitig zwischengespeicherte Bereitstellungen. Das sind dokumentierte Betriebsbedingungen, keine hier festgestellten Kundenausfälle.

Nach Angaben von AWS ist die Funktion überall verfügbar, wo HyperPod angeboten wird. Ihr praktischer Wert hängt jedoch von der Wiederverwendung geeigneter, vorbereiteter Knoten ab. Verfügbarkeit einer Funktion und Verfügbarkeit einer sofort nutzbaren Inferenzinstanz bleiben verschiedene Größen.

Quellen