Zusammenfassung

  • Das Datenblatt des MI325X druckt unter der Überschrift AI PEAK THEORETICAL PERFORMANCE with sparsity zwei Zahlenspalten je Zeile — 653,7 und 1.307,4 TFLOPs bei TF32; 1.307,4 und 2.614,9 bei FP16 und BFLOAT16; 2.614,9 und 5.229,8 bei INT8 und FP8 — und der abgerufene Text trägt kein einziges Zelletikett.
  • Das Paar dicht/dünn wird nur auf den Produktseiten benannt, die Regel für 50 Prozent Sparsity steht als Prosa im White Paper der Architektur, eine dritte Tabelle in der ROCm-Dokumentation hat gar keine Sparsity-Spalte, und die unabhängige Rangliste ordnet nach einem gemessenen Wert in dichter 64-Bit-Arithmetik. Die Verhältnisse 2:1 und 64:1 weiter unten sind meine Rechnung, keine Aussage der Dokumente.

Zwei Spalten, eine Zeile, kein Etikett

Das Datenblatt des Instinct MI325X druckt eine Tabelle mit der Überschrift AI PEAK THEORETICAL PERFORMANCE with sparsity, und in jeder Präzisionszeile stehen zwei Zahlen. Bei TF32: 653,7 und 1.307,4 TFLOPs. Bei FP16: 1.307,4 und 2.614,9. Bei BFLOAT16 dieselben 1.307,4 und 2.614,9. Bei INT8: 2.614,9 und 5.229,8 TOPS. Bei FP8: 2.614,9 und 5.229,8 TFLOPS. Getrennt davon führt dasselbe Blatt einen Block HPC PEAK THEORETICAL PERFORMANCE (TFLOPS) mit genau einem Wert je Zeile: FP64 vektoriell 81,7; FP32 vektoriell 163,4; FP64 matrix 163,4; FP32 matrix 163,4.

Was die beiden KI-Spalten im abgerufenen Text qualifiziert, ist die Überschrift selbst und der Satz Footnote explanations are available at:, gefolgt von der Adresse der AMD-Hinweisseite. Keine Zelle trägt das Wort „dicht“ oder „dünn“. Der Leser sieht zwei Spalten und muss, bevor er eine davon zitiert, entscheiden, dass die zweite keine Verbesserung der ersten im Sinne einer Produktüberarbeitung ist: Es ist dieselbe physische Rate unter einer anderen arithmetischen Annahme.

Das Datenblatt des MI300X wiederholt dieselbe Tabelle und ergänzt eine Fußnote, die Generationen trennt: *The MI200 Series does not support TF32, FP8, or sparsity*. Das Plattform-Datenblatt des MI300X wiederholt die Überschrift und setzt AMDs eigene Formulierung daneben: With the introduction of sparsity, AI models lacking dense data structures can be accelerated with even greater efficiency. Drei Dokumente, drei Formulierungen derselben Bedingung, und keine davon in der Zelle.

Wo das Paar seinen Namen bekommt

Die Produktseiten des MI325X und des MI300X sind der einzige Ort unter den von mir geprüften Dokumenten, an dem dicht und dünn nebeneinander mit eigenem Namen und Wert erscheinen. Dort steht FP8 als Peak Eight-bit Precision (FP8) Performance (E5M2, E4M3) mit 2,61 PFLOPs und in der Zeile darunter Peak Eight-bit Precision (FP8) Performance with Structured Sparsity (E5M2, E4M3) mit 5,22 PFLOPs. FP16 erscheint mit 1,3 gegen 2,61 PFLOPs; TF32 mit 653,7 TFLOPs gegen 1,3 PFLOPs mit strukturierter Sparsity; INT8 mit 2,6 gegen 5,22. Die Zeilen für FP64 und FP32 haben auf keiner der beiden Seiten eine sparsity-qualifizierte Variante.

Zwischen den beiden Oberflächen liegt ein Auflösungsunterschied. Das Blatt druckt 653,7 und 1.307,4; die Seite druckt 653,7 TFLOPs und 1,3 PFLOPs, also dieselbe Zahl gerundet. Wer Blatt und Seite vergleicht, findet 1,3 dort, wo das Blatt 1.307,4 sagt — derselbe Wert in anderer Einheit, und eine Rundung, die genau die Stelle löscht, aus der sich das Verhältnis nachrechnen lässt.

Die Regel, in Prosa

Im White Paper zur CDNA-3-Architektur hört die Bedingung auf, eine Überschrift zu sein, und wird zu einer erklärten Regel: The Matrix Core can take advantage of situations where at least two values within a group of four input values are zero (50%+ sparsity), und das enables doubling the computational throughput. Die Regel ist genau und prüfbar: mindestens die Hälfte der Eingabewerte null, in Vierergruppen, und die doppelte Durchsatzrate. Sie ist keine in einer Anwendung gemessene Rate, sondern eine Bedingung an die Eingabedaten.

Dasselbe White Paper gibt die Endnote MI325-019 wieder, die den Rest des Bedingungssatzes festhält: Based on internal measurements and calculations by AMD Performance Labs as of February 2025, on an AMD Instinct MI325X GPU (1000W), 256GB HBM3E, mit 2.100 MHz Spitzen-Boost gegenüber 1.700 MHz beim MI250X, einer Liste von FLOPS-pro-Takt-pro-CU-Multiplikatoren (256 bei FP64 matrix, 128 bei FP64, 256 bei FP32, 1024 bei TF32, 2048 bei FP16/BF16, 4096 bei FP8) und dem Schluss results may vary. Dort steht an einer Stelle, was eine Spitzenrate erst zu einer Zahl macht: Takt, Leistungsaufnahme, Speicher und der Zähler je Recheneinheit.

Die dritte Tabelle, ohne Sparsity-Spalte

Die ROCm-Dokumentation der MI300-Serie druckt eine dritte Tabelle, beschrieben als theoretische Spitzenleistung des OAM, und sie hat überhaupt keine Sparsity-Spalte: FP64 matrix 163,4; FP64 vektoriell 81,7; FP32 matrix 163,4; FP32 vektoriell 163,4; TF32 vektoriell 653,7; FP16 matrix 1.307,4; BF16 matrix 1.307,4; FP8 matrix 2.614,9; INT8 matrix 2.614,9, alle in TFLOPS. Dort ist die TF32-Zeile als Vector TF32 bezeichnet, während das Datenblatt TF32 ohne Pfadangabe lässt. Drei Dokumente desselben Herstellers, drei Bezeichnungskonventionen für dieselben Größen.

Die Konvention, die misst

Die unabhängige Rangliste verwendet ein anderes Kriterium, und sie druckt es ab. Die Beschreibung des TOP500 definiert ihre beiden Spalten: Rmax - Maximal LINPACK performance achieved und Rpeak - Theoretical peak performance. Und sie definiert die Reihenfolge: In the TOP500 List table, the computers are ordered first by their Rmax value. In the case of equal performances (Rmax value) for different computers, we have chosen to order by Rpeak. Die erste Spalte ist eine Messung; die zweite ist eine Rechnung auf dem Papier und dient nur der Entscheidung bei Gleichstand.

Was die Messung misst, steht auf der Seite des Linpack-Benchmarks: Das Verfahren löst a dense system of linear equations, und der Operationszähler ist 2/3 n^3 + O(n^2) double-precision floating-point operations. Dieselbe Seite schließt ausdrücklich drei Abkürzungen aus — schnelle Matrixmultiplikationsverfahren wie das von Strassen, Lösungen in geringerer als 64-Bit-Genauigkeit mit anschließender iterativer Nachbesserung, und Verfahren, die Gleitkomma in Software mit Ganzzahlarithmetik nachbilden.

Die TOP500-FAQ schließt den Kreis mit einem Satz, den man langsam lesen sollte: In order to have an entry included in the Linpack Benchmark report the results must be computed using full precision. By full precision we generally mean 64 bit floating point arithmetic or higher. Dieselbe FAQ nennt den theoretischen Spitzenwert eine Rechnung auf dem Papier, eine Obergrenze, und the number manufacturers often cite; sie warnt außerdem, dass full precision nicht in jedem historischen Fall mit double precision identisch ist — ältere Cray-Maschinen deklarierten REAL mit 64 Bit. Die messende Spalte ist also dicht und 64-bittig; die Spalte, die der Hersteller zitiert, ist meist die andere.

Die Abwesenheit, die ich geprüft habe, ist auf das Gelesene begrenzt: Keines der geprüften AMD-Dokumente verweist auf den TOP500, und keine der drei geprüften TOP500-Seiten nennt diese Beschleuniger. Ein in der Liste geführtes System, das auf diesen Bauteilen gebaut ist, habe ich nicht untersucht.

Meine Arithmetik

Die folgenden Verhältnisse sind meine Rechnung über die gedruckten Werte, keine Aussage eines der Dokumente. 1.307,4 ÷ 653,7 = 2,0. 2.614,9 ÷ 1.307,4 = 2,0. 5.229,8 ÷ 2.614,9 = 2,0. In jeder KI-Zeile stehen die beiden Spalten in einem exakten Verhältnis von 2:1. Im HPC-Block ergibt 163,4 ÷ 81,7 = 2,0: Die FP64-Matrixzeile ist genau das Doppelte der Vektorzeile. Und 5.229,8 ÷ 81,7 = 64,0: Der größte gedruckte KI-Wert ist 64-mal der kleinste gedruckte HPC-Wert desselben Blattes.

Was diese Arithmetik zeigt, ist bescheiden und nützlich zugleich: Die beiden Spalten sind keine zwei Produkte, sondern ein Produkt und eine Annahme; und der Abstand zwischen dem oberen Ende der KI-Tabelle und dem HPC-Block beträgt zwei Größenordnungen in Zweierpotenzen, innerhalb eines einzigen einseitigen Dokuments. Wer „5.229,8 TFLOPS“ und „163,4 TFLOPS“ aus demselben Blatt zitiert, zitiert dasselbe Gerät an zwei Punkten einer Spanne von 64, und keine der beiden Angaben ist falsch.

Der Widerspruch, den ich notiere und nicht auflöse

Das White Paper führt in seiner Tabelle 1 den MI325X mit 1024 FLOPS pro Takt und CU bei FP16, BF16 und INT8, gegenüber 2048 beim MI300X — während beide Teile dieselben 1.307,4 und 2.614,9 Spitzenwerte beim selben Takt von 2.100 MHz drucken. Der abgerufene Auszug erklärt den Unterschied nicht. Ich notiere den Befund als unerklärten internen Widerspruch im gelesenen Text und baue die fehlende Brücke nicht: Jede Angleichung wäre meine, nicht die des Dokuments, und genau diese Verbindung muss ein Leser von der Quelle bestätigt sehen.

Was der Leser mitnehmen muss

Der gesamte AMD- und TOP500-Text, auf dem dieser Artikel steht, stammt aus dem Abruf der exakten URLs, nicht aus einer nativen PDF- oder Browser-Darstellung: Die beiden Spaltenetikette der KI-Tabelle haben die Extraktion nicht überlebt, und Fußnotenhochstellungen können mit dem Layout verloren gegangen sein. Die Hinweisseite, auf die das Datenblatt verweist, wurde nicht abgerufen, und kein Satz hier berichtet, was dort steht. Preise, Bestellungen, Auslieferungen, Umsätze oder Kunden kommen nicht vor.

Was bleibt, ist eine Leseregel. Eine Gleitkomma-Spitzenrate trägt außerhalb der Zelle mindestens vier Bedingungen: das Präzisionsformat, den matrix- oder vektoriellen Pfad, die Sparsity-Annahme und den Abstand zwischen theoretischem Spitzenwert und einer Messung. Das MI325X-Datenblatt druckt alle vier — zwei in der Überschrift, eine in den Fußnoten, eine im HPC-Block — und druckt die beiden Spalten, ohne in der einzelnen Zelle zu sagen, welche Bedingung dort gilt. Die Zahl zu übernehmen ist leicht. Die Bedingung zu übernehmen verlangt drei weitere Dokumente. Der Unternehmenseintrag im BTW-Verzeichnis hält die Gesellschaft fest; die Bedingung nicht.