Zusammenfassung

  • Die IESG hat am 29. Oktober die Charta der Arbeitsgruppe Benchmarking & Performance Measurements gebilligt. Sie umfasst kontrollierte Labortests und Messungen unter wechselnden Bedingungen im Produktionsnetz.
  • BPM soll Messgrößen, Verfahren und Ergebnisberichte vereinheitlichen. Abnahmekriterien und Leistungsanforderungen bleiben ausdrücklich Sache der Käufer und Betreiber.

Auf dem Datenblatt steht eine Zahl, auf dem Prüfbericht eine zweite. Beide können sauber gemessen sein. Die Beschaffungsakte braucht trotzdem einen Satz, den keine Normungsgruppe für sie schreiben wird: Unter welchen Bedingungen gilt die Leistung als ausreichend? Die neue IETF-Arbeitsgruppe Benchmarking & Performance Measurements, kurz BPM, übernimmt die Messmethode. Der Käufer behält die Unterschrift unter der Bestehensgrenze.

Die am 29. Oktober genehmigte Charta reicht weit über einen Gerätetest hinaus. BPM soll Kennzahlen, Methoden und Protokolle für Qualität, Leistung, Zuverlässigkeit und Skalierbarkeit von Datendiensten und Anwendungen entwickeln. Genannt werden Rechenzentrumsnetze, Router, Firewalls, Controller, virtuelle und containerisierte Infrastruktur, Netzmanagementsoftware und Endpunkte. Daten-, Steuerungs- und Managementebene gehören dazu. Die gemeinsame Frage lautet, welche Beobachtung ein Messwert tatsächlich festhält und unter welchen Bedingungen sie wiederholbar ist.

Zwei bisher getrennte Arbeitsbereiche kommen zusammen. Die Benchmarking Methodology Working Group, BMWG, charakterisierte Implementierungen im Labor mit kontrollierten Reizen. Ihre Charta schloss Benchmarks für laufende Netze aus. Die IP Performance Measurement Working Group, IPPM, entwickelte Leistungsmetriken und Messverfahren für Dienste und Anwendungen über IP; aktive, passive und hybride Verfahren gehörten zu ihrem Feld. Die neue Charta bezeichnet BPM als Nachfolger beider Gruppen und weist ihr die Pflege ihrer RFCs zu. Die Datatracker-Seiten von BMWG und IPPM zeigen am 2. November noch „Active“.

Der neue Auftrag ist beschlossen, während die sichtbaren Statusangaben der Vorgänger noch hinterherhinken.

Die organisatorische Klammer macht aus dem Labor kein Produktionsnetz. Im Labor kann man Geräte isolieren, Messsysteme kalibrieren, Lastprofile fixieren und Versuche wiederholen. Im Betrieb ändern sich gleichzeitig Nutzerlast, Pfade, Endpunkte und konkurrierende Flüsse. BPM will gemeinsame Begriffe und Verfahren für beide Welten schaffen. Bei produktiven Messungen soll die Belastung der Daten-, Steuerungs- und Managementebene gering bleiben. Der gleiche Name einer Metrik reicht deshalb für einen seriösen Vergleich nicht aus; Prüfbedingungen und Beobachtungskontext gehören zum Ergebnis.

Man denke an eine Ausschreibung, in der ein isolierter Durchsatztest neben einem Betriebsbericht aus der Hauptverkehrszeit liegt. Der erste Wert charakterisiert eine Implementierung unter definiertem Stimulus. Der zweite beschreibt einen Dienst in einer bestimmten Zeitspanne. Konfiguration, Verkehrsmix, Topologie, Messfenster, Kalibrierung und Berechnung müssen nachvollziehbar sein, bevor die Werte in Beziehung gesetzt werden. Für die Entscheidung fehlt dann noch die vertragliche Sollleistung. Die IETF kann den methodischen Teil präzisieren. Den Anspruch an den gekauften Dienst muss der Auftraggeber formulieren.

Die Abgrenzung stammt nicht erst aus dem neuen Namen. BMWG erklärte Abnahmekriterien und Leistungsanforderungen zum Nichtziel, weil sich Anforderungen zwischen Einsatzorten unterscheiden. BPM übernimmt diese Linie. Ihre Benchmark-Empfehlungen sollen relevante Leistungsmerkmale, Testumgebung und eindeutige Berichte beschreiben und möglichst herstellerunabhängig sein. Eine universelle Schwelle, ab der jede Implementierung gekauft werden sollte, steht gerade nicht im Auftrag. Eine genormte Skala kann unterschiedliche Entscheidungen ermöglichen, ohne sie gleichzuschalten.

BCP 170, veröffentlicht als RFC 6390, liefert ein präzises Beispiel für den Abstand zwischen Kennzahl und Entscheidung. Eine durchschnittliche Paketverlustrate beschreibt einen Teil des Geschehens. Reagiert eine Anwendung empfindlich auf kurze Verlustserien, wird deren zeitliche Verteilung entscheidend. Zwei ähnliche Mittelwerte können für diese Anwendung verschiedene Folgen haben. Das Dokument verlangt deshalb Aufmerksamkeit für Zielgruppe, Methode, Stichprobe, Topologie, Genauigkeit und Beobachtungszeitraum. Diese Angaben sind keine Höflichkeitsfelder im Anhang; sie definieren die Aussage des Werts.

Auch das Messen selbst hat Nebenwirkungen. Die BPM-Charta verlangt, bei neuen Methoden die Belastung anderer Flüsse auf demselben Pfad sowie Testverkehr zu unerwarteten Endpunkten zu begrenzen. Vor einem Versuch im Live-Netz braucht es Verantwortliche, Verkehrslimit, Zeitfenster und Abbruchregel. Das Vorhandensein eines standardisierten Protokolls erteilt noch keine Betriebserlaubnis für jede Probe.

Der Aufgabenbereich schließt YANG-Modelle für leistungsbezogene Konfiguration und Betriebsdaten sowie IPFIX-Elemente für den Telemetrieexport ein. Dadurch können Messwerte automatisiert in Steuerungs- und Berichtssysteme gelangen. Ein unpassender Grenzwert reist ebenso schnell mit. Sobald eine Organisation eine Zahl in Alarm, Lieferantenwertung oder Vertragsstrafe übersetzt, trifft sie eine weitere Entscheidung. Diese Entscheidung wird nicht durch das Datenfeld legitimiert.

Eine belastbare Beschaffung trennt deshalb zwei Texte. Die Prüfmethode nennt Metrik, Ausrüstung, Konfiguration, Last, Kalibrierung, Messdauer und Berichtsformat. Die Abnahmeklausel nennt Dienst, Lastfall, Bestehensgrenze, Ausnahmen, zuständige Person und Wiederholungstest. Die zweite Klausel muss stehen, bevor der Anbieter seine beste Kurve vorlegt. Sonst darf der Bericht nachträglich bestimmen, welches Problem der Kunde angeblich lösen wollte.

BPM kann den Streit über verschiedene Stoppuhren beenden. Der Streit über die Grenze bleibt. Er gehört dorthin, wo Dienst, Risiko, Geld und Verantwortung tatsächlich zusammenkommen: in den Vertrag.

Quellen: IESG-Beschluss; genehmigte BPM-Charta; BPM-Gruppenseite; BMWG-Charta; IPPM-Charta; BCP 170 / RFC 6390.