Zusammenfassung

  • Eine Konfigurationsänderung kann automatisierte Ergebnisse verfälschen, ohne Infrastrukturalarme auszulösen.
  • Sepuri will das Verhalten im Betrieb prüfen und beobachtete Abweichungen in die Tests zurückführen.

Ein grünes Dashboard bezeugt, dass Server antworten und Latenz sowie Fehlerraten ruhig bleiben. Es bezeugt nicht, dass der Dienst richtig entschieden hat. Genau diese Lücke stellte Shruthi Sepuri bei der NANOG 98 ins Zentrum.

Ihr Vortrag hieß “From Testing to Reliability: Detecting Silent Failures in Production Systems”. Laut offiziellem NANOG-Programm war die 30-Minuten-Sitzung für den 19. Oktober 2026 in Miami angesetzt. Die Zusammenfassung beschreibt, wie Konfigurationen, Regeln und Abhängigkeiten automatisierte Abläufe verändern können, ohne die üblichen Infrastrukturwerte sichtbar zu bewegen.

Die Folien zeigen dazu ein Szenario, keinen benannten Produktionsvorfall. Die Infrastruktur bleibt grün, die Regelausführung scheitert, eine Entscheidung ist falsch, eine Prüfung wird übersprungen und im Audit-Protokoll fehlt ein Stück. Die öffentlichen Materialien nennen weder einen betroffenen Dienst noch einen Kunden. Die Frage bleibt trotzdem praktisch: Eine Pipeline kann technisch laufen und fachlich falsch liegen.

Sepuri will deshalb den Weg vom Eingang bis zur Entscheidung messen. Sie nennt die Quote korrekter Ausgaben, die Vollständigkeit der Konfigurationsprüfung, Verschiebungen in der Ergebnisverteilung und die Ausführung von Regeln anhand bekannter Fälle. Dazu gehören synthetische Anfragen durch die Produktionslogik, ein Vergleich mit einem bekannten Sollzustand nach Änderungen und Rückkopplungen vom beobachteten Verhalten in die Tests.

Damit die Messung etwas aussagt, muss das Team zuerst das erwartete Ergebnis definieren. Welche Eingabefelder sind nötig? Welche Regel sollte greifen? Zu welcher Konfigurationsversion gehört die Ausgabe? Erst diese Verbindung macht aus einem auffälligen Graphen einen prüfbaren Hinweis.

Eine verschobene Verteilung ist noch kein Defekt. Nachfrage, Verkehr oder Richtlinien können sich gewollt ändern. Der Alarm braucht den Änderungsdatensatz, das erwartete Ergebnis und jemanden, der die Abweichung einordnen kann. Synthetischer Verkehr sollte die echte Logik prüfen, ohne Kundenzustände zu verändern.

Sepuris Perspektive setzt auf das Verhalten, das tatsächlich ausgeführt wird, statt auf eine Statusmeldung über Gesundheit. Tests müssen sicher durch die Produktionslogik laufen und mit nachvollziehbaren Belegen zurückkehren. Sonst kann jedes Kästchen grün sein, während die falsche Entscheidung weitergereicht wird.

Quellen: offizielle NANOG-98-Sitzung · offizielle Vortragsfolien · offizielles Sprecherinnenporträt.