Summary

  • Robert Kisteleki schlug 2023 vor, möglichst viele RIPE-Atlas- und RIS-Daten finanziell tragfähig zu bewahren und ältere oder selten gefragte Ergebnisse bei Bedarf langsamer zugänglich zu machen.
  • Die Ergebnisse sollten verfügbar bleiben. Zugangsprotokolle und Zeitziele könnten je nach Dienst und Alter variieren; authentifizierte Anfragen wurden angeregt und Besitzern nichtöffentlicher Atlas-Messungen mindestens ein Monat Abruf zugesagt.

Vergangenheit braucht Regale und Türen

Jedes Messergebnis trägt einen Zeitstempel. Die Zeitstempel wachsen schneller als jedes Serverbudget. Robert Kisteleki war am Aufbau von RIPE Atlas und RIPEstat beteiligt und leitete lange die Forschung des RIPE NCC. Im November 2023 stellte er gemeinsam mit Paul de Weerd eine Frage, die Archive gern vertagen: Muss das Ergebnis von gestern durch dieselbe schnelle Tür kommen wie ein Datensatz aus dem Jahr 2010?

Sein Vorschlag zur Datenhaltung begann mit Größenordnungen. RIS sammelt Routingdaten seit 1999, Atlas aktive Messungen seit 2010. Ende 2023 lieferte Atlas etwa 15.000 Ergebnisse pro Sekunde, rund 1,3 Milliarden täglich. Mehr als 90 Prozent der Messungen waren einmalige Aufträge; fortlaufende Messungen lieferten jedoch die meisten Ergebnisse. Wer eine aktuelle Störung untersucht, braucht sofort neue Werte. Wer Routinggeschichte rekonstruiert, benötigt alte Reihen.

Die komprimierten RIS-Dump- und Update-Dateien umfassten damals ungefähr 50 TB; 80 Prozent stammten aus den vorherigen fünf Jahren. Für RIPEstat aufbereitete Datenformen beanspruchten etwa 800 TB. Diese Bestände erfüllen verschiedene Aufgaben, beide verursachen Kosten. Kisteleki wollte möglichst viel Historie finanziell tragfähig bewahren und Zugangsprotokoll sowie Zielzeit für die Bereitstellung nach Alter und Nutzungshäufigkeit staffeln. Ältere Ergebnisse könnten aus der ursprünglichen API ausziehen oder langsamer eintreffen. Atlas und RIS dürften unterschiedliche Schwellen haben.

Authentifizierte Anfragen sollten gefördert werden; anonyme Übertragungen könnten ein gemeinsames Bandbreitenlimit teilen. Eigentümer nichtöffentlicher Atlas-Messungen sollten ihre Ergebnisse mindestens einen Monat abrufen können.

Damit wurde die Wartezeit Teil der Vereinbarung über öffentliche Daten. Eine vorhandene Datei hilft im Ernstfall wenig, wenn der Weg dorthin verborgen ist. Kisteleki legte Prinzipien zur Diskussion vor, keine allgemeine Löschfrist und keinen fixen Sekundenwert. Seine Folien bei RIPE 87 stellten historischen Wert und Betriebskosten nebeneinander. In einer RIPE-Mailinglisten-Schlussfolgerung vom Mai 2024 berichtete das Team von wenig Rückmeldung und erklärte, Speicher- und Zugangsfunktionen entsprechend den Prinzipien umzusetzen.

Der Erbauer von Messwerkzeugen musste damit auch Hüter ihrer Vergangenheit werden. Die interessante Zahl ist künftig die Zeit zwischen der Frage nach einem alten Paket und der Antwort des Archivs.

RIPE-Originalquellen