Zusammenfassung

  • Der Roboter-Konsens vom Juni 1994 wählte /robots.txt, weil vorhandene Webserver die Datei bereitstellen konnten und ein Crawler die Regeln mit einer einzigen HTTP-Anfrage fand.
  • Die gemeinsame, vorhersehbare Konvention setzte Website-Verwaltung und freiwillige Befolgung voraus; eine Diskussion von 1995 zeigte, dass Erlaubnis, Crawler-Identität und Besuchsintervall getrennte Fragen waren.

Ein Crawler konnte selbst für eine kleine Website eine überraschend hohe Last erzeugen. Die Einleitung des Dokuments „A Standard for Robot Exclusion“ von 1994 erinnert an Beschwerden aus den Jahren 1993 und 1994: Manche Roboter stellten Anfragen in schneller Folge oder riefen dieselben Dateien wiederholt ab. Andere durchsuchten tiefe virtuelle Verzeichnisbäume, doppelte oder nur vorübergehend verfügbare Inhalte sowie CGI-Skripte, deren Aufruf Nebenwirkungen auslösen konnte. Das Problem war nicht, dass das Web zu viele Seiten hatte.

Ein Programm, das Links folgte, konnte die betrieblichen Grenzen eines Servers überschreiten, ohne dass dessen Betreiber ihm auf gemeinsame Weise sagen konnte, wo es anhalten sollte.

Die vorgeschlagene Antwort war eine einfache Textdatei an einem festen Ort. Vor dem Durchsuchen einer Website sollte ein Roboter die lokale URL /robots.txt abrufen. Die Autoren nannten praktische Gründe: Die Methode ließ sich auf vorhandenen Webservern umsetzen, und eine einzige Dokumentabfrage genügte, um die Regeln zu finden. Ein Ort im Wurzelverzeichnis ersparte es außerdem, jedem Roboter für jede Website eine andere Adresse beizubringen. Die Datei konnte einen Roboter benennen oder einen Platzhalter verwenden und anschließend URL-Pfade auflisten, die nicht abgerufen werden sollten.

Allgemeine Regeln und Ausnahmen ließen sich in getrennten Gruppen führen.

Diese Einfachheit legte den Kontrollpunkt an die Grenze der Website. Der Serveradministrator konnte eine Richtlinie für den gesamten Host veröffentlichen. Das Dokument benannte den Nachteil: Einzelne Dokumentverantwortliche konnten ihre Regeln nicht selbst in dieser einen Datei pflegen. Ein lokaler Prozess hätte Listen verschiedener Beteiligter zusammenführen können, doch wie das geschehen sollte, blieb außerhalb des Entwurfs. Die bequeme Einmalabfrage war also mit einer internen Zuständigkeitsfrage verbunden: Wer durfte die Crawl-Regeln für die ganze Website festlegen?

Auch der Status der Konvention war ausdrücklich begrenzt. Das Dokument bezeichnet sich als Konsens vom 30. Juni 1994 zwischen der Mehrheit der Roboterautoren und weiteren Interessierten; eine Diskussion auf der www-talk-Liste war ebenfalls möglich, und ein früherer Arbeitsentwurf diente als Grundlage. Zugleich hielt es fest, dass dies kein offizieller Standard einer Normungsorganisation war, niemand die Einhaltung durchsetzte und der Einsatz bei heutigen oder künftigen Robotern nicht garantiert war. Die Autoren beschrieben es als gemeinsame Funktion, die die meisten Roboterautoren der Web-Gemeinschaft anboten.

Es war ein Koordinierungsangebot, kein technischer Riegel vor den Dateien.

Eine Nachricht im W3C-www-talk-Archiv vom Mai 1995 machte eine weitere Grenze sichtbar. Kee Hinckley antwortete, eine Berechtigungsdatei könne einem Roboter sagen, welche Bereiche er meiden sollte, verrate dem Server aber nicht, wer der Roboter war. Außerdem werde die Datei nicht bei jedem Besuch geholt, damit die Abrufe mit längeren Abständen die Last senkten; auch ein Mensch könne sie anfordern. Das ist die Erklärung eines Beteiligten, keine Messung des Verhaltens aller Crawler.

Sie trennt dennoch drei leicht zu verwechselnde Aufgaben: den Wunsch einer Website mitzuteilen, einen Client zu identifizieren und den nächsten Besuch zeitlich zu steuern.

Später erhielt das Protokoll einen anderen institutionellen Status. RFC 9309 erschien im September 2022 als IETF-Standards-Track-Dokument und erklärt, die 1994 von Martijn Koster definierte Methode zu spezifizieren und zu erweitern. Hinzu kamen klarere Begriffe sowie Vorgaben zu Fehlern und Caching. Der RFC zieht auch eine Grenze: Crawler werden aufgefordert, die Regeln zu beachten; sie sind jedoch keine Zugriffsberechtigung. Der Weg von der Gemeinschaftskonvention zum Standard machte die Datei nicht zu einem Authentifizierungs- oder Durchsetzungsmechanismus.

Die Geschichte zeigt, wo eine gemeinsame Regel verankert sein kann. Eine einzelne, vorhersehbare Datei senkte die Teilnahmehürde für Website-Betreiber und Roboterautoren. Dafür wurde der Administrator zum Standard-Redakteur, während die Befolgung beim Client lag. Die Quellen belegen eine Designentscheidung und den späteren Weg zur Standardisierung. Sie zählen weder die Websites, die die Datei einführten, noch die verhinderten Anfragen oder die eingesparte Last.

Quellen

  • Martijn Koster, „A Standard for Robot Exclusion“, Konsensdokument vom 30. Juni 1994, archivierte Kopie des WebCrawler-Roboterprojekts: Dokument.
  • Kee Hinckley, „Re: Byte ranges (actually robots)“, W3C-www-talk-Archiv, 25. Mai 1995: Nachricht.
  • IETF, RFC 9309, „Robots Exclusion Protocol“, September 2022: RFC.