Zwanzig Jahre robots.txt

Heute vor genau zwanzig Jahren einigten sich die Teilnehmer der damaligen Robots-Mailinglist darauf, über eine Datei mit dem Namen robots.txt im Stammverzeichnis eines Webhosts den Zugriff auf diesen Host zu steuern. Treibende Kraft hinter diesem Pseudo-Standard war Martijn Koster, der mit Aliweb die wohl erste Suchmaschine des damals noch jungen World Wide Webs programmierte. Koster koordinierte nicht nur den Robots-Exclusion-Standard, sondern lieferte auch gleich eine kleine Perl-Library, mit der Robots-Betreiber die robots.txt auswerten konnten.

Seither hält sich jede ernstzunehmende Suchmaschinen an diesen Standard, der in der Folge von Google, Yahoo oder Microsoft erheblich erweitert wurde. 1994 gab es lediglich die Anweisungen User-Agent und Disallow, mit der alle oder einzelne Robots vom Aufruf der hinter der Disallow-Anweisung angegebenen Verzeichnisse abgehalten werden konnten.

Allerdings ist der Robots-Exclusion-Standard kein offizielles Protokoll, das von einer zentralen Organisation definiert würde. Auch zwanzig Jahre nach seiner erstmaligen Definition bleibt es eine bloße Übereinkunft von Robot-Betreibern und Webmastern. Für eine solch unklare Grundlage sind zwanzig eine lange Zeit und die kleine robots.txt-Datei hat seither viele gute Dienste geleistet.

Deshalb: Alles Gute zum Geburtstag, robots.txt-Datei!