Crawl-Delay – Suchmaschinen-Crawler steuern

Crawl-Delay ist eine Erweiterung des Robots Exclusion Protocol, die von Yahoo und Microsoft eingeführt wurde.

Über einen Befehl der Art Crawl-delay: N wird der jeweilige Crawler angewiesen, die Website nur alle N Sekunden zu besuchen. Sollte also der Yahoo-Crawler („Slurp“) maximal alle 60 Sekunden eine Seite von Ihrer Website abrufen dürfen, dann würde die Anweisung in Ihrer robots.txt so aussehen:

User-agent: Slurp
Crawl-delay: 60

Sie sollten dabei aber beachten, dass Sie damit auch die Anzahl der Seiten, die die Suchmaschinen indexieren oder aktualisieren können, begrenzen. Ein Crawl-Delay von 60 Sekunden etwa führt dazu, dass pro Tag lediglich 1440 Seiten gecrawlt werden können; für eine Website mit mehreren zehn- oder gar hunderttausend Unterseiten ist das zu wenig, um die Inhalte im Suchmaschinenindex aktuell zu halten.

Noch wichtiger aber ist: Google beachtet diese Anweisung nicht! Um Google zu einem langsameren Crawlen zu bewegen, muss man dies über die Search-Console beantragen oder dem Googlebot beim Crawling einen Statuscode 429 Too Many Requests zurückgeben.