Vor fünf Jahren hat Google mit dem AJAX-Crawling-Protokoll eine Möglichkeit geschaffen, Seiten mit AJAX-Inhalten durch den Googlebot crawlen zu lassen. Die Umsetzung dieses Protokolls ist zwar technisch einfach, aber konzeptionell durchaus kompliziert; insbesondere im Zusammenspiel mit Flash-Browserweichen und solchen Spielereien lässt sich eine Website damit erfolgreich abschießen. Allerdings ist es seit längerem recht ruhig geworden um das AJAX-Crawling, ich bin schon lange keiner Website mehr begegnet, die diese Technik eingesetzt hätte. Nun bin ich über einen Beitrag auf SERoundtable gestolpert, der sich damit beschäftigt. Dort wird wiederum auf einen Beitrag von John Mueller (von Googles Webmaster-Support-Team) verwiesen, den dieser auf Stackexchange gepostet hat.
Dort verweist Mueller zunächst darauf, wie gut Google inzwischen darin ist, Javascript zu crawlen:
Google has gotten really good at reading & processing JavaScript-based content for web-search. For the most part, if the files (JS, CSS, as well as any AJAX/JSON/JSONP responses) aren’t blocked by robots.txt and can be crawled normally, we’ll be able to render the pages like a browser would, and will use that for web-search.
John Mueller, Google
Google ist also nicht nur in der Lage, Javascript-durchsetzte Seiten (einschließlich AJAX-Anwendungen) zu crawlen, sie rendern modernes HTML-CSS-Javascript-Gebräu wie ein Browser und nutzen das Ergebnis dieses Renderns als Inhalt für den Webindex. Das war zwar schon lange zu vermuten, damit aber hat Google diese Vermutung nun bestätigt.
Was heißt das aber für das AJAX-Crawling-Protokoll – das war ja schließlich überhaupt erst als Hilfskonstrukt für solche AJAX-Seiten eingeführt worden? Im gleichen Beitrag schreibt Mueller, dass sie vermutlich eines Tages das AJAX-Crawling als „deprecated“ (überholt) einstufen und irgendwann danach tatsächlich auch das Crawlen nach diesem Protokoll einstellen werden:
I suspect at some point we’ll deprecate our recommendation to use the AJAX-crawling proposal (escaped-fragment/hash-bang-URLs), though we’ll probably support crawling & indexing of that content for a longer time.
John Mueller, Google
Wer also nach wie vor das AJAX-Crawling nutzt, sollte sich langsam überlegen, darauf zu verzichten. Im oben verlinkten Stackexchange-Beitrag ist auch die Rede davon, dass sich wohl das normale Crawling mit dem AJAX-Crawling ins Gehege kam. Noch wichtiger aber sind die Aussagen von John Mueller für alle, die immer noch Javascript nutzen, um Suchmaschinen und menschliche Besucher zu unterscheiden: Google versteht Javascript in all seinen Facetten und die Google-Robots rendern die Seiten wie ein normaler Browser! Wer tricksen möchte, kann sich auf Javascript nicht mehr verlassen.
Update vom 16. Oktober:
Kaum schreibt man einen Beitrag übers AJAX-Crawling, kommt auch schon die Meldung, dass diese Methode nun als „deprecated“ eingestuft wird. Neue Websites sollten also nicht mehr auf dieses spezielle Google-Vorgehen setzen und darauf vertrauen, dass Google mit Javascript gut genug zurecht kommt. Bestehende Websites müssen jetzt zwar nicht panisch umgebaut werden, allerdings darf man sich darauf einstellen, dass die AJAX-Crawling-Unterstützung eines Tages ganz wegfällt.