Technisches SEO und digitale Strategie

Archiv 08 / 2006

Vor 10 Jahren: Crawler.de nimmt Betrieb auf, Jugenschutz, Internet-Kriminalität

2006-08-29

In der Septemberausgabe 1996 berichtet das Magazin ct, dass mit Crawler.de der „erste deutsche Crawler“ seinen Betrieb aufgenommen habe. Crawler.de wurde vom Webprovider Schlund & Partner betrieben und brachte, laut ct, „recht brauchbare Ergebnislisten“ zustande. Im Herbst 2000 wurde Crawler.de von Endemann aufgekauft und ist anschließend in der Dachmarke Abacho aufgegangen.

In derselben Ausgabe widmet die ct einen Schwerpunkt dem Thema Jugendschutz im Netz und der Internet-Kriminalität allgemein. Es ist verblüffend, wie wenig sich die Diskussionen zu diesem Thema innerhalb von zehn Jahren verändert haben. Fazit des Beitrags: „Überzogene Gegenmaßnahmen des Gesetzgebers fruchten wenig, denn keiner kann und will die Kabel an der Landesgrenze durchschneiden.“ Und was sagte die ct vor zehn Jahren zum Jugendschutz? „Keines der Produkte (Kindersicherungen für den Browser) bietet ausreichend Schutz, um die Eltern von ihrer Aufsichtspflicht zu entbinden“.

Permalink

Danny Sullivan verlässt Search Engine Watch

2006-08-29

Wie Danny Sullivan eben mitteilte, verlässt er zum 30. November nach zehn Jahren Search Engine Watch (SEW). Auch seine Tätigkeiten für die Search Engines Strategies-Konferenz enden im Dezember. Danny hatte SEW 1996 gestartet und ein Jahr später an Jupitermedia verkauft; die Website wechselte, zusammen mit der zwischenzeitlich etablierten Konferenzserie, mehrmals den Besitzer, doch Danny war als Chefredakteur und Konferenz-Chairman weiterhin für die Site und die Konferenzen verantwortlich.

Ohne Danny Sullivan hätte es SuchmaschinenTricks nie gegeben. Zum einen war Search Engine Watch stets ein- nie erreichbares – Vorbild, zum anderen half mir Danny 2000 in einer äußerst netten E-Mail-Kommunikation bei der Entscheidung, SuchmaschinenTricks zu starten. Ich wünsche Danny viel Glück für seine weiteren Aktivitäten!

Permalink

Spekulationen über Yahoo Blog Search

2006-08-28

Verschiedene US-Blogs berichten übereinstimmend, dass Yahoo seine Blogsuche aus der Newssuche entfernt hat. Die Übereinstimmung endet aber bei den Spekulationen für den Auslöser dieser Änderung: Vom Kauf einer Blogsuchmaschine über die Entwicklung einer eigenständigen Blogsuche bis hin zur Einstellung der Blogsuche wegen zunehmendem Spamming reichen die Theorien.

Permalink

kiko.com: Ein ungewöhnlicher Exit, aber erfolgreich

2006-08-27

Kürzlich habe ich im Artikel Google – das neue Microsoft auf das Ende des Startups Kiko hingewiesen. Kiko hatte einen Webkalender mit AJAX-Technologie entwickelt und sah mit dem Erscheinen des Google Kalender keine Chance für eine erfolgreiche Zukunft mehr. Kiko sollte verkauft werden. Das ist nicht ungewöhnlich; ungewöhnlich aber ist, dass Kiko auf eBay angeboten wurde.

Nun ist die eBay-Auktion zuende und Kiko wurde für mehr als 250.000 US-Dollar verkauft. Damit erzielte das Startup einen weit höheren Preis als manche Experten zuvor erwartet hatten. Und falls die Aussagen von Paul Graham, der mit seinem Unternehmen Y Combinator Kiko finanziell unterstützte, korrekt sind, reicht dieser Verkaufspreis aus, um noch Gewinn zu machen mit Kiko.

Permalink

Google: Webmaster, wir lieben euch!

2006-08-27

Google veröffentlicht in seinem offiziellen Blog eine Liebeserklärung an die Webmaster; denn „Webmaster veröffentlichen die großartigen Inhalte, auf die Google verweist“. Um die derart geschätzten Inhaltsanbieter auch bei Laune zu halten, fasst die Suchmaschine im Google Webmaster Central nun die verschiedensten Webmaster-Angebote zusammen.

Wirklich neue Angebote finden sich dabei aber nicht. Der Dienst Webmaster Tools lief zuvor unter dem Namen Google Sitemaps und bietet einige interessante Hinweise zum Status der eigenen Websites aus Googles Sicht. Spannend wäre an sich der Site Status Wizard, der angibt, wann eine Website zuletzt von Google gecrawlt wurde; leider stimmen diese Angaben aber nicht. Für eine meiner Sites sagt der Status Wizard, sie sei zuletzt am 20. August gecrawlt worden, ein Blick in den Google Cache aber verrät, dass der letzte Crawl deutlich neuer sein muss.

Darüber hinaus bietet Google nun weiteren Lesestoff für Webmaster an. Drei der sechs Links im Webmaster Central führen zu Blogs, Foren und dem Webmaster Help Center. An sich ist das alles ganz nett und hilft womöglich, ein paar Klicks einzusparen – für eine Liebeserklärung aber enthält das Angebot dann doch zu wenig Neues.

Permalink

Googles Textverarbeitung Writely frei zugänglich

2006-08-22

Die webbasierte Textverarbeitung Writely ist nun für jeden Nutzer kostenlos zugänglich. Seit der Übernahme von Writely durch Google konnten Interessierte nur auf Einladung die Textverarbeitung nutzen.

via Abakus

Permalink

AOL feuert Technik-Chefin nach Datenschutz-Desaster

2006-08-22

Anfang August hatte AOL Suchanfragen von mehreren hunderttausend Nutzern veröffentlicht und damit einen Sturm der Entrüstung ausgelöst, da die Daten zwar anonymisiert waren, in Einzelfällen aber trotzdem eine Zuordnung von Suchanfragen zu Nutzern ermöglichte.

Nun berichtet das Wall Street Journal laut Search Engine Watch, dass AOL seine Chief Technology Officer (CTO) Maureen Govern sowie zwei weitere Mitarbeiter, die für die Veröffentlichung der Daten verantwortlich waren, entlassen hat. Govern war erst im September 2005 auf die Position der AOL-Technikchefin gewechselt. (Das Porträt von Maureen Govern auf der AOL-Website wurde bereits vom Server entfernt, ist aber noch über den Google-Cache einzusehen.)

Mit dieser Entlassung zeigt AOL eine Reaktion auf höchster Managementebene, um so zu signalisieren, dass das Unternehmen den Vorfall sehr ernst nimmt. Dieses Datenschutz-Desaster kommt für AOL zu einem äußerst ungelegenen Zeitpunkt, denn AOL ist eben dabei, sich komplett neu auszurichten: Vom bisherigen Schwerpunkt als Zugangsprovider verabschiedet sich AOL derzeit und möchte sich künftig voll als Portal- und Suchanbieter profilieren. Da kommt eine derartige Datenschutzpanne sehr ungelegen.

Permalink

Computermagazin ct testet lokale Suchmaschinen

2006-08-19

Unter dem schönen Titel „Das Gelbe im Web“ testete das renommierte Computermagazin ct lokale Suchmaschinen. Zwölf Angebote, die von einer rein manuell gepflegten Datenbank wie bei GelbeSeiten.de bis hin zu einer ausschließlich Crawler-basierten Lösung (suchen.de) reichten, wurden getestet. Einen ausdrücklichen Sieger kürte die Redaktion der ct nicht, zu vielfältig sind die Stärken und Schwächen der einzelnen Angebote. Der komplette Testbericht steht kostenlos auf heise.de zur Verfügung.

Ältere Artikel auf SuchmaschinenTricks zum Thema „Lokale Suche“:
Yahoo! startet neue lokale Suche
Lokale Suchmaschine Suchen.de gestartet
Web.de präsentiert Lokale Suche
Lokale Suche wird real

Permalink

Google – das neue Microsoft?

2006-08-18

Das faktische Ende des AJAX-basierten Webkalenders Kiko, nimmt Dharmesh Shah in seinem Blog zum Anlass, einige Lektionen für Web-Startups zusammenzustellen.

Als erste und damit wohl wichtigste Lektion sieht Shah die Erkenntnis, dass „Google das neue Microsoft“ darstelle: „Früher versuchten Softwarefirmen, Microsoft nicht in die Quere zu kommen. Das ist zwar auch heute noch so in manchen Bereichen, aber Google ist der ernsthaftere (und unheimlichere) Konkurrent. Durch die Einführung von Google Calendar hatte Kiko keine Chance mehr mit seinem ursprünglichen Geschäftsmodell.“ Deshalb empfiehlt Shah in seinen weiteren Lektionen, „realistisch und wirklich ängstlich zu sein“, wenn Google „wie ein Zug auf einen zurast“ und einen „Plan B“ zu haben.

Die interessanteste Lektion allerdings lautet: „Selbst mit Web 2.0 rettet dich deine Bekanntheit nicht“. Kiko wurde mehrmals auf Slashdot hervorgehoben und vom MIT Technology Review besprochen, hatte mit Y Combinator einen renommierten Kapitalgeber und bekam so viel vom Web 2.0-Hype ab. Trotzdem werden auf der eBay-Verkaufsseite keine Zahlen registrierter Nutzer genannt und als Wert wird die Programmierleistung und die Domain prominent herausgestellt.

Ein Blick auf die Besucherauswertung, die Kiko in seinem eBay-Listing darstellt, zeigt denn auch, warum: Der Online-Kalender brachte es nur auf magere 40.000 Besuche im Monat. Runtergebrochen heißt das, kaum mehr als ein paar Tausend Nutzer nutzten Kiko tatsächlich. Für einen kostenlosen Dienst ist das schon recht bescheiden. Kommt dann noch ein Koloss wie Google mit einem ebenfalls kostenlosen Angebot daher, ist das Ende vorgezeichnet.

Permalink

User-Agents und das Robot Exclusion Protocol

2006-08-14

Suchmaschinen erzeugen seit vielen Jahren enormen Traffic auf Webseiten, trotzdem ist das Wissen unter den Webmastern rund um Suchmaschinen-Robots noch immer erschreckend gering. Als CTO von Neomo erhalte ich alle Anfragen zu technischen Aspekten; in letzter Zeit zeigte sich dabei wieder einige Verwirrung rund um die Namensgebung von Suchmaschinen-Robots und das Robots Exclusion Protocol.

Zunächst: Dieses Protokoll hat den Namen „Protocol“ nicht verdient. Es ist nichts anderes als eine Übereinkunft einiger damals auf einer entsprechenden Mailingliste aktiven Betreiber von Suchmaschinen-Robots. Wir sprechen hier vom Jahr 1994! Yahoo startete damals gerade seinen manuell gepflegten Webkatalog, die beiden Googlegründer hatten sich bis dato noch nicht kennen gelernt und Microsoft war das Internet noch so fremd, dass der Internet Explorer noch nicht mal Tabellen beherrschte.

Alles, was damals in diesem Protokoll festgelegt wurde, war die Möglichkeit, für alle oder jeweils einzelne Crawler einzelne Verzeichnisse per Disallow-Anweisung vom Crawlen auszuschließen. Das war und ist bis heute alles. Weitere Anweisungen wie Allow oder Crawl-delay waren damals nicht vorgesehen – und es gibt auch heute keinerlei Standard, der diese Erweiterungen definieren würde. Es hat im Gegensatz leider ein Wildwuchs eingesetzt: Während Yahoo und MSN Crawl-delay eingeführt haben und entsprechend beachten, schenkt Google dieser Erweiterung keine Aufmerksamkeit. Umgekehrt hat Google die für Disallow-Angaben mögliche Syntax erheblich erweitert, was die meisten anderen Suchmaschinen nicht berücksichtigen.

Sie sollten also als Webmaster nicht einfach
User-agent: *
Crawl-delay: 120

in Ihre robots.txt-Datei schreiben und sich dann wundern, dass sich nicht jeder Crawler daran hält. (Für Neomo haben wir übrigens kürzlich unseren Crawler erweitert, so dass er nun Crawl-delay, zumindest innerhalb eines vernünftigen Rahmens, beachtet.)

Ähnlich verhält sich die Situation mit der Benennung des User-Agents. Es gibt keinen Standard, ja nicht mal eine stillschweigende Übereinkunft, dass jeder Suchmaschinen-Robot den Namensbestandteil „bot“, „spider“ oder „crawler“ haben sollte. Jahrelang etwa bewegten sich die Crawler der großen Suchmaschinen Inktomi und Altavista mit den Bezeichnungen „Slurp“ bzw. „Scooter“ durchs Web. Google nennt zwar seinen Robot „Googlebot“, doch nicht alle Zugriffe des Google-Crawlers kommen mit einem User-Agent namens „Googlebot“. Denn auch Google muss sich gegen Cloaking wappnen und schickt seinen Robot oft als ganz normalen Browser getarnt auf die Reise.

Solange das W3C keine eigene Definition für eine sinnvolle Robotsteuerung vorlegt, müssen Webmaster wie Suchmaschinen entweder mit einer Übereinkunft aus der frühen Antike des Webs auskommen oder sich im Dschungel der proprietären Erweiterungen zurecht finden.

Permalink

Yahoo leitet Webmaster-Suchen um

2006-08-11

Zum Alltag von SEO-affinen Webmastern gehören Anfragen wie site:www.suchmaschinentricks.de oder link:www.suchmaschinentricks.de, um die in einer Suchmaschine aufgenommenen Seiten der eigenen Website oder die eingehenden Links zu ermitteln.

Yahoo bietet für derartige Anfragen seit längerem den Yahoo Site Explorer an. Hier genügt es, die URL der Homepage einer Seite einzugeben, um sofort die wesentlichen Daten angezeigt zu bekommen. Wie Yahoo nun mitteilte, werden die eingangs dargestellten typischen Webmaster-Anfragen nun sofort auf den Site Explorer umgeleitet. Gleichzeitig hat Yahoo den Site Explorer um einige Features wie eine Feed-Verwaltung oder Informationen zum letzten Crawldatum erweitert. Um einige der erweiterten Funktionen zu nutzen, ist allerdings ein Yahoo-Login nötig; zudem muss man als Inhaber der zu analysierenden Website bei Yahoo registriert sein.

(Die automatische Weiterleitung auf den Site Explorer funktioniert derzeit nur auf search.yahoo.com; die deutschsprachige Site verfügt noch nicht über diese Funktion.)

Permalink

Bitte nicht mehr googlen

2006-08-09

Schon länger wird das Verb „to google“ als Synonym für „suchen“ benutzt; inzwischen wurde der Begriff in Merriam-Webster’s Wörterbuch aufgenommen und hat so den Ritterschlag als alltäglich gebräuchliches Wort erhalten. Doch statt sich über diese Auszeichnung zu freuen, wie es sich für eine Firma, die nie was böses tun (Firmenmotto!) will, gehört, schreiben die Firmenanwälte nun Briefe an Zeitungen. Denn Google hat Angst um seine Marke.

Wie die Washington Post treffend anmerkte, „hat sich das Wort Google in die kurze Liste der Begriffe eingereiht, die nicht länger nur ein bestimmtes Produkt beschreiben, sondern für eine ganze Branche stehen.“ Doch solche Darstellungen möchten die Anwälte des Suchmaschinenprimus nicht mehr lesen. Sie befürchten, dass der alltägliche Gebrauch von „googlen“ die Markenrechte des Unternehmens gefährdet – etwa so, wie heute „Tempo“ allgemein für Papiertaschentücher steht und nicht mehr ausschließlich für die gleichnamige Marke. Googles Anwälte stellen sogar Beispiele für unpassende Nutzungen des Wortes „google“ dar: So sei der Satz „I googled that hottie.“ unangebracht; statt dessen sollten die Zeitungen lieber schreiben „I ran a Google search to check out that guy from the party.“

Permalink

AOL veröffentlicht Nutzerdaten

2006-08-07

Der Internetanbieter AOL veröffentlichte die vergangenen Tage 20 Millionen Suchanfragen von etwa 650.000 AOL-Nutzern als 440MB große Datei auf dem hauseigenen Server research.aol.com. Derzeit ist dieser Server nicht erreichbar und es gibt Hinweise, dass AOL die Daten inzwischen entfernt hat, es finden sich aber inzwischen etliche Mirror-Sites, die die Daten zum Download bereit halten.

Offensichtlich ist dem AOL-Management die Aufregung rund um den Wunsch des US-Justizministeriums nach einer Veröffentlichung der Suchdaten durch Google entgangen. Zwar hat AOL die Nicknames der Nutzer durch eine zufällige ID ersetzt, aber allein aufgrund der Suchanfragen und der daraufhin besuchten Seiten kann womöglich in einigen Fällen eine Zuordnung zu den tatsächlichen Personen erfolgen.

Viele Online-Marketer nutzen solche Keyword-Zusammenstellungen (Keyword-Datenbank, Wordtracker) schon lange, doch sind diese Angebote komplett anonymisiert, ein Rückschluss auf das Suchverhalten einzelner Nutzer ist damit nicht möglich.

Permalink

Google Maps einmal mehr „missbraucht“

2006-08-07

Mash-Ups gehören zum Zauberwortschatz des aktuellen Web 2.0-Fiebers. Für gewöhnlich versteht man darunter Websites, die Daten anderer Sites mehr oder wenig nützlich und sinnvoll zu einer neuen Site zusammenführen. Was nun aber Mark Caswell-Daniels unter Goggles – the GoogleMaps flight sim erstellt hat, dürfte wohl selbst die kühnsten Ideen im Googleplex übertreffen: Ein Flugsimulator lädt zu Rundflügen über London, Paris oder New York ein. Eine schnelle Internetanbindung ist Pflicht, denn Goggles lädt die Hintergrundbilder während des virtuellen Flugs vom Google Maps-Server. Das ganze „verkauft“ Caswell-Daniels als Spiel und so darf sogar geschossen werden. Doch Vorsicht – wer zu tief fliegt, kann leicht in einer feurigen Explosion verpuffen.

Permalink