Google Webmaster-Zentrale Blog: Aufbruch in die Unendlichkeit? Nein, danke!

Webmaster-Zentrale Blog

Offizielle Informationen zum Crawling und zur Indexierung von Webseiten und News für Webmaster

Aufbruch in die Unendlichkeit? Nein, danke!

Mittwoch, 6. August 2008

Wenn der Googlebot durchs Web gleitet, begegnet er oft einem Phänomen, das wir "endlose Weiten" nennen. Dabei handelt es sich um eine sehr große Anzahl von Links, die in den meisten Fällen sehr wenig oder gar keinen neuen Content zum Indexieren bieten. Falls das auf eurer Site der Fall sein sollte, könnte das Crawlen dieser URLs unnötige Bandbreite beanspruchen und dazu führen, dass der Googlebot nicht in der Lage ist, den tatsächlichen Content der Site komplett zu erfassen.

Vor kurzem haben wir damit begonnen, Webmaster zu benachrichtigen, wenn wir dieses Problem auf ihren Websites feststellen. Wie die meisten unserer Benachrichtigungen könnt ihr die entsprechenden Informationen im Nachrichten-Center der Webmaster-Tools finden. Wahrscheinlich wollt ihr so schnell wie möglich erfahren, ob der Googlebot dieses - oder ein anderes - Problem beim Crawlen eurer Websites hat. Deshalb überprüft eure Site doch einfach in den Webmaster-Tools und schaut ab und an mal im Nachrichten-Center vorbei.

Endlose Weiten in Beispielen

Das klassische Beispiel für endlose Weiten ist ein Kalender mit einem Link für "Nächsten Monat". Es könnte möglich sein, diesem Link für alle Ewigkeit ins Endlose zu folgen! Das ist natürlich nicht das, was ihr euch vom Googlebot wünscht. Der Googlebot ist intelligent genug, einige dieser Szenarien selbstständig zu durchschauen, aber es gibt jede Menge Varianten, endlose Weiten zu erzeugen, und wir können vielleicht nicht alle davon aufspüren.

Eine anderes Szenario tritt häufig bei Websites auf, die in der Lage sind, eine Anzahl von Suchergebnissen auf unterschiedlichste Art und Weise zu filtern. Ein Webshop kann beispielsweise die Option bieten, Kleidungsstücke nach Kategorie, Preis, Farbe, Marke, Gestaltung, etc. zu sortieren. Die Anzahl der möglichen Kombinationen wächst dabei unter Umständen exponential. So können tausende von URLs entstehen, die alle das gleiche Produkt anzeigen. Höchstwahrscheinlich ist das für eure User von Vorteil, aber dem Googlebot hilft es kaum. Der möchte doch bloß alles finden - und zwar genau einmal!

Probleme mit endlosen Weiten in den Griff bekommen

Dieser Artikel in der Hilfe für Webmaster beschreibt weitere Umstände, unter denen endlose Weiten entstehen können und enthält Empfehlungen, wie man das Problem umschiffen kann. Eine Lösung bestünde darin, ganze Kategorien von dynamisch erzeugten Links durch die robots.txt-Datei zu blockieren. Die Hilfe für Webmaster enthält viele Informationen dazu, wie man robots.txt einsetzen kann. Überprüft in diesem Fall aber auch, ob der Googlebot noch in der Lage ist, euren gesamten Content auf anderem Wege aufzufinden. Ein anderer Lösungsansatz bestünde darin, die problematischen Links mit dem "nofollow"-Linkattribut zu versehen. Für mehr Infos zu "nofollow"-Links werft doch ebenfalls einen Blick in unsere Hilfe für Webmaster!To infinity and beyond? No! (English version)

Post von Torry Hoffman, Webmaster Tools Team (Übersetzung von Jörg, Search Quality)