Webmaster-Zentrale Blog
Offizielle Informationen zum Crawling und zur Indexierung von Webseiten und News für Webmaster
Aufbruch in die Unendlichkeit? Nein, danke!
Mittwoch, 6. August 2008
Wenn der Googlebot durchs Web gleitet, begegnet er oft einem Phänomen, das wir "endlose Weiten" nennen. Dabei handelt es sich um eine sehr große Anzahl von Links, die in den meisten Fällen sehr wenig oder gar keinen neuen Content zum Indexieren bieten. Falls das auf eurer Site der Fall sein sollte, könnte das Crawlen dieser URLs unnötige Bandbreite beanspruchen und dazu führen, dass der Googlebot nicht in der Lage ist, den tatsächlichen Content der Site komplett zu erfassen.
Vor kurzem haben wir damit begonnen, Webmaster zu benachrichtigen, wenn wir dieses Problem auf ihren Websites feststellen. Wie die meisten unserer Benachrichtigungen könnt ihr die entsprechenden Informationen im Nachrichten-Center der
Webmaster-Tools
finden. Wahrscheinlich wollt ihr so schnell wie möglich erfahren, ob der Googlebot dieses - oder ein anderes - Problem beim Crawlen eurer Websites hat. Deshalb überprüft eure Site doch einfach in den Webmaster-Tools und schaut ab und an mal im Nachrichten-Center vorbei.
Endlose Weiten in Beispielen
Das klassische Beispiel für endlose Weiten ist ein Kalender mit einem Link für "Nächsten Monat". Es könnte möglich sein, diesem Link für alle Ewigkeit ins Endlose zu folgen! Das ist natürlich nicht das, was ihr euch vom Googlebot wünscht. Der Googlebot ist intelligent genug, einige dieser Szenarien selbstständig zu durchschauen, aber es gibt jede Menge Varianten, endlose Weiten zu erzeugen, und wir können vielleicht nicht alle davon aufspüren.
Eine anderes Szenario tritt häufig bei Websites auf, die in der Lage sind, eine Anzahl von Suchergebnissen auf unterschiedlichste Art und Weise zu filtern. Ein Webshop kann beispielsweise die Option bieten, Kleidungsstücke nach Kategorie, Preis, Farbe, Marke, Gestaltung, etc. zu sortieren. Die Anzahl der möglichen Kombinationen wächst dabei unter Umständen exponential. So können tausende von URLs entstehen, die alle das gleiche Produkt anzeigen. Höchstwahrscheinlich ist das für eure User von Vorteil, aber dem Googlebot hilft es kaum. Der möchte doch bloß alles finden - und zwar genau einmal!
Probleme mit endlosen Weiten in den Griff bekommen
Dieser
Artikel in der Hilfe für Webmaster
beschreibt weitere Umstände, unter denen endlose Weiten entstehen können und enthält Empfehlungen, wie man das Problem umschiffen kann. Eine Lösung bestünde darin, ganze Kategorien von dynamisch erzeugten Links durch die robots.txt-Datei zu blockieren.
Die Hilfe für Webmaster enthält viele Informationen dazu, wie man robots.txt einsetzen kann.
Überprüft in diesem Fall aber auch, ob der Googlebot noch in der Lage ist,
euren gesamten Content auf anderem Wege aufzufinden. Ein anderer Lösungsansatz bestünde darin, die problematischen Links mit dem "nofollow"-Linkattribut zu versehen. Für
mehr Infos zu "nofollow"-Links werft
doch ebenfalls einen Blick in unsere Hilfe für Webmaster!
To infinity and beyond? No! (English version)
Post von Torry Hoffman, Webmaster Tools Team (Übersetzung von Jörg, Search Quality)
Labels
#NoHacked
2
2017
1
Accessibility
13
AJAX
1
AMP
7
Android
2
api
1
App-Indexierung
3
Best Practices
99
Bildersuche
2
captcha
1
Chrome
4
Code
12
Crawling
1
Crawling und Indexierung
126
Diskussionsforum
15
Duplicate Content
17
Dynamic Rendering
1
Einsteiger
8
Event
1
events
1
Feedback
1
Geo-Targeting
11
Google Analytics
6
Google Dance
1
Google News
1
Google Places
4
Google-Assistant
1
Google-Suche
59
Google+
9
Hacking
16
Hangouts
1
https
3
JavaScript
3
Kanonische URL
1
Kommentare
1
Konferenz
19
Lighthouse
3
Links
18
Malware
17
Mobile
38
Mobile-first indexing
1
Nachrichten-Center
16
Optimisation
3
PageSpeed Insights
2
Penalties
1
Performance
3
Ranking
1
reCaptcha v3
1
Rendering
2
Rich Snippets
18
Richtlinien für Webmaster
36
robots.txt
7
Safe Browsing
5
Search Console
19
Search Results
1
Security
4
Seitenzugriff
1
SEO
4
Sicherheit
38
Site Clinic
5
Sitemaps
30
Spam Report
9
SSL
1
Structured Data
8
Tools und Gadgets
17
Verschlüsselung
1
Video
132
Webmaster blog
1
Webmaster Community
1
Webmaster-Academy
1
Webmaster-Tools
154
webspam
3
Archiv
2020
Nov.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
2019
Dez.
Nov.
Okt.
Sept.
Juni
Mai
Feb.
Jan.
2018
Dez.
Nov.
Okt.
Sept.
Juli
Juni
Mai
Apr.
Feb.
Jan.
2017
Dez.
Nov.
Juni
Apr.
März
Jan.
2016
Nov.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Jan.
2015
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Mai
Apr.
März
Feb.
Jan.
2014
Nov.
Okt.
Sept.
Aug.
Juni
Mai
Apr.
März
Feb.
Jan.
2013
Dez.
Nov.
Okt.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2012
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2011
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2010
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2009
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2008
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2007
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feed
Forum für Webmaster
Webmaster-Sprechstunden
Webmaster-Tools-Hilfe
Developers-Site für Webmaster