Webmaster-Zentrale Blog
Offizielle Informationen zum Crawling und zur Indexierung von Webseiten und News für Webmaster
Crawling-Fehler: die nächste Generation
Dienstag, 27. März 2012
"Crawling-Fehler" ist eine der beliebtesten Funktionen in den Webmaster-Tools. Heute zeigen wir euch einige maßgebliche Verbesserungen, mit denen die Funktion für euch noch nützlicher werden soll.
Es werden nun viele neue Fehlertypen erkannt und gemeldet. Um diese neuen Informationen übersichtlich zu gestalten, haben wir sie in zwei Gruppen aufgeteilt: Website-Fehler und URL-Fehler.
Website-Fehler
Website-Fehler sind Probleme, die nicht eine bestimmte URL betreffen, sondern die ganze Website. Dazu gehören Fehler bei der DNS-Auflösung, Verbindungsprobleme mit dem Webserver und Schwierigkeiten beim Abrufen der "robots.txt"-Datei. Diese Fehler wurden bisher nach URL aufgelistet. Das ist jedoch nicht sehr sinnvoll, da die Probleme nicht URL-spezifisch sind und der Googlebot sogar vom Anfordern der URLs abgehalten wird. Nun halten wir die Häufigkeit der einzelnen Website-Fehlertypen fest. Wir versuchen auch Warnungen zu geben, wenn diese Fehler so häufig vorkommen, dass eure Aufmerksamkeit gefragt ist.
Verlauf von Website-Fehlern und ihrer Häufigkeit
Solltet ihr in diesem Bereich keine Probleme haben oder in letzter Zeit gehabt haben – und dies ist bei den meisten Websites der Fall – steht der entsprechende Abschnitt nicht im Vordergrund. Daher werden hier auch nur ein paar grüne Häkchen angezeigt, damit ihr wisst, dass alles wie geschmiert läuft.
URL-Fehler
URL-Fehler sind Probleme mit einer bestimmten Seite. Das heißt, dass beim Versuch des Googlebots, die URL zu crawlen, das DNS aufgelöst, eine Verbindung mit dem Server hergestellt und die "robot.txt"-Datei abgerufen und gelesen wird. Anschließend wird die URL angefordert, doch in diesem Moment scheint etwas schiefzugehen. Die URL-Fehler werden je nach Ursache des Fehlers in verschiedene Kategorien unterteilt. Sollte eure Website Daten für Google News oder für Mobilgeräte (CHTML/XHTML) bereitstellen, zeigen wir Fehler dementsprechend in separaten Kategorien an.
Weniger ist mehr
Wir haben euch bisher bis zu 100.000 Fehler pro Fehlertyp angezeigt. Das war nicht gerade eine leicht verdauliche Anzahl. Ihr hattet keine Möglichkeit herauszufinden, welche dieser Fehler kritisch (Startseite ist ausgefallen) oder nicht so wichtig waren (auf einer privaten Website wird der Link zu eurer Website falsch geschrieben). Es war unmöglich, alle 100.000 Fehler anzusehen, und ihr konntet sie auch nicht sortieren, durchsuchen oder markieren. In der neuen Version dieser Funktion möchten wir euch nun die wichtigsten Fehler zuerst zeigen. In jeder Kategorie seht ihr die 1000 nach unserer Meinung wichtigsten Fehler, die eure Aufmerksamkeit benötigen. Ihr könnt diese 1000 wichtigsten Fehler sortieren und filtern, behobene Fehler markieren und Details zu den einzelnen Fehlern anzeigen.
Einige Websites weisen jedoch mehr als 1000 Fehler in einer bestimmten Kategorie auf. Ihr könnt euch in diesem Fall natürlich die Gesamtanzahl aller einzelnen Fehlertypen ansehen. Außerdem wird in einem Diagramm der Verlauf der letzten 90 Tage angezeigt. Für diejenigen, die befürchten, dass Details zu den wichtigsten 1000 Fehlern und die Gesamtanzahl der Fehler nicht ausreichen, überlegen wir einen programmatischen Zugriff über eine API zu ermöglichen. Damit könntet ihr dann sämtliche Fehler herunterladen. Lasst uns wissen, ob das für euch von Nutzen wäre.
Wir haben außerdem die Liste der Seiten entfernt, die durch eine "robots.txt"-Datei blockiert werden. Diese Informationen können zwar in manchen Fällen bei der Diagnose eines Problems mit robots.txt hilfreich sein, doch meistens habt ihr diese Seiten ja absichtlich blockiert. Wir wollten uns erst einmal ganz auf das Thema Fehler konzentrieren. Weitere Informationen zur Blockierung durch eine "robots.txt"-Datei findet ihr also bald in der Funktion "Crawler-Zugriff" unter "Website-Konfiguration".
Mehr Details bitte
Wenn ihr auf eine Fehler-URL in der Liste klickt, wird ein Detailfenster mit weiteren Informationen geöffnet. Dort erfahrt ihr zum Beispiel, wann zum letzten Mal versucht wurde, die URL zu crawlen, und wann wir das Problem zu ersten Mal entdeckt haben. Es wird auch eine kurze Beschreibung des Fehlers angegeben.
Im Detailfenster wird der Link der URL angezeigt, die für den Fehler verantwortlich ist. Um selbst zu sehen, was beim Aufrufen der URL passiert, klickt einfach auf den Link. Ihr könnt Fehler als "korrigiert" markieren (mehr dazu später), die einzelnen Fehlertypen in der Hilfe nachschlagen, Sitemaps mit der spezifischen URL auflisten sowie andere Seiten ansehen, die auf diese URL verlinken. Ihr könnt die URL sogar wie durch Googlebot abrufen, um entweder weitere Informationen zu erhalten oder zu überprüfen, ob der Fehler behoben wurde.
Nun seid ihr an der Reihe!
Eine der spannendsten Funktionen dieser neuen Version der "Crawling-Fehler" ist, dass ihr euch voll und ganz darauf konzentrieren könnt, die wichtigsten Fehler zuerst zu beheben. Die Fehler sind so angeordnet, dass die ersten Einträge der Prioritätsliste Probleme sind, die ihr selbst beheben könnt: fehlerhafte Links auf der eigenen Website korrigieren, Fehler in der Serversoftware beheben, Sitemaps aktualisieren und veraltete URLs entfernen oder eine 301-Weiterleitung hinzufügen, damit eure Nutzer auf eine "echte" Seite weitergeleitet werden. Bei der Priorisierung der Fehler berücksichtigen wir verschiedene Faktoren, zum Beispiel ob die URL in einer Sitemap enthalten ist, wie viele Seiten auf die URL verlinken, ob diese Seiten Teil eurer Website sind und ob die URL kürzlich über Suchanfragen aufgerufen wurde.
Sobald ihr den Fehler behoben habt (ihr könnt dies durch den "Abruf wie durch Googlebot" testen), könnt ihr den Fehler als "korrigiert" markieren. Diese Funktion ist nur für
Nutzer mit umfassenden Zugriffsrechten
möglich. Damit wird der Fehler aus der Liste entfernt. Diese als "korrigiert" markierten Fehler werden in Zukunft nicht mehr in der Fehlerliste angezeigt, außer wir entdecken den gleichen Fehler erneut beim Crawlen einer URL.
Wir haben viel Aufwand in die neue Funktion "Crawling-Fehler" gesteckt und hoffen natürlich, dass sie euch nützlich erscheint. Gebt uns Bescheid, was ihr davon haltet und lasst uns eure Vorschläge im
Forum
hören.
Autor:
Kurt Dresner
, Webmaster-Tools-Team (Veröffentlicht von
Uli Lutz
, Search Quality)
Labels
#NoHacked
2
2017
1
Accessibility
13
AJAX
1
AMP
7
Android
2
api
1
App-Indexierung
3
Best Practices
99
Bildersuche
2
captcha
1
Chrome
4
Code
12
Crawling
1
Crawling und Indexierung
126
Diskussionsforum
15
Duplicate Content
17
Dynamic Rendering
1
Einsteiger
8
Event
1
events
1
Feedback
1
Geo-Targeting
11
Google Analytics
6
Google Dance
1
Google News
1
Google Places
4
Google-Assistant
1
Google-Suche
59
Google+
9
Hacking
16
Hangouts
1
https
3
JavaScript
3
Kanonische URL
1
Kommentare
1
Konferenz
19
Lighthouse
3
Links
18
Malware
17
Mobile
38
Mobile-first indexing
1
Nachrichten-Center
16
Optimisation
3
PageSpeed Insights
2
Penalties
1
Performance
3
Ranking
1
reCaptcha v3
1
Rendering
2
Rich Snippets
18
Richtlinien für Webmaster
36
robots.txt
7
Safe Browsing
5
Search Console
19
Search Results
1
Security
4
Seitenzugriff
1
SEO
4
Sicherheit
38
Site Clinic
5
Sitemaps
30
Spam Report
9
SSL
1
Structured Data
8
Tools und Gadgets
17
Verschlüsselung
1
Video
132
Webmaster blog
1
Webmaster Community
1
Webmaster-Academy
1
Webmaster-Tools
154
webspam
3
Archiv
2020
Nov.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
2019
Dez.
Nov.
Okt.
Sept.
Juni
Mai
Feb.
Jan.
2018
Dez.
Nov.
Okt.
Sept.
Juli
Juni
Mai
Apr.
Feb.
Jan.
2017
Dez.
Nov.
Juni
Apr.
März
Jan.
2016
Nov.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Jan.
2015
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Mai
Apr.
März
Feb.
Jan.
2014
Nov.
Okt.
Sept.
Aug.
Juni
Mai
Apr.
März
Feb.
Jan.
2013
Dez.
Nov.
Okt.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2012
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2011
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2010
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2009
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2008
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2007
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feed
Forum für Webmaster
Webmaster-Sprechstunden
Webmaster-Tools-Hilfe
Developers-Site für Webmaster
