Webmaster-Zentrale Blog
Offizielle Informationen zum Crawling und zur Indexierung von Webseiten und News für Webmaster
Änderungen der Crawling-Fehlermeldungen für Weiterleitungen
Dienstag, 28. Januar 2014
In der Vergangenheit gab es bei Webmastern gelegentlich Verwirrung darüber, wie
Crawling-Fehler
auf weiterleitenden Seiten in den
Webmaster-Tools
angezeigt werden. Es ist also an der Zeit, die Diagnose klarer und einfacher zu gestalten! Während wir früher den Fehler auf der ursprünglichen weiterleitenden URL gemeldet haben, zeigen wir jetzt den Fehler auf der endgültigen URL an. Diese URL gibt den eigentlichen Fehlercode zurück.
Hier ein Beispiel:
URL A leitet auf URL B weiter, die wiederum einen Fehler zurückgibt. Die Art der Weiterleitung und der Fehlertyp sind hier nicht relevant.
In der Vergangenheit haben wir den am Ende aufgezeichneten Fehler unter URL A gemeldet. Jetzt wird er stattdessen unter URL B gemeldet. Dies vereinfacht die Diagnose der in den Webmaster-Tools angezeigten Crawling-Fehler. Mit Tools wie
cURL
oder eurer bevorzugten
Online-Server-Header-Prüfung
könnt ihr nun einfach bestätigen, dass der eigentliche Fehler von URL B ausgeht.
Diese Änderung ist möglicherweise auch in der Gesamtfehleranzahl mancher Websites sichtbar. Wenn eure Website beispielsweise auf eine neue Domain umzieht, werden nur diese Fehler für die neue Domain angezeigt, vorausgesetzt, die alte Domain leitet korrekt weiter. Dies kann zu merklichen Änderungen der Gesamtfehleranzahl für solche Websites führen.
Beachtet, dass diese Änderung sich nur darauf auswirkt, wie die Crawling-Fehler in den Webmaster-Tools angezeigt werden. Bedenkt außerdem, dass Crawling-Fehler für URLs, die Fehler zurückgeben sollten (z. B. nicht vorhandene URLs)
keine negativen Auswirkungen auf die Indexierung oder das Ranking der übrigen Website haben
(auch
diskutiert auf Google+
).
Wir hoffen, diese Änderung vereinfacht das Aufspüren von Crawling-Fehlern und die Bereinigung von unbeabsichtigten Fehlern, die euch nicht bewusst waren. Falls ihr noch Fragen habt, könnt ihr sie gerne hier posten oder einen Blick in die
Foren für Webmaster von Google
werfen.
Post von
John Mueller
, Webmaster Trends Analyst (Veröffentlicht von
Johannes Mehlem
, Search Quality Team)
Ein neuer Googlebot-User-Agent für das Crawling von Smartphone-Content
Donnerstag, 23. Januar 2014
Im Laufe der Jahre hat Google unterschiedliche Crawler verwendet, um Content für Feature-Phones und Smartphones zu crawlen und zu indexieren. Diese für Mobilgeräte konzipierten Crawler wurden alle als Googlebot-Mobile bezeichnet. Feature-Phones und Smartphones weisen jedoch deutlich unterschiedliche Geräteleistungen auf. So haben Webmaster in einigen Fällen versehentlich das Crawling oder die Indexierung von Smartphones blockiert, obwohl sie eigentlich nur das Crawling und Indexieren von Feature-Phones blockieren wollten. Diese Doppeldeutigkeit machte es Google unmöglich, Smartphone-Content auf einigen Websites zu indexieren oder zu erkennen, dass diese Websites für Smartphones optimiert sind.
Ein neuer Googlebot für Smartphones
Zur Klärung der Situation und um Webmastern mehr Kontrolle zu geben, werden wir in 3 bis 4 Wochen den "Googlebot-Mobile" für Smartphones als User-Agent ausmustern.Von da an wird der User-Agent für Smartphones sich einfach als "Googlebot" ausweisen, er wird jedoch weiterhin als "mobil" anderswo im User-Agent-String gelistet sein. Hier die neuen und alten User-Agents:
Der neue Googlebot-User-Agent für Smartphones:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible;
Googlebot
/2.1; +http://www.google.com/bot.html)
(Update August 2015)
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible;
Googlebot
/2.1;
+http://www.google.com/bot.html)
Der Googlebot-Mobile-User-Agent für Smartphones wird demnächst ausgemustert:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible;
Googlebot-Mobile
/2.1;
+http://www.google.com/bot.html)
Diese Änderung betrifft nur den Googlebot-Mobile für Smartphones. Der User-Agent des regulären Googlebot wird nicht geändert. Die verbleibenden zwei Googlebot-Mobile-Crawler werden sich in ihren User-Agent-Strings weiterhin auf Feature-Phone-Geräte beziehen. Dies sind folgende User-Agents:
Regulärer Googlebot-User-Agent:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Die beiden Googlebot-Mobile-User-Agents für Feature-Phones:
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Ihr könnt eure Website mit der
Funktion "Abruf wie durch Google" in den Webmaster-Tools
testen und eine komplette Liste unserer
vorhandenen Crawler in der Hilfe für Webmaster
einsehen.
Crawling und Indexierung
Bitte beachtet folgende wichtige Auswirkung des User-Agent-Updates:
Der neue Googlebot-Crawler für Smartphones wird anstelle des Googlebot-Mobile den robots.txt-, den Robots-Meta-Tag- und den HTTP-Header-Anweisungen für den Googlebot folgen.
Mit dem neuen Crawler blockiert beispielsweise die folgende robots.txt-Anweisung jedes Crawling durch den neuen Googlebot-User-Agent für Smartphones sowie den regulären Googlebot:
User-Agent: Googlebot
Disallow: /
Diese robots.txt-Richtlinie wird das Crawling durch die Feature-Phone-Crawler von Google blockieren:
User-Agent: Googlebot-Mobile
Disallow: /
Unseren internen Analysen zufolge wirkt sich dieses Update auf weniger als 0,001 % der URLs aus. Gleichzeitig erhalten Webmaster mehr Kontrolle über das Crawling und die Indexierung ihrer Inhalte.Wie immer könnt ihr bei Fragen
unsere
Empfehlungen für den Aufbau von Smartphone-optimierten Websites
lesen,
weitere Informationen über
die Steuerung des Crawlings und der Indexierung durch den Googlebot
(in Englisch) erhalten und
in unseren
Foren für Webmaster
nachfragen oder einen unserer
Hangouts während der Geschäftszeiten der Webmaster-Zentrale
besuchen.
Post von Zhijian He, Smartphone Search Engineer (Veröffentlicht von
Johannes Mehlem
, Search Quality Team)
Labels
#NoHacked
2
2017
1
Accessibility
13
AJAX
1
AMP
7
Android
2
api
1
App-Indexierung
3
Best Practices
99
Bildersuche
2
captcha
1
Chrome
4
Code
12
Crawling
1
Crawling und Indexierung
124
Diskussionsforum
15
Duplicate Content
17
Einsteiger
8
Event
1
Geo-Targeting
11
Google Analytics
6
Google Dance
1
Google Places
4
Google-Assistant
1
Google-Suche
59
Google+
9
Hacking
16
Hangouts
1
https
3
JavaScript
2
Konferenz
19
Lighthouse
2
Links
18
Malware
17
Mobile
38
Mobile-first indexing
1
Nachrichten-Center
16
Optimisation
2
PageSpeed Insights
2
Penalties
1
Performance
3
Ranking
1
reCaptcha v3
1
Rendering
1
Rich Snippets
18
Richtlinien für Webmaster
36
robots.txt
7
Safe Browsing
5
Search Console
17
Security
4
SEO
3
Sicherheit
38
Site Clinic
5
Sitemaps
30
Spam Report
9
SSL
1
Structured Data
6
Tools und Gadgets
17
Verschlüsselung
1
Video
132
Webmaster-Academy
1
Webmaster-Tools
154
webspam
3
Archiv
2018
Nov
Okt
Sep
Jul
Jun
Mai
Apr
Feb
Jan
2017
Dez
Nov
Jun
Apr
Mär
Jan
2016
Nov
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Jan
2015
Dez
Nov
Okt
Sep
Aug
Jul
Mai
Apr
Mär
Feb
Jan
2014
Nov
Okt
Sep
Aug
Jun
Mai
Apr
Mär
Feb
Jan
2013
Dez
Nov
Okt
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2012
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2011
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2010
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2009
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2008
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2007
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feed
Forum für Webmaster
Webmaster-Sprechstunden
Webmaster-Tools-Hilfe
Developers-Site für Webmaster
