Webmaster-Zentrale Blog
Offizielle Informationen zum Crawling und zur Indexierung von Webseiten und News für Webmaster
Ein neuer Googlebot-User-Agent für das Crawling von Smartphone-Content
Donnerstag, 23. Januar 2014
Im Laufe der Jahre hat Google unterschiedliche Crawler verwendet, um Content für Feature-Phones und Smartphones zu crawlen und zu indexieren. Diese für Mobilgeräte konzipierten Crawler wurden alle als Googlebot-Mobile bezeichnet. Feature-Phones und Smartphones weisen jedoch deutlich unterschiedliche Geräteleistungen auf. So haben Webmaster in einigen Fällen versehentlich das Crawling oder die Indexierung von Smartphones blockiert, obwohl sie eigentlich nur das Crawling und Indexieren von Feature-Phones blockieren wollten. Diese Doppeldeutigkeit machte es Google unmöglich, Smartphone-Content auf einigen Websites zu indexieren oder zu erkennen, dass diese Websites für Smartphones optimiert sind.
Ein neuer Googlebot für Smartphones
Zur Klärung der Situation und um Webmastern mehr Kontrolle zu geben, werden wir in 3 bis 4 Wochen den "Googlebot-Mobile" für Smartphones als User-Agent ausmustern.Von da an wird der User-Agent für Smartphones sich einfach als "Googlebot" ausweisen, er wird jedoch weiterhin als "mobil" anderswo im User-Agent-String gelistet sein. Hier die neuen und alten User-Agents:
Der neue Googlebot-User-Agent für Smartphones:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible;
Googlebot
/2.1; +http://www.google.com/bot.html)
(Update August 2015)
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible;
Googlebot
/2.1;
+http://www.google.com/bot.html)
Der Googlebot-Mobile-User-Agent für Smartphones wird demnächst ausgemustert:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible;
Googlebot-Mobile
/2.1;
+http://www.google.com/bot.html)
Diese Änderung betrifft nur den Googlebot-Mobile für Smartphones. Der User-Agent des regulären Googlebot wird nicht geändert. Die verbleibenden zwei Googlebot-Mobile-Crawler werden sich in ihren User-Agent-Strings weiterhin auf Feature-Phone-Geräte beziehen. Dies sind folgende User-Agents:
Regulärer Googlebot-User-Agent:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Die beiden Googlebot-Mobile-User-Agents für Feature-Phones:
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Ihr könnt eure Website mit der
Funktion "Abruf wie durch Google" in den Webmaster-Tools
testen und eine komplette Liste unserer
vorhandenen Crawler in der Hilfe für Webmaster
einsehen.
Crawling und Indexierung
Bitte beachtet folgende wichtige Auswirkung des User-Agent-Updates:
Der neue Googlebot-Crawler für Smartphones wird anstelle des Googlebot-Mobile den robots.txt-, den Robots-Meta-Tag- und den HTTP-Header-Anweisungen für den Googlebot folgen.
Mit dem neuen Crawler blockiert beispielsweise die folgende robots.txt-Anweisung jedes Crawling durch den neuen Googlebot-User-Agent für Smartphones sowie den regulären Googlebot:
User-Agent: Googlebot
Disallow: /
Diese robots.txt-Richtlinie wird das Crawling durch die Feature-Phone-Crawler von Google blockieren:
User-Agent: Googlebot-Mobile
Disallow: /
Unseren internen Analysen zufolge wirkt sich dieses Update auf weniger als 0,001 % der URLs aus. Gleichzeitig erhalten Webmaster mehr Kontrolle über das Crawling und die Indexierung ihrer Inhalte.Wie immer könnt ihr bei Fragen
unsere
Empfehlungen für den Aufbau von Smartphone-optimierten Websites
lesen,
weitere Informationen über
die Steuerung des Crawlings und der Indexierung durch den Googlebot
(in Englisch) erhalten und
in unseren
Foren für Webmaster
nachfragen oder einen unserer
Hangouts während der Geschäftszeiten der Webmaster-Zentrale
besuchen.
Post von Zhijian He, Smartphone Search Engineer (Veröffentlicht von
Johannes Mehlem
, Search Quality Team)
Labels
#NoHacked
2
2017
1
Accessibility
13
AJAX
1
AMP
7
Android
2
api
1
App-Indexierung
3
Best Practices
99
Bildersuche
2
captcha
1
Chrome
4
Code
12
Crawling
1
Crawling und Indexierung
125
Diskussionsforum
15
Duplicate Content
17
Dynamic Rendering
1
Einsteiger
8
Event
1
Geo-Targeting
11
Google Analytics
6
Google Dance
1
Google News
1
Google Places
4
Google-Assistant
1
Google-Suche
59
Google+
9
Hacking
16
Hangouts
1
https
3
JavaScript
3
Kanonische URL
1
Kommentare
1
Konferenz
19
Lighthouse
3
Links
18
Malware
17
Mobile
38
Mobile-first indexing
1
Nachrichten-Center
16
Optimisation
3
PageSpeed Insights
2
Penalties
1
Performance
3
Ranking
1
reCaptcha v3
1
Rendering
2
Rich Snippets
18
Richtlinien für Webmaster
36
robots.txt
7
Safe Browsing
5
Search Console
18
Search Results
1
Security
4
Seitenzugriff
1
SEO
4
Sicherheit
38
Site Clinic
5
Sitemaps
30
Spam Report
9
SSL
1
Structured Data
7
Tools und Gadgets
17
Verschlüsselung
1
Video
132
Webmaster blog
1
Webmaster Community
1
Webmaster-Academy
1
Webmaster-Tools
154
webspam
3
Archiv
2019
Feb
Jan
2018
Dez
Nov
Okt
Sep
Jul
Jun
Mai
Apr
Feb
Jan
2017
Dez
Nov
Jun
Apr
Mär
Jan
2016
Nov
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Jan
2015
Dez
Nov
Okt
Sep
Aug
Jul
Mai
Apr
Mär
Feb
Jan
2014
Nov
Okt
Sep
Aug
Jun
Mai
Apr
Mär
Feb
Jan
2013
Dez
Nov
Okt
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2012
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2011
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2010
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2009
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2008
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2007
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feed
Forum für Webmaster
Webmaster-Sprechstunden
Webmaster-Tools-Hilfe
Developers-Site für Webmaster
