in case you don't speak German, your question might be better placed at our English webmaster blog :) (http://googlewebmastercentral.blogspot.com/2014/01/a-new-googlebot-user-agent-for-crawling.html)
Regarding your question: As mentioned in the blogpost, the new user-agents do observe the robots.txt as highlighted with the examples.
Could you give an example where in your opinion this is not happening?
Ich spreche durchaus Deutsch als Muttersprache (nur zur Info). ZITAT: "Unseren internen Analysen zufolge wirkt sich dieses Update auf weniger als 0,001 % der URLs aus."
Unsere Seite / System gehört genau zu diese 0,001 %. Aus Sicherheitsgründen werden bei jeder Session (zu beginn) diverse angaben geprüft. Darunter, aufgrund der Multi-Language Auslegung, die http_accept_language die bei den Google Bots fehlt. Darum gibt es mehrere Ausnahme Regelungen für Bots. Diese greifen aber NUR wenn die Kennung des BOTs erkannt wird und diese als erlaubt gekennzeichnet ist. (Diese ändert in keiner weise etwas an der Seitenansicht.)
Und genau bei der Erkennung geht es schon los. Die NEUE Kennung muss erst eingepflegt werden. Solange diese nicht geschehen ist hat jeder Aufruf mit unzureichenden Angaben NEGATIVE Folgen für die IP. Diese ist beabsichtigt und Teil der Spam/ Illegal Crawler Abwehr und geschieht zu unserer Sicherheit.
Das ist nach 01.01.2013 bereits der 2te Fall. 2013/01/01 * fix issue with Google Web Preview IDs old: Mozilla/5.0 (en-us) AppleWebKit/525.13 (KHTML, like+Gecko; Google+Web+Preview) Version/3.1+Safari/525.13 new: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.4 (KHTML, like Gecko; Google Web Preview) Chrome/22.0.1229 Safari/537.4
Kommentare :
nice that the "new" Mobile Bot no longer respected the Robots file!
2014-02-12 17:33:40 *.*.*.* GET / 66.249.74.117
Mozilla/5.0+(iPhone;+CPU+iPhone+OS+6_0+like+Mac+OS+X)+AppleWebKit/536.26+(KHTML,+like+Gecko)+Version/6.0+Mobile/10A5376e+Safari/8536.25+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
- 403
Comments by a Google employee? Or should I block an IP range (is no problem!)?
Hello,
in case you don't speak German, your question might be better placed at our English webmaster blog :) (http://googlewebmastercentral.blogspot.com/2014/01/a-new-googlebot-user-agent-for-crawling.html)
Regarding your question:
As mentioned in the blogpost, the new user-agents do observe the robots.txt as highlighted with the examples.
Could you give an example where in your opinion this is not happening?
Thanks,
Sven
Ich spreche durchaus Deutsch als Muttersprache (nur zur Info).
ZITAT:
"Unseren internen Analysen zufolge wirkt sich dieses Update auf weniger als 0,001 % der URLs aus."
Unsere Seite / System gehört genau zu diese 0,001 %.
Aus Sicherheitsgründen werden bei jeder Session (zu beginn) diverse angaben geprüft. Darunter, aufgrund der Multi-Language Auslegung, die http_accept_language die bei den Google Bots fehlt. Darum gibt es mehrere Ausnahme Regelungen für Bots. Diese greifen aber NUR wenn die Kennung des BOTs erkannt wird und diese als erlaubt gekennzeichnet ist. (Diese ändert in keiner weise etwas an der Seitenansicht.)
Und genau bei der Erkennung geht es schon los. Die NEUE Kennung muss erst eingepflegt werden.
Solange diese nicht geschehen ist hat jeder Aufruf mit unzureichenden Angaben NEGATIVE Folgen für die IP. Diese ist beabsichtigt und Teil der Spam/ Illegal Crawler Abwehr und geschieht zu unserer Sicherheit.
Das ist nach 01.01.2013 bereits der 2te Fall.
2013/01/01
* fix issue with Google Web Preview IDs
old: Mozilla/5.0 (en-us) AppleWebKit/525.13 (KHTML, like+Gecko;
Google+Web+Preview) Version/3.1+Safari/525.13
new: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.4 (KHTML, like
Gecko; Google Web Preview) Chrome/22.0.1229 Safari/537.4
Kommentar veröffentlichen