Webmaster-Zentrale Blog
Offizielle Informationen zum Crawling und zur Indexierung von Webseiten und News für Webmaster
Sprecht die Sprache der Suchroboter
Freitag, 28. März 2008
Wir alle wissen,
wie freundlich Googlebot ist
. Wie alle wohlwollenden Roboter hört er auf uns und respektiert unser Anliegen, wenn Teile unserer Site nicht gecrawlt werden sollen. Wir können ihm einfach eine robots.txt-Datei bereitstellen und er wird sich gerne danach richten. Aber was ist, wenn euch der Gedanke, direkt mit dem Googlebot zu kommunizieren, etwas Angst einjagt? Schließlich sprechen nicht alle von uns fließend die
robots.txt
-Sprache. Aus diesem Grund sind wir froh, euch euren persönlichen Übersetzer für den Suchroboter vorzustellen: Der robots.txt-Generator in den
Webmaster-Tools
.
Das Tool wurde entwickelt, damit ihr eine einfache und interaktive Möglichkeit habt, eine robots.txt-Datei zu erstellen. Im einfachsten Fall müsst ihr nur die Dateien und Verzeichnisse angeben, die nicht von den Suchrobotern gecrawlt werden sollen.
Falls benötigt, könnt ihr auch detaillierte Regeln für bestimmte Suchroboter und Teile eurer Site festlegen.
Wenn ihr mit dem Generator-Tool eine robots.txt-Datei erstellt habt, könnt ihr die Wirkung dieser Datei anschließend mit unserem
Analyse-Tool für robots.txt-Dateien
überprüfen. Wenn ihr damit fertig seid, könnt ihr die erzeugte Datei einfach im Root-Verzeichnis eurer Site speichern und alles sollte dann wie gewünscht funktionieren. Hier sind einige wichtige Punkte, die ihr bei der Arbeit mit robots.txt-Dateien beachten solltet:
Nicht alle Suchmaschinen unterstützen jeden Eintrag in der robots.txt-Datei
Der robots.txt-Generator erzeugt Dateien, die von Googlebot und ebenso von den meisten größeren Suchrobotern korrekt interpretiert werden. Es kann jedoch vorkommen, dass einzelne Suchroboter nicht alle vom robots.txt-Generator verwendeten Features verstehen.
Die robots.txt-Datei ist lediglich eine Anfrage
Auch wenn man es für die bekannten Suchmaschinen mit großer Wahrscheinlichkeit ausschließen kann, gibt es doch einige skrupellose Suchroboter, die sich nicht an alle Anweisungen in der robots.txt-Datei halten und Inhalte crawlen, die eigentlich vom Crawling ausgeschlossen sind. Falls ihr sensible Daten habt, die ihr auf jeden Fall schützen wollt, solltet ihr diesen Content mittels eines passwortgesicherten Verzeichnisses schützen und euch nicht auf die robots.txt-Datei verlassen.
Wir hoffen, dass euch dieses Tool dabei hilft, Googlebot und anderen Suchrobotern eure Wünsche bezüglich des Crawlings mitzuteilen. Weitere Informationen zu den robots.txt-Dateien findet ihr in unserer
Hilfe für Webmaster
. Um weiter über robots.txt-Dateien und Bots zu diskutieren, könnt ihr unser
Forum für Webmaster
besuchen.
Speaking the language of robots (
English version
)
Post von Sean Harding, Webmaster Tools Team (Übersetzung von Sven, Search Quality)
Labels
#NoHacked
2
2017
1
Accessibility
13
AJAX
1
AMP
7
Android
2
api
1
App-Indexierung
3
Best Practices
99
Bildersuche
2
captcha
1
Chrome
4
Code
12
Crawling
1
Crawling und Indexierung
126
Diskussionsforum
15
Duplicate Content
17
Dynamic Rendering
1
Einsteiger
8
Event
1
events
1
Feedback
1
Geo-Targeting
11
Google Analytics
6
Google Dance
1
Google News
1
Google Places
4
Google-Assistant
1
Google-Suche
59
Google+
9
Hacking
16
Hangouts
1
https
3
JavaScript
3
Kanonische URL
1
Kommentare
1
Konferenz
19
Lighthouse
3
Links
18
Malware
17
Mobile
38
Mobile-first indexing
1
Nachrichten-Center
16
Optimisation
3
PageSpeed Insights
2
Penalties
1
Performance
3
Ranking
1
reCaptcha v3
1
Rendering
2
Rich Snippets
18
Richtlinien für Webmaster
36
robots.txt
7
Safe Browsing
5
Search Console
19
Search Results
1
Security
4
Seitenzugriff
1
SEO
4
Sicherheit
38
Site Clinic
5
Sitemaps
30
Spam Report
9
SSL
1
Structured Data
8
Tools und Gadgets
17
Verschlüsselung
1
Video
132
Webmaster blog
1
Webmaster Community
1
Webmaster-Academy
1
Webmaster-Tools
154
webspam
3
Archiv
2020
Nov.
Sep.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
2019
Dez.
Nov.
Okt.
Sep.
Juni
Mai
Feb.
Jan.
2018
Dez.
Nov.
Okt.
Sep.
Juli
Juni
Mai
Apr.
Feb.
Jan.
2017
Dez.
Nov.
Juni
Apr.
März
Jan.
2016
Nov.
Sep.
Aug.
Juli
Juni
Mai
Apr.
März
Jan.
2015
Dez.
Nov.
Okt.
Sep.
Aug.
Juli
Mai
Apr.
März
Feb.
Jan.
2014
Nov.
Okt.
Sep.
Aug.
Juni
Mai
Apr.
März
Feb.
Jan.
2013
Dez.
Nov.
Okt.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2012
Dez.
Nov.
Okt.
Sep.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2011
Dez.
Nov.
Okt.
Sep.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2010
Dez.
Nov.
Okt.
Sep.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2009
Dez.
Nov.
Okt.
Sep.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2008
Dez.
Nov.
Okt.
Sep.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2007
Dez.
Nov.
Okt.
Sep.
Aug.
Juli
Juni
Mai
Apr.
März
Feed
Forum für Webmaster
Webmaster-Sprechstunden
Webmaster-Tools-Hilfe
Developers-Site für Webmaster
