Heute beantwortet Matt Cutts eine Webmaster-Frage zum Thema robots.txt. Eine robots.txt-Datei ist nützlich, um das Crawling und Indexieren des Contents durch Suchmaschinen zu steuern und einzuschränken. Ist eine robots.txt-Datei jedoch auch nötig, wenn man überhaupt keine Crawling-Einschränkungen haben möchte?
Kommentare :
hey, das trifft sich gut: ich hab heute einen robots.txt checker veröffentlicht http://www.franz-enzenhofer.com/robotstxt im grundegenommen eine robots.txt spezifizieren, ein paar URLs zum testen angeben und dann schaun ob diese erlaubt oder geblockt sind. mit nen coolen bookmarklet um das einfach auch auf live siten zu testen. basierend auf der google spec der robots.txt
Wieder ein äusserst nützlicher Beitrag.
Habe den Rat befolgt und leere robots.txt's hochgeladen.
Bin nun die vielen 404er-Meldungen zur robots.txt los.
Nochmal vielen Dank!
Vielen Dank für ihren Hinweis. Ich habe jetzt mal sicherheitshalber eine robots.txt auf alle meine Seiten geladen.
echt ein klasse beitrag!
als neueinsteiger im websiteerstellen hätte ich daran erstmal garnicht gedacht.
lg
http://pepsie.bittiecatty.com/
Kommentar veröffentlichen