Nochmal das ganze... Die Software hat die spitzen Klammern und alles darin gelöscht...
Im Webmaster-Forum habe ich das schon öfter 'mal erwähnt. Hier ist es auch gut aufgehoben.
Frage: Wie kann ich eine PDF-Datei oder eine andere Datei für den Cache oder die Aufnahme in den Index sperren, wo ich keine meta-Tags benutzen kann?
Antwort: In der robots.txt können zum Beispiel nur PDF-Dateien wie folgt gesperrt werden (Google™ interpretiert das richtig):
User-agent: * Disallow: /*.pdf$
Sofern ihr einen Apache-Webserver betreibt und mod_headers.c in der Konfiguration eingebunden ist, hilft dieser Eintrag in der .htaccess-Datei (wenn ihr Zugriff darauf habt, die Nutzung gestattet ist und die richtigen Rechte gesetzt sind):
Das entspricht dem bekannten meta-Tag für HTML-Dokumente, nur dass die Angabe hier über die header-Antwort des Servers gesendet wird. Das respektiert Google™ jedoch genau so gut.
Der reguläre Ausdruck (regexp) "\.pdf$" lässt sich auch auf besondere Fälle anpassen.
Wird im X-Robots-Header nur "noarchive" benutzt, wird damit lediglich die Übernahme in den oder der Verbleib im Cache unterbunden, während der Eintrag im Index erhalten bleiben kann.
Ein paar Fragen drängen sich mir allerdings noch auf.
Wir haben momentan mit unserer Website das massive Problem, dass zeitweise über 25.000 Webseiten unter "Crawling-Fehler" als nicht gefunden angezeigt wurden.
Dabei handelt es sich allerdings größtenteils um Inhalte welche teilweise bereits schon seit 1,5-2 Jahren gar nicht mehr vorhanden sind und auch einen 404-Fehler aussenden.
In verschiedenen SEO-Foren wird übereinstimmend berichtet, dass dieses Phänomen momentan bei vielen Seiten auftritt.
Woher kommen diese Fehler auf einmal? Hat dies unter Umständen etwas mit dem Caffeine-Update zu tun?
Ein weiterer Punkt ist, dass wir vor gut 3 Jahren eine automatisch über die Webmaster-Tools versandte E-Mail erhalten haben in der ein Warnhinweis vorhanden war, dass zu viele Webseiten nicht gefunden werden können.
Leider habe ich diese E-Mail nicht mehr und bin mir daher nicht sicher ob u.U. auch veraltete Adressen in unserer XML-Sitemap vorhanden waren.
Generell besteht bei uns das Problem, dass sich auf unserer Website ständig viele Daten ändern (wir sind ein Online-Telefonbuch). D.h. es ist oft erforderlich komplette Datensätze zu löschen, um nicht gegen den Datenschutz zu verstoßen.
Inwiefern können in diesem Zusammenhang in Masse auftretende 404-Fehlermeldungen Auswirkung negative Auswirkungen auf Crawling und Indizierung haben (siehe angesprochene automatisch versandte E-Mail).
Werden 404-Status auf irgend eine Weise anders behandelt als 410-Status?
Was ist Momentan mit dem Sitebefehl los? Wann wird wieder die korrekte Anzahl indizierter URLs angezeigt? Oder ist dies u.U. nicht mehr erwünscht?
Derzeit kann man sich dessen ja noch mit "INURL:" behelfen allerdings erschwert die derzeit komplett aus dem Ruder laufende Abfrage das Monitoring erheblich.
Super Sache mit dem Video - gefällt mir gut, das so präsentiert zu bekommen und man versteht es so auch besser. Allerdings würde ich es mir bisschen kürzer wünschen, weil 10min war schon recht lang.
Meine Frage für eine der nächsten Sessions: Google Bildersuche - was kann man tun, damit Bilder auf den eigenen Seiten dort aufgenommen werden? Was bringen in dem Zus.hang Image-Sitemaps?
Bin gespannt auf Video Nr. 2 zum Entfernen von Inhalten auf fremden Webseiten.
wenn auf deiner Website häufiger mal Seiten entfernt werden und diese dann ggf. mit Crawling-Fehlern in den Webmaster-Tools auftauchen, dann ist das in der Regel kein Problem. Solange es sich bei den Crawling-Fehlern nicht um Seiten handelt, die weiterhin existieren und die du den Usern weiterhin bereitstellen willst, ist das nichts worüber man sich Sorgen machen braucht.
Prinzipiell ist es sicher eine gute Idee, alle veralteten URLs aus der Sitemap zu entfernen und, wenn möglich, alle internen Links auf diese Seiten zu entfernen.
404 vs. 410: Der 410-Status ist ein etwas "stärkeres" Signal, dass eine Seite tatsächlich nicht mehr vorhanden ist. Bei einer 404-Meldung besteht ja noch eine gewisse Wahrscheinlichkeit, dass dieser Zustand nur zeitweise vorliegt. Für das Verschwinden aus den Suchergebnissen bei solchen Seiten bedeutet das eigentlich nur, dass es bei einem 410-Status meist ein wenig schneller passiert - im Endeffekt aber keinen großen Unterschied ausmacht.
Wegen der Site:-Suche: Eine Suche mit dem site:-Befehl liefert lediglich eine grobe Anzahl der indexierten Seiten einer Website - eine genauere Zahl bezüglich der Seiten, die du indexiert haben möchtest, kannst du in den Webmaster-Tools im Bereich der XML-Sitemap finden.
das Problem von Sven scheint immer aktueller zu werden: Ich habe es auch, und finde in den entsprechenden Foren immer nur Leute, die das gleiche Problem, aber keine Lösung haben.
Hier z.B. ist es nochmal sehr detailliert beschrieben: http://www.google.es/support/forum/p/webmasters/thread?tid=529dbe229cf4d50f&hl=de&fid=529dbe229cf4d50f0004a1ace462fd7e
Was aber kann man tun? Wir haben derzeit ca. 8000 Seiten in den Crawling-Fehlern. Wann aber verschwinden die endgültig?
Wie die reingekommen sind weiss ich: Es wurden versehentlich Parameter-URLs indexiert - aber wieviele? Das ist mein zweites Rätsel.
Kommentare :
Hallo!
Nochmal das ganze... Die Software hat die spitzen Klammern und alles darin gelöscht...
Im Webmaster-Forum habe ich das schon öfter 'mal erwähnt. Hier ist es auch gut aufgehoben.
Frage: Wie kann ich eine PDF-Datei oder eine andere Datei für den Cache oder die Aufnahme in den Index sperren, wo ich keine meta-Tags benutzen kann?
Antwort:
In der robots.txt können zum Beispiel nur PDF-Dateien wie folgt gesperrt werden (Google™ interpretiert das richtig):
User-agent: *
Disallow: /*.pdf$
Sofern ihr einen Apache-Webserver betreibt und mod_headers.c in der Konfiguration eingebunden ist, hilft dieser Eintrag in der .htaccess-Datei (wenn ihr Zugriff darauf habt, die Nutzung gestattet ist und die richtigen Rechte gesetzt sind):
{IfModule mod_headers.c}
{FilesMatch "\.pdf$"}
Header append X-Robots-Tag "noindex, noarchive, nofollow"
{/FilesMatch}
{/IfModule}
(geschweifte Klammern bitte durch spitze ersetzen)
Das entspricht dem bekannten meta-Tag für HTML-Dokumente, nur dass die Angabe hier über die header-Antwort des Servers gesendet wird. Das respektiert Google™ jedoch genau so gut.
Der reguläre Ausdruck (regexp) "\.pdf$" lässt sich auch auf besondere Fälle anpassen.
Wird im X-Robots-Header nur "noarchive" benutzt, wird damit lediglich die Übernahme in den oder der Verbleib im Cache unterbunden, während der Eintrag im Index erhalten bleiben kann.
Freundliche Grüße, Thomas
Hallo Thomas,
danke für den Kommentar!
Ist eine ausgezeichnete Ergänzung zum Post und auf jeden Fall sehr hilfreich :)
Grüße,
Sven
Hallo Sven,
danke für die Bereitstellung des Videos.
Ein paar Fragen drängen sich mir allerdings noch auf.
Wir haben momentan mit unserer Website das massive Problem, dass zeitweise über 25.000 Webseiten unter "Crawling-Fehler" als nicht gefunden angezeigt wurden.
Dabei handelt es sich allerdings größtenteils um Inhalte welche teilweise bereits schon seit 1,5-2 Jahren gar nicht mehr vorhanden sind und auch einen 404-Fehler aussenden.
In verschiedenen SEO-Foren wird übereinstimmend berichtet, dass dieses Phänomen momentan bei vielen Seiten auftritt.
Woher kommen diese Fehler auf einmal? Hat dies unter Umständen etwas mit dem Caffeine-Update zu tun?
Ein weiterer Punkt ist, dass wir vor gut 3 Jahren eine automatisch über die Webmaster-Tools versandte E-Mail erhalten haben in der ein Warnhinweis vorhanden war, dass zu viele Webseiten nicht gefunden werden können.
Leider habe ich diese E-Mail nicht mehr und bin mir daher nicht sicher ob u.U. auch veraltete Adressen in unserer XML-Sitemap vorhanden waren.
Generell besteht bei uns das Problem, dass sich auf unserer Website ständig viele Daten ändern (wir sind ein Online-Telefonbuch). D.h. es ist oft erforderlich komplette Datensätze zu löschen, um nicht gegen den Datenschutz zu verstoßen.
Inwiefern können in diesem Zusammenhang in Masse auftretende 404-Fehlermeldungen Auswirkung negative Auswirkungen auf Crawling und Indizierung haben (siehe angesprochene automatisch versandte E-Mail).
Werden 404-Status auf irgend eine Weise anders behandelt als 410-Status?
Was ist Momentan mit dem Sitebefehl los? Wann wird wieder die korrekte Anzahl indizierter URLs angezeigt? Oder ist dies u.U. nicht mehr erwünscht?
Derzeit kann man sich dessen ja noch mit "INURL:" behelfen allerdings erschwert die derzeit komplett aus dem Ruder laufende Abfrage das Monitoring erheblich.
Vielen Dank im Voraus für deine Antwort.
Beste Grüße
Dominic
Super Sache mit dem Video - gefällt mir gut, das so präsentiert zu bekommen und man versteht es so auch besser. Allerdings würde ich es mir bisschen kürzer wünschen, weil 10min war schon recht lang.
Meine Frage für eine der nächsten Sessions: Google Bildersuche - was kann man tun, damit Bilder auf den eigenen Seiten dort aufgenommen werden? Was bringen in dem Zus.hang Image-Sitemaps?
Bin gespannt auf Video Nr. 2 zum Entfernen von Inhalten auf fremden Webseiten.
Hi Dominic,
wenn auf deiner Website häufiger mal Seiten entfernt werden und diese dann ggf. mit Crawling-Fehlern in den Webmaster-Tools auftauchen, dann ist das in der Regel kein Problem. Solange es sich bei den Crawling-Fehlern nicht um Seiten handelt, die weiterhin existieren und die du den Usern weiterhin bereitstellen willst, ist das nichts worüber man sich Sorgen machen braucht.
Prinzipiell ist es sicher eine gute Idee, alle veralteten URLs aus der Sitemap zu entfernen und, wenn möglich, alle internen Links auf diese Seiten zu entfernen.
404 vs. 410: Der 410-Status ist ein etwas "stärkeres" Signal, dass eine Seite tatsächlich nicht mehr vorhanden ist. Bei einer 404-Meldung besteht ja noch eine gewisse Wahrscheinlichkeit, dass dieser Zustand nur zeitweise vorliegt.
Für das Verschwinden aus den Suchergebnissen bei solchen Seiten bedeutet das eigentlich nur, dass es bei einem 410-Status meist ein wenig schneller passiert - im Endeffekt aber keinen großen Unterschied ausmacht.
Wegen der Site:-Suche: Eine Suche mit dem site:-Befehl liefert lediglich eine grobe Anzahl der indexierten Seiten einer Website - eine genauere Zahl bezüglich der Seiten, die du indexiert haben möchtest, kannst du in den Webmaster-Tools im Bereich der XML-Sitemap finden.
Grüße,
Sven
Hallo liebes Search Quality-Team,
das Problem von Sven scheint immer aktueller zu werden: Ich habe es auch, und finde in den entsprechenden Foren immer nur Leute, die das gleiche Problem, aber keine Lösung haben.
Hier z.B. ist es nochmal sehr detailliert beschrieben:
http://www.google.es/support/forum/p/webmasters/thread?tid=529dbe229cf4d50f&hl=de&fid=529dbe229cf4d50f0004a1ace462fd7e
Was aber kann man tun?
Wir haben derzeit ca. 8000 Seiten in den Crawling-Fehlern.
Wann aber verschwinden die endgültig?
Wie die reingekommen sind weiss ich: Es wurden versehentlich Parameter-URLs indexiert - aber wieviele? Das ist mein zweites Rätsel.
Ich freue mich auf einen Tipp!
Liebe Grüße
WebMeister77
Kommentar veröffentlichen