Webmaster-Zentrale Blog
Offizielle Informationen zum Crawling und zur Indexierung von Webseiten und News für Webmaster
Das Crawling neuer URLs über Feeds
Montag, 2. November 2009
Google verwendet unzählige Quellen, um neue Seiten im Netz ausfindig zu machen. Dazu gehören etwa Links, auf die wir im Netz stoßen, oder Seiten, die wir über das
Tool zum Hinzufügen von URLs
entdecken. Unser Ziel ist es, neue Seiten schnell zu entdecken, damit User diesen Content möglichst schnell in den Google-Suchergebnissen finden können. Vor kurzem haben wir ein Feature gelauncht, das RSS- und Atom-Feeds nutzt, um neue Seiten zu entdecken.
RSS/Atom-Feeds haben sich in den letzten Jahren als sehr beliebt erwiesen, wenn es darum ging, neuen Content anzubieten. Sie bieten Lesern die Möglichkeit, sich über neuen Content verschiedener Websites zu informieren. Die Verwendung von Feeds erlaubt es uns, neue Seiten schneller in den Index aufzunehmen als über traditionelles Crawling. Wir können viele potentielle Quellen nutzen, um auf Updates aus Feeds zuzugreifen. Dazu gehören Reader, Benachrichtigungsdienste oder das direkte Crawling der Feeds. In Zukunft könnten wir auch Protokolle wie
PubSubHubbub
verwenden, um Updates von Seiten zu registrieren.
Damit wir eure RSS/Atom-Feeds benutzen können, ist es wichtig, dass ihr das Crawling dieser Dateien nicht über
robots.txt
verbietet. Um herauszufinden, ob der Googlebot eure Feeds crawlen kann und so eure Seiten so schnell wie möglich entdeckt, verwendet für eure Feed-URLs. Mithilfe des
robots.txt-Testers in den Google Webmaster-Tools
könnt ihr feststellen, ob der Googlebot eure Feeds crawlen und so eure Seiten so schnell wie möglich entdecken kann.
Using RSS/Atom feeds to discover new URLs (English version)
Post von Raymond Lo, Guhan Viswanathan, und Dave Weissman, Crawl and Indexing Team (Übersetzung von Jörg, Search Quality Team)
Keine Kommentare :
Kommentar veröffentlichen
Labels
Accessibility
13
AMP
5
Android
2
api
1
App-Indexierung
3
Best Practices
95
Code
12
Crawling und Indexierung
119
Diskussionsforum
13
Duplicate Content
17
Einsteiger
8
Geo-Targeting
11
Google Analytics
6
Google Places
4
Google-Suche
55
Google+
9
Hacking
11
https
1
JavaScript
2
Konferenz
19
Links
17
Malware
17
Mobile
32
Nachrichten-Center
16
Penalties
1
Performance
1
Rich Snippets
14
Richtlinien für Webmaster
33
robots.txt
7
Safe Browsing
4
Search Console
10
Sicherheit
30
Site Clinic
5
Sitemaps
30
Spam Report
6
Structured Data
2
Tools und Gadgets
17
Video
132
Webmaster-Academy
1
Webmaster-Tools
153
Archiv
2016
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Jan
2015
Dez
Nov
Okt
Sep
Aug
Jul
Mai
Apr
Mär
Feb
Jan
2014
Nov
Okt
Sep
Aug
Jun
Mai
Apr
Mär
Feb
Jan
2013
Dez
Nov
Okt
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2012
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2011
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2010
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2009
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2008
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2007
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feed
Forum für Webmaster
Webmaster-Sprechstunden
Webmaster-Tools-Hilfe
Developers-Site für Webmaster
Keine Kommentare :
Kommentar veröffentlichen