Webmaster-Zentrale Blog
Offizielle Informationen zum Crawling und zur Indexierung von Webseiten und News für Webmaster
Das Crawling neuer URLs über Feeds
Montag, 2. November 2009
Google verwendet unzählige Quellen, um neue Seiten im Netz ausfindig zu machen. Dazu gehören etwa Links, auf die wir im Netz stoßen, oder Seiten, die wir über das
Tool zum Hinzufügen von URLs
entdecken. Unser Ziel ist es, neue Seiten schnell zu entdecken, damit User diesen Content möglichst schnell in den Google-Suchergebnissen finden können. Vor kurzem haben wir ein Feature gelauncht, das RSS- und Atom-Feeds nutzt, um neue Seiten zu entdecken.
RSS/Atom-Feeds haben sich in den letzten Jahren als sehr beliebt erwiesen, wenn es darum ging, neuen Content anzubieten. Sie bieten Lesern die Möglichkeit, sich über neuen Content verschiedener Websites zu informieren. Die Verwendung von Feeds erlaubt es uns, neue Seiten schneller in den Index aufzunehmen als über traditionelles Crawling. Wir können viele potentielle Quellen nutzen, um auf Updates aus Feeds zuzugreifen. Dazu gehören Reader, Benachrichtigungsdienste oder das direkte Crawling der Feeds. In Zukunft könnten wir auch Protokolle wie
PubSubHubbub
verwenden, um Updates von Seiten zu registrieren.
Damit wir eure RSS/Atom-Feeds benutzen können, ist es wichtig, dass ihr das Crawling dieser Dateien nicht über
robots.txt
verbietet. Um herauszufinden, ob der Googlebot eure Feeds crawlen kann und so eure Seiten so schnell wie möglich entdeckt, verwendet für eure Feed-URLs. Mithilfe des
robots.txt-Testers in den Google Webmaster-Tools
könnt ihr feststellen, ob der Googlebot eure Feeds crawlen und so eure Seiten so schnell wie möglich entdecken kann.
Using RSS/Atom feeds to discover new URLs (English version)
Post von Raymond Lo, Guhan Viswanathan, und Dave Weissman, Crawl and Indexing Team (Übersetzung von Jörg, Search Quality Team)
Labels
#NoHacked
2
2017
1
Accessibility
13
AJAX
1
AMP
7
Android
2
api
1
App-Indexierung
3
Best Practices
99
Bildersuche
2
captcha
1
Chrome
4
Code
12
Crawling
1
Crawling und Indexierung
126
Diskussionsforum
15
Duplicate Content
17
Dynamic Rendering
1
Einsteiger
8
Event
1
events
1
Feedback
1
Geo-Targeting
11
Google Analytics
6
Google Dance
1
Google News
1
Google Places
4
Google-Assistant
1
Google-Suche
59
Google+
9
Hacking
16
Hangouts
1
https
3
JavaScript
3
Kanonische URL
1
Kommentare
1
Konferenz
19
Lighthouse
3
Links
18
Malware
17
Mobile
38
Mobile-first indexing
1
Nachrichten-Center
16
Optimisation
3
PageSpeed Insights
2
Penalties
1
Performance
3
Ranking
1
reCaptcha v3
1
Rendering
2
Rich Snippets
18
Richtlinien für Webmaster
36
robots.txt
7
Safe Browsing
5
Search Console
19
Search Results
1
Security
4
Seitenzugriff
1
SEO
4
Sicherheit
38
Site Clinic
5
Sitemaps
30
Spam Report
9
SSL
1
Structured Data
8
Tools und Gadgets
17
Verschlüsselung
1
Video
132
Webmaster blog
1
Webmaster Community
1
Webmaster-Academy
1
Webmaster-Tools
154
webspam
3
Archiv
2020
Nov.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
2019
Dez.
Nov.
Okt.
Sept.
Juni
Mai
Feb.
Jan.
2018
Dez.
Nov.
Okt.
Sept.
Juli
Juni
Mai
Apr.
Feb.
Jan.
2017
Dez.
Nov.
Juni
Apr.
März
Jan.
2016
Nov.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Jan.
2015
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Mai
Apr.
März
Feb.
Jan.
2014
Nov.
Okt.
Sept.
Aug.
Juni
Mai
Apr.
März
Feb.
Jan.
2013
Dez.
Nov.
Okt.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2012
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2011
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2010
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2009
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2008
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2007
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feed
Forum für Webmaster
Webmaster-Sprechstunden
Webmaster-Tools-Hilfe
Developers-Site für Webmaster
