Webmaster-Zentrale Blog
Offizielle Informationen zum Crawling und zur Indexierung von Webseiten und News für Webmaster
Das Crawling neuer URLs über Feeds
Montag, 2. November 2009
Google verwendet unzählige Quellen, um neue Seiten im Netz ausfindig zu machen. Dazu gehören etwa Links, auf die wir im Netz stoßen, oder Seiten, die wir über das
Tool zum Hinzufügen von URLs
entdecken. Unser Ziel ist es, neue Seiten schnell zu entdecken, damit User diesen Content möglichst schnell in den Google-Suchergebnissen finden können. Vor kurzem haben wir ein Feature gelauncht, das RSS- und Atom-Feeds nutzt, um neue Seiten zu entdecken.
RSS/Atom-Feeds haben sich in den letzten Jahren als sehr beliebt erwiesen, wenn es darum ging, neuen Content anzubieten. Sie bieten Lesern die Möglichkeit, sich über neuen Content verschiedener Websites zu informieren. Die Verwendung von Feeds erlaubt es uns, neue Seiten schneller in den Index aufzunehmen als über traditionelles Crawling. Wir können viele potentielle Quellen nutzen, um auf Updates aus Feeds zuzugreifen. Dazu gehören Reader, Benachrichtigungsdienste oder das direkte Crawling der Feeds. In Zukunft könnten wir auch Protokolle wie
PubSubHubbub
verwenden, um Updates von Seiten zu registrieren.
Damit wir eure RSS/Atom-Feeds benutzen können, ist es wichtig, dass ihr das Crawling dieser Dateien nicht über
robots.txt
verbietet. Um herauszufinden, ob der Googlebot eure Feeds crawlen kann und so eure Seiten so schnell wie möglich entdeckt, verwendet für eure Feed-URLs. Mithilfe des
robots.txt-Testers in den Google Webmaster-Tools
könnt ihr feststellen, ob der Googlebot eure Feeds crawlen und so eure Seiten so schnell wie möglich entdecken kann.
Using RSS/Atom feeds to discover new URLs (English version)
Post von Raymond Lo, Guhan Viswanathan, und Dave Weissman, Crawl and Indexing Team (Übersetzung von Jörg, Search Quality Team)
Labels
#NoHacked
2
2017
1
Accessibility
13
AJAX
1
AMP
7
Android
2
api
1
App-Indexierung
3
Best Practices
99
Bildersuche
2
captcha
1
Chrome
4
Code
12
Crawling
1
Crawling und Indexierung
126
Diskussionsforum
15
Duplicate Content
17
Dynamic Rendering
1
Einsteiger
8
Event
1
events
1
Feedback
1
Geo-Targeting
11
Google Analytics
6
Google Dance
1
Google News
1
Google Places
4
Google-Assistant
1
Google-Suche
59
Google+
9
Hacking
16
Hangouts
1
https
3
JavaScript
3
Kanonische URL
1
Kommentare
1
Konferenz
19
Lighthouse
3
Links
18
Malware
17
Mobile
38
Mobile-first indexing
1
Nachrichten-Center
16
Optimisation
3
PageSpeed Insights
2
Penalties
1
Performance
3
Ranking
1
reCaptcha v3
1
Rendering
2
Rich Snippets
18
Richtlinien für Webmaster
36
robots.txt
7
Safe Browsing
5
Search Console
19
Search Results
1
Security
4
Seitenzugriff
1
SEO
4
Sicherheit
38
Site Clinic
5
Sitemaps
30
Spam Report
9
SSL
1
Structured Data
8
Tools und Gadgets
17
Verschlüsselung
1
Video
132
Webmaster blog
1
Webmaster Community
1
Webmaster-Academy
1
Webmaster-Tools
154
webspam
3
Archiv
2020
Mär
Feb
2019
Dez
Nov
Okt
Sep
Jun
Mai
Feb
Jan
2018
Dez
Nov
Okt
Sep
Jul
Jun
Mai
Apr
Feb
Jan
2017
Dez
Nov
Jun
Apr
Mär
Jan
2016
Nov
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Jan
2015
Dez
Nov
Okt
Sep
Aug
Jul
Mai
Apr
Mär
Feb
Jan
2014
Nov
Okt
Sep
Aug
Jun
Mai
Apr
Mär
Feb
Jan
2013
Dez
Nov
Okt
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2012
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2011
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2010
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2009
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2008
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feb
Jan
2007
Dez
Nov
Okt
Sep
Aug
Jul
Jun
Mai
Apr
Mär
Feed
Forum für Webmaster
Webmaster-Sprechstunden
Webmaster-Tools-Hilfe
Developers-Site für Webmaster
