Webmaster-Zentrale Blog
Offizielle Informationen zum Crawling und zur Indexierung von Webseiten und News für Webmaster
Duplicate Content aufgrund von Scraper-Sites
Montag, 9. Juni 2008
Das Thema Duplicate Content wird bei vielen Webmastern immer noch rege diskutiert, daher möchte ich hier auf einige häufige Fragen eingehen, die ihr auf Konferenzen und in unserem
Forum für Webmaster
gestellt habt.
Zunächst möchte ich kurz auf eine häufig geäußerte Sorge eingehen: Die Tatsache, dass ihr in den meisten Fällen keinen Einfluss darauf habt, wenn Dritte Inhalte eurer Site kopieren. Uns ist bewusst, dass dies nicht die Schuld der betroffenen Webmaster ist. Daher betrachten wir identischen Content, der auf verschiedenen Sites auftaucht, nicht von vornherein als Verstoß gegen unsere
Richtlinien für Webmaster
. Wir versuchen in solchen Fällen lediglich herauszufinden, welches der jeweilige Original-Content ist - was in den meisten Fällen auch gut gelingt und somit keinerlei negative Effekte für die Site mit dem Original-Content mit sich bringt.
Prinzipiell können wir bei Duplicate Content zwei typische Fälle unterscheiden:
Duplicate Content innerhalb eurer Site, d. h. doppelt vorhandene Inhalte, die (häufig unbeabsichtigt) an mehreren Stellen eurer Site auftauchen.
Duplicate Content über verschiedene Sites verteilt, d. h. Inhalte eurer Site erscheinen (auch hier meistens unbeabsichtigt) identisch auf externen Sites.
Im ersten Fall könnt ihr gut selbst die Initiative ergreifen, um zu vermeiden, dass wir doppelte Inhalte eurer Site indexieren. Schaut euch einfach mal Adam Lasniks Post
Duplicate Content - Best Practice bei dupliziertem Inhalt
und den Post
Duplicate Content-Session auf der SMX Advanced
von Vanessa Fox an. Diese Posts geben euch praktische Tipps, was ihr bei Problemen mit Duplicate Content auf eurer Site tun könnt. Ein weiterer Vorschlag: Stellt in eurer Sitemap die bevorzugte Version eurer URLs bereit. Wenn wir beim Crawlen verschiedene Seiten mit den gleichen Inhalten finden, erhöht die Angabe der bevorzugten Version der URL in der Sitemap die Wahrscheinlichkeit, dass wir in den Suchergebnissen die von euch bevorzugte Version anzeigen. Weitere Informationen dazu findet ihr in unserem umfangreichen
Artikel in der Hilfe für Webmaster
.
Im zweiten Fall kann es sein, dass jemand Inhalte eurer Seite kopiert und auf externen Seiten platziert - häufig um Geld mit diesen "gestohlenen" Inhalten zu verdienen. Ebenso gibt es viele Web-Proxies, die Inhalte der Seiten indexieren, die über den Proxy aufgerufen wurden. Wenn wir solche doppelt vorhandenen Inhalte erkennen, dann prüfen wir verschiedene Signale, um die Site mit dem Original-Content zu ermitteln, was in der Regel gut funktioniert. Ihr müsst euch daher keine Sorgen machen, falls ihr feststellt, dass eurer Content gescrapt wurde.
Wenn ihr bewusst Inhalte weitergebt, z. B. an mehrere Syndication-Partner, dann solltet ihr darauf achten, dass eure Partner einen Link zurück auf euren Original-Content setzen.
Einige Webmaster fragen uns oft, was die Gründe dafür sein könnten, wenn eine Site mit gescraptem Content höher rankt als die Site mit dem Original-Content. Dies sollte nur recht selten vorkommen, aber falls ihr euch einmal in dieser Situation befindet, können euch diese Tipps weiterhelfen:
Prüft, ob eure Inhalte noch für unsere Crawler erreichbar sind:
Eventuell habt ihr mit einer Änderung in eurer
robots.txt-Datei
bestimmte Inhalte vom Crawlen ausgeschlossen.
Überprüft eure Sitemap-Datei: Gibt es dort Änderungen, die den Content betreffen, der gescrapt wurde?
Stellt sicher, dass eure Site mit unseren Richtlinien für Webmaster übereinstimmt.
Abschließend möchte ich nochmal erwähnen, dass Duplicate Content in der Mehrzahl der Fälle keine negativen Effekte auf das Ranking eurer Site in unseren Suchergebnissen hat. Die doppelten Inhalte werden ganz einfach herausgefiltert, und wenn ihr euch einige der Tipps in den oben erwähnten Links anschaut, dann habt ihr durch deren Anwendung einfach eine größere Kontrolle darüber, was genau von uns gecrawlt wird und welche Versionen eurer Inhalte mit größerer Wahrscheinlichkeit in den Suchergebnissen erscheinen. Ein Verstoß gegen unsere Richtlinien für Webmaster liegt nur in den Fällen vor, wenn deutlich ist, dass Duplicate Content vorsätzlich und mit böswilliger Absicht erstellt wurde.
Wenn ihr über dieses Thema weiter diskutieren wollt, besucht unser
Forum für Webmaster
.
Post von Sven Naumann, Search Quality Team
Labels
#NoHacked
2
2017
1
Accessibility
13
AJAX
1
AMP
7
Android
2
api
1
App-Indexierung
3
Best Practices
99
Bildersuche
2
captcha
1
Chrome
4
Code
12
Crawling
1
Crawling und Indexierung
126
Diskussionsforum
15
Duplicate Content
17
Dynamic Rendering
1
Einsteiger
8
Event
1
events
1
Feedback
1
Geo-Targeting
11
Google Analytics
6
Google Dance
1
Google News
1
Google Places
4
Google-Assistant
1
Google-Suche
59
Google+
9
Hacking
16
Hangouts
1
https
3
JavaScript
3
Kanonische URL
1
Kommentare
1
Konferenz
19
Lighthouse
3
Links
18
Malware
17
Mobile
38
Mobile-first indexing
1
Nachrichten-Center
16
Optimisation
3
PageSpeed Insights
2
Penalties
1
Performance
3
Ranking
1
reCaptcha v3
1
Rendering
2
Rich Snippets
18
Richtlinien für Webmaster
36
robots.txt
7
Safe Browsing
5
Search Console
19
Search Results
1
Security
4
Seitenzugriff
1
SEO
4
Sicherheit
38
Site Clinic
5
Sitemaps
30
Spam Report
9
SSL
1
Structured Data
8
Tools und Gadgets
17
Verschlüsselung
1
Video
132
Webmaster blog
1
Webmaster Community
1
Webmaster-Academy
1
Webmaster-Tools
154
webspam
3
Archiv
2020
Nov.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
2019
Dez.
Nov.
Okt.
Sept.
Juni
Mai
Feb.
Jan.
2018
Dez.
Nov.
Okt.
Sept.
Juli
Juni
Mai
Apr.
Feb.
Jan.
2017
Dez.
Nov.
Juni
Apr.
März
Jan.
2016
Nov.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Jan.
2015
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Mai
Apr.
März
Feb.
Jan.
2014
Nov.
Okt.
Sept.
Aug.
Juni
Mai
Apr.
März
Feb.
Jan.
2013
Dez.
Nov.
Okt.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2012
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2011
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2010
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2009
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2008
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2007
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feed
Forum für Webmaster
Webmaster-Sprechstunden
Webmaster-Tools-Hilfe
Developers-Site für Webmaster
