- Bestätigt, dass wir die Ressourcen crawlen dürfen, die zur Darstellung eurer Seite erforderlich sind. Wenn im oben stehenden Beispiel karamellsosse-info.html durch eine robots.txt-Datei blockiert wird, wird sie vom Googlebot nicht abgerufen. Genauer gesagt: Wenn der JavaScript-Code, der die XMLHttpRequest-Anforderung sendet, in einer externen JS-Datei hinterlegt ist und diese Datei von einer robots.txt-Datei blockiert wird, können wir nicht erkennen, dass zwischen leckerer-eisbecher.html und karamellsosse-info.html ein Zusammenhang besteht. In diesem Fall haben wir also Schwierigkeiten, selbst wenn karamellsosse-info.html nicht direkt blockiert ist. Im Web sind uns sogar schon viel kompliziertere Verkettungen von Abhängigkeiten untergekommen. Google kann eure Website besser erfassen, wenn ihr dem Googlebot erlaubt, alle Ressourcen zu crawlen.
Ob Ressourcen blockiert sind, könnt ihr über Webmaster-Tools Labs -> Vorschau herausfinden.
- Denkt daran, wichtige Inhalte, also Inhalte, die indexiert werden sollen, als Text einzufügen, der direkt auf der Seite zu sehen ist und angezeigt wird, ohne dass Schritte seitens der Nutzer erforderlich sind. Die meisten Suchmaschinen basieren auf Texten und funktionieren deshalb am besten mit textbasierten Inhalten. Wir arbeiten ständig daran, unsere Crawling- und Indexierungsmethoden auf verschiedenste Art und Weise zu verbessern. Trotzdem bleibt es eine verlässliche Strategie, wichtige Informationen als Text einzufügen.
So kontrolliert ihr eure Inhalte
Wenn ihr verhindern möchtet, dass eure Inhalte für die Google Websuche gecrawlt oder indexiert werden, stellt eine robots.txt-Datei immer noch die beste Methode dar. Wie ihr die Vorschau eurer Seiten deaktiviert, könnt ihr in unseren Vorschau-FAQ nachlesen. Dort werden der User-Agent "Google Web Preview" und das Meta-Tag "nosnippet" beschrieben.
Wir arbeiten ständig daran, unseren Index so umfangreich wie möglich zu gestalten, damit Nutzer der Google-Suche mehr relevante Informationen finden können. Unsere Crawling- und Indexierungsmethoden werden sich weiterentwickeln und verbessern, genau wie das Web. Bei weiteren Anliegen oder Fragen stehen wir euch jederzeit gern in unserem Hilfe-Forum zur Verfügung.