ANWEISUNG
| WIRKUNG
| EINSATZMÖGLICHKEITEN
|
| Disallow | Veranlasst den Crawler, eure Site nicht zu indexieren - das robots.txt eurer Site muss jedoch gecrawlt werden, um diese Anweisung zu finden. Die per Disallow gesperrten Seiten werden jedoch nicht gecrawlt. | 'No Crawl'-Seite einer Site. Diese Anweisung ist die Default-Syntax und bewahrt (einen) bestimmte(n) Pfad(e) einer Site davor, gecrawlt zu werden. |
| Allow | Sagt dem Crawler, welche Seiten eurer Site indexiert werden sollen, so dass ihr diese Anweisung in Kombination mit Disallow verwenden könnt.
| Dies ist vor allem im Zusammenhang mit Disallow-Anweisungen nützlich, durch die große Teile einer Site mit Disallow gesperrt sind außer eines kleinen Teils, der darin eingeschlossen ist. |
| $ Wildcard Support | Sagt dem Crawler, alles ausgehend vom Ende einer URL zu suchen - bezieht sich auf eine große Anzahl von Verzeichnissen, ohne bestimmt Seiten anzugeben. | 'No Crawl'-Dateien mit bestimmten Mustern, z. B. Dateien eines bestimmten Dateityps, der immer eine bestimmte Erweiterung hat, wie etwa pdf. |
| * Wildcard Support | Sagt dem Crawler, dass er nach einer Sequenz von Zeichen suchen soll. | 'No Crawl'-URLs von einem bestimmten Muster, z. B. Disallow-URLs mit Session-IDs oder anderen überflüssigen Parametern. |
| Sitemaps Location | Sagt dem Crawler, wo er eure Sitemaps finden kann. | Auf andere Orte verweisen, an denen sich Feeds befinden, die Crawlern helfen, URLs auf einer Site zu finden. |
