robots.txt-Generator – Crawler-Konfiguration generieren

Verwendung

1. User-agent eingeben (Standard * gilt für alle Crawler)
2. Zu sperrende Pfade eingeben, einen pro Zeile
3. Zu erlaubende Pfade eingeben, einen pro Zeile (optional)
4. Download-Schaltfläche zum Abrufen der robots.txt-Datei

FAQ

Was ist robots.txt?

Eine Textdatei, die Suchmaschinen-Crawlern die Zugriffsregeln Ihrer Website mitteilt.

Was passiert, wenn ich Disallow auf / setze?

Das blockiert das Crawlen der gesamten Website. Verwenden Sie dies, wenn Suchmaschinen Ihre Website nicht indexieren sollen.

Werden meine Daten an einen Server gesendet?

Nein. Die gesamte Verarbeitung erfolgt im Browser.

Können mehrere Crawler in User-agent angegeben werden?

Ja. Durch Hinzufügen mehrerer User-agent-Direktiven können Sie für jeden Crawler unterschiedliche Regeln festlegen. Verwenden Sie * (Sternchen), um auf alle Crawler anzuwenden.

Kann auch die Sitemap-Direktive hinzugefügt werden?

Ja. Das Einfügen Ihrer Sitemap-URL als Sitemap-Direktive in robots.txt teilt Crawlern mit, wo sie Ihre Sitemap finden.

Verwandte Tools