robots.txt-Generator und -Tester
Bewertet Regeln nach Crawler und Pfad und erstellt eine lesbare Datei mit Hinweisen.
Die Daten werden nur vorübergehend verarbeitet, um das Ergebnis zu erzeugen. CSV-Dateien werden ausschließlich in diesem Browser ausgewertet und weder hochgeladen noch gespeichert.
robots.txt steuert regelkonformes Crawling, entfernt bekannte URLs aber nicht aus dem Index.
Methode
Bewertet Regeln nach Crawler und Pfad und erstellt eine lesbare Datei mit Hinweisen.
Datenschutz
Die Daten werden nur vorübergehend verarbeitet, um das Ergebnis zu erzeugen. CSV-Dateien werden ausschließlich in diesem Browser ausgewertet und weder hochgeladen noch gespeichert.
Grenzen
robots.txt steuert regelkonformes Crawling, entfernt bekannte URLs aber nicht aus dem Index.
Primärquellen
- Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.