…
Methode
Bewertet Regeln nach Crawler und Pfad und erstellt eine lesbare Datei mit Hinweisen.
Datenschutz
Die Daten werden nur vorübergehend verarbeitet, um das Ergebnis zu erzeugen. CSV-Dateien werden ausschließlich in diesem Browser ausgewertet und weder hochgeladen noch gespeichert.
Grenzen
robots.txt steuert regelkonformes Crawling, entfernt bekannte URLs aber nicht aus dem Index.
Primärquellen
- Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.
- Introduction to robots.txt — Google Search Central; current 2026-08-19; 2026-08-19.
- Robots meta tag, data-nosnippet, and X-Robots-Tag specifications — Google Search Central; current 2026-08-19; 2026-08-19.