Générateur et testeur robots.txt
Évalue les règles par robot et chemin, puis produit un fichier lisible avec avertissements.
Les données sont traitées de manière éphémère afin de produire le résultat. Les fichiers CSV sont analysés uniquement dans ce navigateur ; ils ne sont ni téléversés ni conservés.
robots.txt régit l’exploration compatible ; il ne supprime pas à lui seul une URL connue de l’index.
Méthode
Évalue les règles par robot et chemin, puis produit un fichier lisible avec avertissements.
Confidentialité
Les données sont traitées de manière éphémère afin de produire le résultat. Les fichiers CSV sont analysés uniquement dans ce navigateur ; ils ne sont ni téléversés ni conservés.
Limites
robots.txt régit l’exploration compatible ; il ne supprime pas à lui seul une URL connue de l’index.
Sources primaires
- Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.