…
Méthode
Évalue les règles par robot et chemin, puis produit un fichier lisible avec avertissements.
Confidentialité
Les données sont traitées de manière éphémère afin de produire le résultat. Les fichiers CSV sont analysés uniquement dans ce navigateur ; ils ne sont ni téléversés ni conservés.
Limites
robots.txt régit l’exploration compatible ; il ne supprime pas à lui seul une URL connue de l’index.
Sources primaires
- Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.
- Introduction to robots.txt — Google Search Central; current 2026-08-19; 2026-08-19.
- Robots meta tag, data-nosnippet, and X-Robots-Tag specifications — Google Search Central; current 2026-08-19; 2026-08-19.