…
Methode
Beoordeelt regels per crawler en pad en maakt een leesbaar bestand met waarschuwingen.
Privacy
Gegevens worden alleen tijdelijk verwerkt om het resultaat te maken. CSV-bestanden worden uitsluitend in deze browser geanalyseerd en niet geüpload of opgeslagen.
Beperkingen
robots.txt stuurt conforme crawling maar verwijdert bekende URL’s niet zelfstandig uit de index.
Primaire bronnen
- Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.
- Introduction to robots.txt — Google Search Central; current 2026-08-19; 2026-08-19.
- Robots meta tag, data-nosnippet, and X-Robots-Tag specifications — Google Search Central; current 2026-08-19; 2026-08-19.