robots.txt-bouwer en -tester

Methode

Beoordeelt regels per crawler en pad en maakt een leesbaar bestand met waarschuwingen.

Hoe zoekmachines crawlen, indexeren en resultaten tonen

Privacy

Gegevens worden alleen tijdelijk verwerkt om het resultaat te maken. CSV-bestanden worden uitsluitend in deze browser geanalyseerd en niet geüpload of opgeslagen.

Beperkingen

robots.txt stuurt conforme crawling maar verwijdert bekende URL’s niet zelfstandig uit de index.