Generatore e tester di robots.txt

Metodo

Valuta regole per crawler e percorso e genera un file leggibile con avvisi.

Come i motori scansionano, indicizzano e mostrano i risultati

Privacy

I dati vengono elaborati in modo effimero per produrre il risultato. I file CSV sono analizzati esclusivamente in questo browser e non vengono caricati né conservati.

Limiti

robots.txt regola la scansione conforme; da solo non rimuove URL noti dall’indice.