Construtor e testador de robots.txt

Avalia regras por agente e caminho e gera um arquivo legível com alertas.

Conteúdo do robots.txt, agente e URL
robots.txt

robots.txt ≤ 500 KiB · Allow / Disallow ≤ 10,000

Os dados são processados de forma efêmera para gerar o resultado. Arquivos CSV são analisados somente neste navegador e não são enviados nem armazenados.

robots.txt controla rastreamento compatível; sozinho, não remove URLs conhecidas do índice.

Método

Avalia regras por agente e caminho e gera um arquivo legível com alertas.

Privacidade

Os dados são processados de forma efêmera para gerar o resultado. Arquivos CSV são analisados somente neste navegador e não são enviados nem armazenados.

Limitações

robots.txt controla rastreamento compatível; sozinho, não remove URLs conhecidas do índice.

Fontes primárias