Constructor y probador de robots.txt

Evalúa reglas por agente y ruta, y genera un archivo legible con advertencias.

Los datos se procesan de forma efímera para generar el resultado. Los archivos CSV se analizan solo en este navegador y no se cargan ni se almacenan.

robots.txt controla rastreo compatible, no elimina por sí mismo URL conocidas del índice.

…

Método

Evalúa reglas por agente y ruta, y genera un archivo legible con advertencias.

Los datos se procesan de forma efímera para generar el resultado. Los archivos CSV se analizan solo en este navegador y no se cargan ni se almacenan.

robots.txt controla rastreo compatible, no elimina por sí mismo URL conocidas del índice.

Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.
Introduction to robots.txt — Google Search Central; current 2026-08-19; 2026-08-19.
Robots meta tag, data-nosnippet, and X-Robots-Tag specifications — Google Search Central; current 2026-08-19; 2026-08-19.