Constructor y probador de robots.txt

Cómo comprobar robots.txt para un robot y una ruta

Este comprobador evalúa si las reglas permiten o bloquean una ruta para el robot elegido. En el modo de texto puedes indicar el User-agent y la ruta. En el modo URL se consulta el archivo público del host y se comprueba la ruta introducida para Googlebot.

El resultado es una decisión de rastreo, no una confirmación de indexación. Para investigar una ausencia en Google también debes revisar la respuesta HTTP, el canonical, las directivas noindex y la información de Inspección de URLs.

1. Pega el archivo completo que deseas comprobar.
2. En el modo de texto, introduce el robot y una ruta que empiece por /.
3. Revisa la regla coincidente y el resultado permitido o bloqueado.
4. Comprueba varias rutas importantes y vuelve a revisar el archivo publicado después del cambio.

Ejemplo con una excepción de rastreo

Prueba /borradores/nota/ y /borradores/publicos/guia/ por separado. La regla coincidente más específica permite distinguir ambas rutas. Revisa también si existe un grupo específico para el robot, porque no basta con leer únicamente el grupo de asterisco.

User-agent: *
Disallow: /borradores/
Allow: /borradores/publicos/

Cuándo necesitas noindex o autenticación

Bloquear el rastreo no protege información privada ni garantiza que una URL desaparezca de los resultados. Usa autenticación para contenido privado. Para que Google vea una directiva noindex, la respuesta debe poder rastrearse.

Cada combinación de host, protocolo y puerto tiene su propio ámbito. Las reglas de example.com no se aplican automáticamente a tienda.example.com. El comprobador tampoco demuestra qué versión del archivo conserva Google en caché; verifica la publicación y la evidencia de Search Console por separado.

Método

Evalúa reglas por agente y ruta, y genera un archivo legible con advertencias.

Cómo rastrean, indexan y sirven resultados los buscadores

Privacidad

Los datos se procesan de forma efímera para generar el resultado. Los archivos CSV se analizan solo en este navegador y no se cargan ni se almacenan.

Limitaciones

robots.txt controla rastreo compatible, no elimina por sí mismo URL conocidas del índice.