Robots.txt Tester
Comprueba que tu robots.txt es válido y que no bloquea tu sitio. Después prueba cualquier página con él.
| Rastreador | Acceso | Regla que decide |
|---|
Qué comprueba este tester de robots.txt
Empieza por dos preguntas. ¿El archivo es válido? ¿Y está dejando a los rastreadores fuera de tu sitio?
Para la primera lee cada línea. Una directiva mal escrita, una regla sin grupo, una ruta que nunca puede coincidir, una línea que los rastreadores se saltan: cada una aparece en la lista con su número de línea. Esa es la parte de validador de robots.txt.
Para la segunda aplica las reglas como lo hace un rastreador. Si una sola línea cierra todo el sitio, lo ves arriba del todo, junto a la línea que lo hace. Después, una tabla muestra cada rastreador de búsqueda y de IA y si puede entrar.
También puedes probar una sola página. Elige la URL y el rastreador. El tester muestra Permitido o Bloqueado y resalta la regla que lo decidió.
Una vez descargado el archivo, toda la comprobación ocurre en tu navegador. Un archivo que pegas o editas nunca sale de la página.
Cómo comprobar un archivo robots.txt
- Introduce tu sitio o un enlace a su robots.txt. El tester descarga el archivo en vivo de ese host.
- Lee las dos líneas de arriba. Una te dice si el archivo es válido. La otra te dice si tu sitio está abierto a los rastreadores o bloqueado.
- Corrige lo que aparece en Validación. Cada problema tiene un número de línea. Haz clic en él para ir a esa línea.
- Revisa la tabla de rastreadores. Muestra qué rastreadores de búsqueda y de IA pueden acceder a tu sitio, y la regla que hay detrás de cada respuesta.
- Prueba una página concreta. Pulsa el botón, introduce la página y elige un rastreador como Googlebot o GPTBot. Obtienes Permitido o Bloqueado y la línea que lo decidió.
- Edita y vuelve a probar. Cambia una regla y los resultados se actualizan mientras escribes. Cuando el archivo diga lo que quieres, cópialo a tu sitio.
Puedes saltarte el primer paso. Pega un borrador de robots.txt para validarlo antes de publicarlo. Es más seguro que cambiar un archivo en vivo que leen todos los rastreadores.
Cómo se aplican las reglas de robots.txt
La mayoría de las sorpresas vienen de unas pocas reglas que el propio archivo nunca enuncia. El tester las aplica tal como las describen el estándar publicado y la documentación de Google.
Un grupo por rastreador
Un rastreador busca un grupo que lo nombre. Si lo encuentra, sigue ese grupo e ignora User-agent: * por completo. Los dos nunca se combinan. Así que si bloqueas /admin/ para todos y luego añades un grupo corto para GPTBot sin repetir el bloqueo, /admin/ queda abierto para GPTBot.
Gana la regla más larga
Cuando varias reglas coinciden con una URL, decide la más específica, y específica quiere decir más larga. El orden de las líneas no importa. Si un Allow y un Disallow de la misma longitud coinciden, gana Allow.
Comodines y el ancla de final
* equivale a cualquier secuencia de caracteres y $ marca el final de la URL. Toda regla coincide desde el principio de la ruta, así que Disallow: /blog también bloquea /blog-archive/ y /blog.html.
| Regla | Bloquea | No bloquea |
|---|---|---|
Disallow: / | Todas las URL del host | Nada |
Disallow: | Nada. Un valor vacío lo permite todo | Todas las URL |
Disallow: /blog | /blog, /blog/post, /blog-archive/ | /news/blog |
Disallow: /blog/ | /blog/post | /blog, /blog-archive/ |
Disallow: /*.pdf$ | /files/guide.pdf | /files/guide.pdf?v=2 |
Disallow: /*? | Cualquier URL con una cadena de consulta | /shop/ |
Las rutas distinguen mayúsculas de minúsculas
Los nombres de las directivas y de los user agents se pueden escribir en mayúsculas o en minúsculas. Las rutas no. Disallow: /Private/ no hace nada con /private/.
Un archivo por host
El archivo tiene que estar en la raíz y llamarse robots.txt. Solo cubre el host desde el que se sirve, así que shop.example.com y www.example.com necesitan cada uno el suyo.
Probar robots.txt para los rastreadores de IA
Los asistentes de IA leen tu sitio con sus propios rastreadores, y cada uno busca su propio nombre en robots.txt. GPTBot recopila páginas para el entrenamiento. OAI-SearchBot construye el índice que hay detrás de la búsqueda de ChatGPT. Anthropic separa ClaudeBot y Claude-SearchBot de la misma manera. Bloquear uno es una decisión distinta de bloquear otro.
Muchos sitios tienen reglas para estos rastreadores que nadie del equipo escribió. Las añadió un plugin, un ajuste por defecto del hosting o una plantilla. La tabla de rastreadores muestra lo que tu archivo le dice a cada uno, y la prueba de página comprueba un rastreador en una URL.
La regla de los grupos de más arriba es la que más pesa aquí. Un archivo que nombra a GPTBot solo para dejarlo fuera de una carpeta también le ha levantado todas las reglas de User-agent: *.
Además, robots.txt es solo la primera capa. Un firewall o un CDN pueden rechazar a un rastreador al que tu archivo invita a entrar, y nada en robots.txt lo mostrará. El Verificador de rastreadores de IA envía una petición real como cada rastreador de IA y muestra lo que responde tu servidor.
Errores comunes en robots.txt
Un Disallow: / olvidado. Los entornos de pruebas lo bloquean todo a propósito. Luego el sitio se lanza con esa regla todavía en el archivo, y todas las páginas dejan de rastrearse.
Usar robots.txt para ocultar una página. Detiene el rastreo, no la indexación. Una URL bloqueada que otras páginas enlazan puede seguir apareciendo en los resultados. Una página que tiene que quedar fuera de las búsquedas necesita un noindex, y los rastreadores deben poder llegar a la página para verlo.
Bloquear CSS y JavaScript. Google renderiza una página antes de evaluarla. Si los archivos que construyen la página están bloqueados, Google ve una versión rota.
Reglas por encima de la primera línea User-agent. Una regla tiene que pertenecer a un grupo. Todo lo que se escribe antes de que empiece un grupo se ignora.
Una ruta sin barra inicial. Disallow: admin no coincide con nada. Tiene que ser Disallow: /admin.
Noindex dentro de robots.txt. Google no lo admite ahí. Va en una etiqueta meta o en una cabecera X-Robots-Tag.
Confiar en Crawl-delay. Google lo ignora. Bing y algunos otros rastreadores lo respetan.
Un robots.txt que devuelve un error. Si el archivo no existe, los rastreadores pueden descargarlo todo. Un error de servidor es otra historia: Google lo trata como un bloqueo de todo el sitio hasta que el archivo vuelve.
Bloqueada por robots.txt (Blocked by robots.txt) en Search Console
Dos estados de Google Search Console apuntan a este archivo, y piden soluciones opuestas.
Bloqueada por robots.txt
Google intentó rastrear la URL y una regla Disallow se lo impidió. Si eso es lo que querías, no hay nada que arreglar. Si la página debería estar en las búsquedas, pruébala aquí con Googlebot seleccionado, encuentra la línea que la bloquea y después quita la regla o acótala. Cuando el archivo esté actualizado, pide a Google que vuelva a rastrear la página.
Se ha indexado aunque un archivo robots.txt la tenía bloqueada (Indexed, though blocked by robots.txt)
Google metió la URL en su índice sin leerla, normalmente porque otras páginas la enlazan. El resultado es una entrada sin descripción. Qué hacer después depende de lo que quieras.
Si la página debería estar en las búsquedas, quita el Disallow para que Google pueda leerla. Si la página debería desaparecer, haz lo que parece ir al revés: permite el rastreo y añade una etiqueta noindex. Google no puede ver un noindex en una página que no tiene permitido descargar, así que bloquear y poner noindex a la vez mantiene la URL en el índice.
Preguntas frecuentes
¿Cómo compruebo mi archivo robots.txt?
Introduce tu sitio en el tester de arriba. Descarga el archivo en vivo y te dice si es válido y si bloquea tu sitio. Para comprobar una sola página, pulsa Probar una página concreta y elige un rastreador. Para probar un cambio antes de publicarlo, edita el archivo en el tester o pega una versión nueva.
¿Qué significa "Bloqueada por robots.txt" (Blocked by robots.txt) en Search Console?
Google intentó rastrear la URL y una regla Disallow de tu robots.txt le dijo que no lo hiciera. Si eso es lo que quieres, no pasa nada. Si quieres la página en las búsquedas, encuentra la regla con el tester, quítala o acótala, y pide a Google que vuelva a rastrear la página.
¿Qué significa "Se ha indexado aunque un archivo robots.txt la tenía bloqueada" (Indexed, though blocked by robots.txt)?
Google añadió la URL a su índice sin leer la página, normalmente porque otras páginas la enlazan. Si quieres la página en las búsquedas, quita la regla Disallow. Si quieres que desaparezca, permite el rastreo y añade una etiqueta noindex. Google no puede ver un noindex en una página que no tiene permitido descargar.
¿robots.txt impide que una página se indexe?
No. robots.txt controla el rastreo, no la indexación. Una página bloqueada puede seguir apareciendo en los resultados como un enlace sin más. Para mantener una página fuera del índice, deja que los rastreadores lleguen a ella y márcala como noindex.
¿Una regla para un rastreador se suma a las reglas para todos los rastreadores?
No, las sustituye. Un rastreador que encuentra un grupo con su propio nombre sigue solo ese grupo e ignora User-agent: * por completo. Todo aquello de lo que quieras mantener fuera a ese rastreador hay que repetirlo en su propio grupo.
¿Qué regla gana cuando Allow y Disallow coinciden a la vez?
Gana la regla coincidente más larga, esté donde esté en el archivo. Si un Allow y un Disallow de la misma longitud coinciden, gana Allow. El orden de las líneas no importa.
¿Los rastreadores de IA como GPTBot respetan robots.txt?
Los grandes operadores dicen que sus rastreadores sí, y cada uno lee el grupo con su propio nombre. Los agentes que descargan una página porque una persona lo pidió son otro caso y pueden no seguir el archivo. robots.txt es una petición, así que un bloqueo que tenga que aguantar va en el firewall.
¿llms.txt es lo mismo que robots.txt?
No. robots.txt indica a los rastreadores adónde pueden ir. llms.txt es un archivo propuesto que enumera las páginas que te gustaría que leyeran los modelos de IA. No permite ni bloquea nada, y ningún asistente importante ha confirmado que lo use.
Un robots.txt limpio deja entrar a los rastreadores. Que los asistentes nombren después tu marca es otra cuestión, y la comprobación de AI Visibility la responde.