Robots.txt Tester
Veja se o seu robots.txt é válido e se não está bloqueando o seu site. Depois teste qualquer página contra ele.
| Rastreador | Acesso | Regra que decide |
|---|
O que este testador de robots.txt verifica
Ele começa com duas perguntas. O arquivo é válido? E ele está deixando os rastreadores do lado de fora do seu site?
Para a primeira, ele lê todas as linhas. Uma diretiva com erro de digitação, uma regra sem grupo, um caminho que nunca vai corresponder a nada, uma linha que os rastreadores pulam: cada problema aparece com o número da linha. Essa é a parte de validador de robots.txt.
Para a segunda, ele aplica as regras do jeito que um rastreador aplica. Se uma linha fecha o site inteiro, você vê isso no topo, junto com a linha responsável. Depois, uma tabela mostra cada rastreador de busca e de IA e se ele consegue entrar.
Você também pode testar uma única página. Escolha a URL e o rastreador. O testador mostra Permitido ou Bloqueado e destaca a regra que decidiu.
Depois que o arquivo é buscado, toda a verificação acontece no seu navegador. Um arquivo que você cola ou edita nunca sai da página.
Como testar um robots.txt
- Digite o seu site ou um link para o robots.txt dele. O testador busca o arquivo que está no ar nesse host.
- Leia as duas linhas do topo. Uma diz se o arquivo é válido. A outra diz se o seu site está aberto para os rastreadores ou bloqueado.
- Corrija o que aparece em Validação. Cada problema tem um número de linha. Clique nele para ir até essa linha.
- Confira a tabela de rastreadores. Ela mostra quais rastreadores de busca e de IA podem acessar o seu site, e a regra por trás de cada resposta.
- Teste uma página específica. Clique no botão, digite a página e escolha um rastreador, como Googlebot ou GPTBot. Você recebe Permitido ou Bloqueado e a linha que decidiu.
- Edite e teste de novo. Mude uma regra e os resultados se atualizam enquanto você digita. Quando o arquivo disser o que você quer, copie-o para o seu site.
Você pode pular o primeiro passo. Cole um rascunho de robots.txt para validar o arquivo antes de publicá-lo. É mais seguro do que mexer em um arquivo no ar que todos os rastreadores leem.
Como as regras do robots.txt são aplicadas
A maioria das surpresas vem de algumas regras que o próprio arquivo nunca declara. O testador as aplica como descrevem o padrão publicado e a documentação do Google.
Um grupo por rastreador
Um rastreador procura um grupo que cite o nome dele. Se encontra, segue esse grupo e ignora User-agent: * por completo. Os dois nunca são combinados. Então, se você bloqueia /admin/ para todos e depois adiciona um grupo curto para GPTBot sem repetir o bloqueio, /admin/ fica aberto para o GPTBot.
A regra mais longa vence
Quando várias regras correspondem a uma URL, a mais específica decide, e específica quer dizer mais longa. A ordem das linhas não importa. Se um Allow e um Disallow do mesmo tamanho correspondem, o Allow vence.
Curingas e a âncora de fim
* representa qualquer sequência de caracteres e $ marca o fim da URL. Toda regra corresponde a partir do início do caminho, então Disallow: /blog também bloqueia /blog-archive/ e /blog.html.
| Regra | Bloqueia | Não bloqueia |
|---|---|---|
Disallow: / | Todas as URLs do host | Nada |
Disallow: | Nada. Um valor vazio permite tudo | Todas as URLs |
Disallow: /blog | /blog, /blog/post, /blog-archive/ | /news/blog |
Disallow: /blog/ | /blog/post | /blog, /blog-archive/ |
Disallow: /*.pdf$ | /files/guide.pdf | /files/guide.pdf?v=2 |
Disallow: /*? | Qualquer URL com parâmetros de consulta | /shop/ |
Os caminhos diferenciam maiúsculas de minúsculas
Os nomes das diretivas e dos user agents podem ser escritos com maiúsculas ou minúsculas. Os caminhos não. Disallow: /Private/ não faz nada por /private/.
Um arquivo por host
O arquivo precisa ficar na raiz e se chamar robots.txt. Ele só vale para o host que o serve, então shop.example.com e www.example.com precisam cada um do seu.
Testar robots.txt para rastreadores de IA
Os assistentes de IA leem o seu site com rastreadores próprios, e cada um procura o próprio nome no robots.txt. O GPTBot coleta páginas para treinamento. O OAI-SearchBot constrói o índice por trás da busca do ChatGPT. A Anthropic separa ClaudeBot e Claude-SearchBot do mesmo jeito. Bloquear um é uma decisão diferente de bloquear outro.
Muitos sites têm regras para esses rastreadores que ninguém da equipe escreveu. Um plugin, uma configuração padrão da hospedagem ou um template as adicionou. A tabela de rastreadores mostra o que o seu arquivo diz a cada um deles, e o teste de página verifica um rastreador em uma URL.
A regra dos grupos, explicada acima, pesa mais aqui. Um arquivo que cita o GPTBot só para mantê-lo fora de uma pasta também suspendeu, para ele, todas as regras de User-agent: *.
O robots.txt também é só a primeira camada. Um firewall ou uma CDN pode recusar um rastreador que o seu arquivo convida a entrar, e nada no robots.txt vai mostrar isso. O Verificador de rastreadores de IA envia uma requisição real como cada rastreador de IA e mostra o que o seu servidor responde.
Erros comuns no robots.txt
Um Disallow: / esquecido. Sites em ambiente de testes bloqueiam tudo de propósito. Depois o site vai ao ar com essa regra ainda no arquivo, e todas as páginas deixam de ser rastreadas.
Usar o robots.txt para esconder uma página. Ele impede o rastreamento, não a indexação. Uma URL bloqueada que recebe links de outras páginas ainda pode aparecer nos resultados. Uma página que precisa ficar fora da busca precisa de um noindex, e os rastreadores têm que conseguir chegar à página para vê-lo.
Bloquear CSS e JavaScript. O Google renderiza uma página antes de avaliá-la. Se os arquivos que montam a página estão bloqueados, o Google vê uma versão quebrada.
Regras acima da primeira linha User-agent. Uma regra precisa pertencer a um grupo. Tudo o que é escrito antes de um grupo começar é ignorado.
Um caminho sem a barra inicial. Disallow: admin não corresponde a nada. Tem que ser Disallow: /admin.
Noindex dentro do robots.txt. O Google não aceita essa diretiva ali. O lugar dela é uma meta tag ou um cabeçalho X-Robots-Tag.
Contar com o Crawl-delay. O Google ignora. O Bing e alguns outros rastreadores seguem.
Um robots.txt que devolve erro. Um arquivo ausente significa que os rastreadores podem buscar tudo. Um erro de servidor é outra história: o Google trata isso como um bloqueio do site inteiro até o arquivo voltar.
Bloqueada pelo robots.txt no Search Console
Dois status do Google Search Console apontam para este arquivo, e eles pedem correções opostas.
Bloqueada pelo robots.txt (Blocked by robots.txt)
O Google tentou rastrear a URL e uma regra Disallow o impediu. Se era isso que você queria, não há nada para corrigir. Se a página deveria estar na busca, teste-a aqui com o Googlebot selecionado, encontre a linha que a bloqueia e depois remova a regra ou restrinja o alcance dela. Com o arquivo atualizado, peça ao Google para rastrear a página de novo.
Página indexada, mas bloqueada pelo robots.txt (Indexed, though blocked by robots.txt)
O Google colocou a URL no índice sem lê-la, geralmente porque outras páginas têm links para ela. O resultado é um link sem descrição. O próximo passo depende do que você quer.
Se a página deveria estar na busca, remova o Disallow para que o Google consiga lê-la. Se a página deveria sair, faça o que parece estar ao contrário: permita o rastreamento e adicione uma tag noindex. O Google não consegue ver um noindex em uma página que ele não tem permissão para buscar, então bloquear e usar noindex ao mesmo tempo mantém a URL no índice.
Perguntas frequentes
Como testar o meu robots.txt?
Digite o seu site no testador acima. Ele busca o arquivo que está no ar e diz se é válido e se bloqueia o seu site. Para verificar uma página, clique em Testar uma página específica e escolha um rastreador. Para experimentar uma mudança antes de publicá-la, edite o arquivo no testador ou cole uma nova versão.
O que significa "Bloqueada pelo robots.txt" (Blocked by robots.txt) no Search Console?
O Google tentou rastrear a URL e uma regra Disallow no seu robots.txt disse que não. Se é isso que você quer, não há nada errado. Se você quer a página na busca, encontre a regra com o testador, remova ou restrinja essa regra e peça ao Google para rastrear a página de novo.
O que significa "Página indexada, mas bloqueada pelo robots.txt" (Indexed, though blocked by robots.txt)?
O Google adicionou a URL ao índice sem ler a página, geralmente porque outras páginas têm links para ela. Se você quer a página na busca, remova a regra Disallow. Se quer que ela saia, permita o rastreamento e adicione uma tag noindex. O Google não consegue ver um noindex em uma página que ele não tem permissão para buscar.
O robots.txt impede que uma página seja indexada?
Não. O robots.txt controla o rastreamento, não a indexação. Uma página bloqueada ainda pode aparecer nos resultados apenas como um link. Para manter uma página fora do índice, deixe os rastreadores chegarem a ela e marque-a com noindex.
Uma regra para um rastreador se soma às regras para todos os rastreadores?
Não, ela as substitui. Um rastreador que encontra um grupo com o próprio nome segue só esse grupo e ignora User-agent: * por completo. Tudo o que você quer manter fechado para esse rastreador precisa ser repetido no grupo dele.
Qual regra vence quando Allow e Disallow correspondem à mesma URL?
Vence a regra correspondente mais longa, esteja onde estiver no arquivo. Se um Allow e um Disallow do mesmo tamanho correspondem, o Allow vence. A ordem das linhas não importa.
Rastreadores de IA como o GPTBot respeitam o robots.txt?
Os grandes operadores dizem que os seus rastreadores respeitam, e cada um lê o grupo com o próprio nome. Os agentes que buscam uma página porque uma pessoa pediu são outro caso e podem não seguir o arquivo. O robots.txt é um pedido, então um bloqueio que precisa se sustentar pertence ao firewall.
llms.txt é a mesma coisa que robots.txt?
Não. O robots.txt diz aos rastreadores aonde eles podem ir. O llms.txt é uma proposta de arquivo que lista as páginas que você gostaria que os modelos de IA lessem. Ele não permite nem bloqueia nada, e nenhum grande assistente confirmou que o usa.
Um robots.txt limpo deixa os rastreadores entrarem. Se os assistentes depois mencionam a sua marca é outra pergunta, e a verificação do AI Visibility responde a ela.