Robots.txt Tester
Vérifiez que votre robots.txt est valide et qu’il ne bloque pas votre site. Testez ensuite n’importe quelle page.
| Crawler | Accès | Règle décisive |
|---|
Ce que vérifie ce testeur robots.txt
Il part de deux questions. Le fichier est-il valide ? Et ferme-t-il votre site aux crawlers ?
Pour la première, il lit chaque ligne. Une directive mal orthographiée, une règle sans groupe, un chemin qui ne correspondra jamais à rien, une ligne que les crawlers sautent : chacune est listée avec son numéro de ligne. C’est la partie validateur de robots.txt.
Pour la seconde, il applique les règles comme le fait un crawler. Si une seule ligne ferme tout le site, vous le voyez en haut, avec la ligne en cause. Un tableau montre ensuite chaque crawler de recherche et chaque crawler IA, et s’il peut entrer.
Vous pouvez aussi tester une seule page. Choisissez l’URL et le crawler. Le testeur affiche Autorisé ou Bloqué et met en évidence la règle qui a décidé.
Une fois le fichier récupéré, toute la vérification se fait dans votre navigateur. Un fichier que vous collez ou modifiez ne quitte jamais la page.
Comment tester un fichier robots.txt
- Saisissez votre site ou un lien vers son robots.txt. Le testeur récupère le fichier en ligne sur cet hôte.
- Lisez les deux lignes du haut. L’une vous dit si le fichier est valide. L’autre vous dit si votre site est ouvert aux crawlers ou bloqué.
- Corrigez ce qui est listé sous Validation. Chaque problème a un numéro de ligne. Cliquez dessus pour aller à cette ligne.
- Consultez le tableau des crawlers. Il montre quels crawlers de recherche et quels crawlers IA peuvent accéder à votre site, et la règle derrière chaque réponse.
- Testez une page précise. Appuyez sur le bouton, saisissez la page et choisissez un crawler comme Googlebot ou GPTBot. Vous obtenez Autorisé ou Bloqué, et la ligne qui a décidé.
- Modifiez et testez à nouveau. Changez une règle et les résultats se mettent à jour pendant que vous tapez. Quand le fichier dit ce que vous voulez, copiez-le sur votre site.
Vous pouvez sauter la première étape. Collez un brouillon de robots.txt pour le vérifier avant sa publication. C’est plus sûr que de modifier un fichier en ligne que tous les crawlers lisent.
Comment s’appliquent les règles du robots.txt
La plupart des surprises viennent de quelques règles que le fichier lui-même n’énonce jamais. Le testeur les applique comme les décrivent le standard publié et la documentation de Google.
Un groupe par crawler
Un crawler cherche un groupe qui le nomme. S’il en trouve un, il suit ce groupe et ignore entièrement User-agent: *. Les deux ne sont jamais combinés. Donc si vous bloquez /admin/ pour tout le monde, puis ajoutez un court groupe pour GPTBot sans répéter le blocage, /admin/ est ouvert à GPTBot.
La règle la plus longue l’emporte
Quand plusieurs règles correspondent à une URL, la plus spécifique décide, et spécifique veut dire la plus longue. L’ordre des lignes ne compte pas. Si un Allow et un Disallow de même longueur correspondent tous les deux, Allow l’emporte.
Les jokers et l’ancre de fin
* remplace n’importe quelle suite de caractères et $ marque la fin de l’URL. Chaque règle se compare à partir du début du chemin, donc Disallow: /blog bloque aussi /blog-archive/ et /blog.html.
| Règle | Bloque | Ne bloque pas |
|---|---|---|
Disallow: / | Toutes les URL de l’hôte | Rien |
Disallow: | Rien. Une valeur vide autorise tout | Toutes les URL |
Disallow: /blog | /blog, /blog/post, /blog-archive/ | /news/blog |
Disallow: /blog/ | /blog/post | /blog, /blog-archive/ |
Disallow: /*.pdf$ | /files/guide.pdf | /files/guide.pdf?v=2 |
Disallow: /*? | Toute URL avec une chaîne de requête | /shop/ |
Les chemins sont sensibles à la casse
Les noms de directives et de user agents peuvent s’écrire en majuscules ou en minuscules. Pas les chemins. Disallow: /Private/ ne fait rien pour /private/.
Un fichier par hôte
Le fichier doit se trouver à la racine et s’appeler robots.txt. Il ne couvre que l’hôte qui le sert, donc shop.example.com et www.example.com ont chacun besoin du leur.
Tester le robots.txt pour les crawlers IA
Les assistants IA lisent votre site avec leurs propres crawlers, et chacun cherche son propre nom dans le robots.txt. GPTBot collecte des pages pour l’entraînement. OAI-SearchBot construit l’index derrière la recherche ChatGPT. Anthropic sépare ClaudeBot et Claude-SearchBot de la même façon. Bloquer l’un est une décision différente de bloquer l’autre.
Beaucoup de sites portent pour ces crawlers des règles que personne dans l’équipe n’a écrites. Un plugin, un réglage par défaut de l’hébergeur ou un modèle de site les a ajoutées. Le tableau des crawlers montre ce que votre fichier dit à chacun d’eux, et le test de page vérifie un crawler sur une URL.
La règle des groupes décrite plus haut compte ici plus qu’ailleurs. Un fichier qui nomme GPTBot uniquement pour lui fermer un dossier a aussi levé pour lui toutes les règles placées sous User-agent: *.
Le robots.txt n’est aussi que la première couche. Un pare-feu ou un CDN peut refuser un crawler que votre fichier invite à entrer, et rien dans le robots.txt ne le montrera. Le Vérificateur de crawlers IA envoie une vraie requête au nom de chaque crawler IA et montre ce que répond votre serveur.
Les erreurs courantes dans un robots.txt
Un Disallow: / oublié. Les sites de préproduction bloquent tout exprès. Puis le site est lancé avec cette règle encore dans le fichier, et plus aucune page n’est explorée.
Utiliser le robots.txt pour cacher une page. Il empêche l’exploration, pas l’indexation. Une URL bloquée vers laquelle d’autres pages font un lien peut quand même apparaître dans les résultats. Une page qui doit rester hors de la recherche a besoin d’un noindex, et les crawlers doivent pouvoir atteindre la page pour le voir.
Bloquer le CSS et le JavaScript. Google fait le rendu d’une page avant de la juger. Si les fichiers qui construisent la page sont interdits, Google en voit une version cassée.
Des règles au-dessus de la première ligne User-agent. Une règle doit appartenir à un groupe. Tout ce qui est écrit avant le début d’un groupe est ignoré.
Un chemin sans barre oblique au début. Disallow: admin ne correspond à rien. Il faut écrire Disallow: /admin.
Noindex dans le robots.txt. Google ne le prend pas en charge à cet endroit. Sa place est dans une balise meta ou un en-tête X-Robots-Tag.
Compter sur Crawl-delay. Google l’ignore. Bing et quelques autres crawlers le suivent.
Un robots.txt qui renvoie une erreur. Un fichier absent signifie que les crawlers peuvent tout récupérer. Une erreur serveur, c’est une autre histoire : Google la traite comme un blocage de tout le site jusqu’à ce que le fichier revienne.
Bloquée par le fichier robots.txt dans Search Console
Deux statuts de Google Search Console renvoient à ce fichier, et ils appellent des corrections opposées.
Bloquée par le fichier robots.txt (Blocked by robots.txt)
Google a essayé d’explorer l’URL et une règle Disallow l’a arrêté. Si c’est ce que vous vouliez, il n’y a rien à corriger. Si la page doit être dans la recherche, testez-la ici en sélectionnant Googlebot, trouvez la ligne qui la bloque, puis retirez la règle ou restreignez-la. Une fois le fichier mis à jour, demandez à Google d’explorer à nouveau la page.
Indexée malgré le blocage par le fichier robots.txt (Indexed, though blocked by robots.txt)
Google a mis l’URL dans son index sans la lire, généralement parce que d’autres pages font un lien vers elle. Le résultat est une entrée nue, sans description. La suite dépend de ce que vous voulez.
Si la page doit être dans la recherche, retirez le Disallow pour que Google puisse la lire. Si la page doit disparaître, faites ce qui semble aller à l’envers : autorisez l’exploration et ajoutez une balise noindex. Google ne peut pas voir un noindex sur une page qu’il n’a pas le droit de récupérer, donc bloquer et mettre en noindex en même temps garde l’URL dans l’index.
Questions fréquentes
Comment tester mon fichier robots.txt ?
Saisissez votre site dans le testeur ci-dessus. Il récupère le fichier en ligne et vous dit s’il est valide et s’il bloque votre site. Pour vérifier une page, appuyez sur Tester une page précise et choisissez un crawler. Pour essayer un changement avant de le publier, modifiez le fichier dans le testeur ou collez une nouvelle version.
Que signifie « Bloquée par le fichier robots.txt » (Blocked by robots.txt) dans Search Console ?
Google a essayé d’explorer l’URL et une règle Disallow de votre robots.txt le lui a interdit. Si c’est ce que vous voulez, tout va bien. Si vous voulez la page dans la recherche, trouvez la règle avec le testeur, retirez-la ou restreignez-la, et demandez à Google d’explorer à nouveau la page.
Que signifie « Indexée malgré le blocage par le fichier robots.txt » (Indexed, though blocked by robots.txt) ?
Google a ajouté l’URL à son index sans lire la page, généralement parce que d’autres pages font un lien vers elle. Si vous voulez la page dans la recherche, retirez la règle Disallow. Si vous voulez qu’elle disparaisse, autorisez l’exploration et ajoutez une balise noindex. Google ne peut pas voir un noindex sur une page qu’il n’a pas le droit de récupérer.
Le robots.txt empêche-t-il l’indexation d’une page ?
Non. Le robots.txt contrôle l’exploration, pas l’indexation. Une page bloquée peut quand même apparaître dans les résultats sous la forme d’un simple lien. Pour garder une page hors de l’index, laissez les crawlers l’atteindre et marquez-la noindex.
Une règle pour un crawler s’ajoute-t-elle aux règles valables pour tous les crawlers ?
Non, elle les remplace. Un crawler qui trouve un groupe à son nom suit uniquement ce groupe et ignore complètement User-agent: *. Tout ce que vous voulez interdire à ce crawler doit être répété dans son propre groupe.
Quelle règle l’emporte quand Allow et Disallow correspondent tous les deux ?
La règle correspondante la plus longue l’emporte, où qu’elle se trouve dans le fichier. Si un Allow et un Disallow de même longueur correspondent tous les deux, Allow l’emporte. L’ordre des lignes ne compte pas.
Les crawlers IA comme GPTBot respectent-ils le robots.txt ?
Les grands opérateurs disent que leurs crawlers le respectent, et chacun lit le groupe à son nom. Les agents qui récupèrent une page parce qu’une personne l’a demandé sont un autre cas et peuvent ne pas suivre le fichier. Le robots.txt est une demande, donc un blocage qui doit tenir a sa place dans le pare-feu.
llms.txt est-il la même chose que robots.txt ?
Non. Le robots.txt dit aux crawlers où ils peuvent aller. llms.txt est un fichier proposé qui liste les pages que vous aimeriez voir lues par les modèles d’IA. Il n’autorise ni ne bloque rien, et aucun grand assistant n’a confirmé l’utiliser.
Un robots.txt propre laisse entrer les crawlers. Que les assistants nomment ensuite votre marque est une autre question, et le test AI Visibility y répond.