Robots.txt Tester
Controleer of je robots.txt geldig is en je site niet blokkeert. Test daarna elke pagina tegen het bestand.
| Crawler | Toegang | Beslissende regel |
|---|
Wat deze robots.txt tester controleert
Hij begint met twee vragen. Is het bestand geldig? En sluit het crawlers buiten van je site?
Voor de eerste vraag leest hij elke regel. Een verkeerd gespelde directive, een regel zonder groep, een pad dat nooit kan passen, een regel die crawlers overslaan: ze staan allemaal in de lijst, met hun regelnummer. Dat is het validator-deel van de tool, de robots.txt checker.
Voor de tweede past hij de regels toe zoals een crawler dat doet. Sluit één regel de hele site af, dan zie je dat bovenaan, met de regel die het doet. Een tabel toont daarna elke zoek- en AI-crawler en of die naar binnen kan.
Je kunt ook één pagina testen. Kies de URL en de crawler. De tester toont Toegestaan of Geblokkeerd en markeert de regel die de doorslag gaf.
Zodra het bestand is opgehaald, gebeurt al het controleren in je browser. Een bestand dat je plakt of bewerkt, verlaat de pagina nooit.
Robots.txt testen: zo doe je dat
- Vul je site in, of een link naar de robots.txt ervan. De tester haalt het live bestand van die host op.
- Lees de twee regels bovenaan. De ene vertelt je of het bestand geldig is. De andere vertelt je of je site open is voor crawlers of geblokkeerd.
- Los op wat onder Validatie staat. Elk probleem heeft een regelnummer. Klik erop om naar die regel te gaan.
- Bekijk de crawlertabel. Die laat zien welke zoek- en AI-crawlers toegang hebben tot je site, en de regel achter elk antwoord.
- Een specifieke pagina testen. Klik op de knop, vul de pagina in en kies een crawler zoals Googlebot of GPTBot. Je krijgt Toegestaan of Geblokkeerd en de regel die de doorslag gaf.
- Bewerk en test opnieuw. Pas een regel aan en de resultaten veranderen terwijl je typt. Zegt het bestand wat je wilt, kopieer het dan naar je site.
De eerste stap kun je overslaan. Plak een concept van je robots.txt om het te controleren voordat het wordt gepubliceerd. Dat is veiliger dan een live bestand aanpassen dat elke crawler leest.
Hoe regels in robots.txt worden toegepast
De meeste verrassingen komen van een paar regels die nergens in het bestand zelf staan. De tester past ze toe zoals de gepubliceerde standaard en de documentatie van Google ze beschrijven.
Eén groep per crawler
Een crawler zoekt een groep die hem bij naam noemt. Vindt hij er een, dan volgt hij die groep en negeert hij User-agent: * volledig. De twee worden nooit gecombineerd. Blokkeer je dus /admin/ voor iedereen en voeg je daarna een korte groep voor GPTBot toe zonder de blokkade te herhalen, dan staat /admin/ open voor GPTBot.
De langste regel wint
Als meerdere regels op een URL passen, beslist de meest specifieke, en specifiek betekent de langste. De volgorde van de regels maakt niet uit. Als een Allow en een Disallow van dezelfde lengte allebei passen, wint Allow.
Wildcards en het eindanker
* staat voor een willekeurige reeks tekens en $ markeert het einde van de URL. Elke regel past vanaf het begin van het pad, dus Disallow: /blog blokkeert ook /blog-archive/ en /blog.html.
| Regel | Blokkeert | Blokkeert niet |
|---|---|---|
Disallow: / | Elke URL op de host | Niets |
Disallow: | Niets. Een lege waarde staat alles toe | Elke URL |
Disallow: /blog | /blog, /blog/post, /blog-archive/ | /news/blog |
Disallow: /blog/ | /blog/post | /blog, /blog-archive/ |
Disallow: /*.pdf$ | /files/guide.pdf | /files/guide.pdf?v=2 |
Disallow: /*? | Elke URL met een querystring | /shop/ |
Paden zijn hoofdlettergevoelig
Namen van directives en user agents mag je met hoofdletters of kleine letters schrijven. Bij paden kan dat niet. Disallow: /Private/ doet niets voor /private/.
Eén bestand per host
Het bestand moet in de root staan en robots.txt heten. Het geldt alleen voor de host die het aanbiedt, dus shop.example.com en www.example.com hebben elk een eigen bestand nodig.
Robots.txt testen voor AI-crawlers
AI-assistenten lezen je site met hun eigen crawlers, en elke crawler zoekt zijn eigen naam in robots.txt. GPTBot verzamelt pagina's voor training. OAI-SearchBot bouwt de index achter ChatGPT search. Anthropic splitst ClaudeBot en Claude-SearchBot op dezelfde manier. De ene blokkeren is een andere beslissing dan de andere blokkeren.
Veel sites bevatten regels voor deze crawlers die niemand in het team heeft geschreven. Een plugin, een standaardinstelling van de host of een template heeft ze toegevoegd. De crawlertabel laat zien wat je bestand tegen elk van hen zegt, en de paginatest controleert één crawler op één URL.
De groepsregel hierboven telt hier het zwaarst. Een bestand dat GPTBot alleen noemt om hem uit één map te houden, heeft voor hem ook elke regel onder User-agent: * opgeheven.
robots.txt is bovendien alleen de eerste laag. Een firewall of CDN kan een crawler weigeren die je bestand binnen nodigt, en niets in robots.txt laat dat zien. De AI-crawler-checker stuurt een echt verzoek als elke AI-crawler en toont wat je server antwoordt.
Veelgemaakte fouten in robots.txt
Een achtergebleven Disallow: /. Staging-sites blokkeren alles met opzet. Daarna gaat de site live met die regel nog in het bestand, en wordt geen enkele pagina meer gecrawld.
robots.txt gebruiken om een pagina te verbergen. Het stopt het crawlen, niet het indexeren. Een geblokkeerde URL waar andere pagina's naar linken kan nog steeds in de resultaten verschijnen. Een pagina die buiten de zoekresultaten moet blijven heeft een noindex nodig, en crawlers moeten de pagina kunnen bereiken om die te zien.
CSS en JavaScript blokkeren. Google rendert een pagina voordat het die beoordeelt. Als de bestanden die de pagina opbouwen geblokkeerd zijn, ziet Google een kapotte versie.
Regels boven de eerste User-agent-regel. Een regel moet bij een groep horen. Alles wat staat voordat een groep begint, wordt genegeerd.
Een pad zonder slash aan het begin. Disallow: admin past op niets. Het moet Disallow: /admin zijn.
Noindex in robots.txt. Google ondersteunt het daar niet. Het hoort in een meta-tag of een X-Robots-Tag-header.
Vertrouwen op Crawl-delay. Google negeert het. Bing en sommige andere crawlers volgen het.
Een robots.txt die een fout teruggeeft. Een ontbrekend bestand betekent dat crawlers alles mogen ophalen. Een serverfout is een ander verhaal: Google behandelt die als een blokkade van de hele site totdat het bestand terug is.
Geblokkeerd door robots.txt in Search Console
Twee statussen in Google Search Console wijzen naar dit bestand, en ze vragen om tegengestelde oplossingen.
Geblokkeerd door robots.txt (Blocked by robots.txt)
Google probeerde de URL te crawlen en een Disallow-regel hield dat tegen. Was dat je bedoeling, dan valt er niets op te lossen. Hoort de pagina in de zoekresultaten, test hem dan hier met Googlebot geselecteerd, zoek de regel die hem blokkeert en verwijder die regel of maak hem smaller. Is het bestand bijgewerkt, vraag Google dan de pagina opnieuw te crawlen.
Geïndexeerd, maar geblokkeerd door robots.txt (Indexed, though blocked by robots.txt)
Google heeft de URL in de index gezet zonder hem te lezen, meestal omdat andere pagina's ernaar linken. Het resultaat is een kale vermelding zonder beschrijving. Wat je daarna doet hangt af van wat je wilt.
Hoort de pagina in de zoekresultaten, verwijder dan de Disallow zodat Google hem kan lezen. Moet de pagina weg, doe dan wat averechts voelt: sta crawlen toe en voeg een noindex-tag toe. Google ziet geen noindex op een pagina die het niet mag ophalen, dus tegelijk blokkeren en noindexen houdt de URL in de index.
Veelgestelde vragen
Hoe kan ik mijn robots.txt testen?
Vul je site in de tester hierboven in. Die haalt het live bestand op en vertelt je of het geldig is en of het je site blokkeert. Wil je één pagina controleren, klik dan op Een specifieke pagina testen en kies een crawler. Wil je een wijziging proberen voordat je die publiceert, bewerk het bestand dan in de tester of plak een nieuwe versie.
Wat betekent "Geblokkeerd door robots.txt" (Blocked by robots.txt) in Search Console?
Google probeerde de URL te crawlen en een Disallow-regel in je robots.txt verbood dat. Is dat wat je wilt, dan is er niets mis. Wil je de pagina in de zoekresultaten, zoek de regel dan op met de tester, verwijder hem of maak hem smaller, en vraag Google de pagina opnieuw te crawlen.
Wat betekent "Geïndexeerd, maar geblokkeerd door robots.txt" (Indexed, though blocked by robots.txt)?
Google heeft de URL in de index opgenomen zonder de pagina te lezen, meestal omdat andere pagina's ernaar linken. Wil je de pagina in de zoekresultaten, verwijder dan de Disallow-regel. Wil je hem weg hebben, sta crawlen dan toe en voeg een noindex-tag toe. Google ziet geen noindex op een pagina die het niet mag ophalen.
Voorkomt robots.txt dat een pagina wordt geïndexeerd?
Nee. robots.txt regelt het crawlen, niet het indexeren. Een geblokkeerde pagina kan nog steeds als kale link in de resultaten staan. Wil je een pagina buiten de index houden, laat crawlers er dan bij en markeer hem als noindex.
Komt een regel voor één crawler bovenop de regels voor alle crawlers?
Nee, hij vervangt ze. Een crawler die een groep met zijn eigen naam vindt, volgt alleen die groep en negeert User-agent: * volledig. Alles waar je die crawler buiten wilt houden, moet je in zijn eigen groep herhalen.
Welke regel wint als Allow en Disallow allebei passen?
De langste passende regel wint, waar hij ook in het bestand staat. Als een Allow en een Disallow van dezelfde lengte allebei passen, wint Allow. De volgorde van de regels maakt niet uit.
Houden AI-crawlers zoals GPTBot zich aan robots.txt?
De grote aanbieders zeggen dat hun crawlers dat doen, en elke crawler leest de groep met zijn eigen naam. Agents die een pagina ophalen omdat een persoon erom vroeg zijn een ander geval en volgen het bestand misschien niet. robots.txt is een verzoek, dus een blokkade die moet standhouden hoort in de firewall.
Is llms.txt hetzelfde als robots.txt?
Nee. robots.txt vertelt crawlers waar ze mogen komen. llms.txt is een voorgesteld bestand met de pagina's die je AI-modellen graag laat lezen. Het staat niets toe en blokkeert niets, en geen enkele grote assistent heeft bevestigd het te gebruiken.
Een schone robots.txt laat de crawlers binnen. Of de assistenten daarna je merk noemen is een andere vraag, en de AI Visibility-check beantwoordt die.