AI-crawler-checker

Wat dit controleert

Twee losse dingen bepalen of een AI-crawler je pagina bereikt, en ze falen onafhankelijk van elkaar.

Het eerste is robots.txt, de beleefde portier. Het is een verzoek en geen slot, en niet elke agent hier houdt zich eraan. Het tweede is wat je server doet als het verzoek daadwerkelijk aankomt. Dat is de firewall-laag, en daar zitten de meeste onbedoelde blokkades, omdat bijna niemand ze met opzet instelt. Een regel die geschreven is om scrapers te stoppen kan een scraper niet onderscheiden van PerplexityBot.

Deze checker bekijkt beide. Hij leest je robots.txt en bepaalt wat elke bot mag, haalt de pagina daarna op met de echte User-Agent van die bot en vergelijkt het antwoord met wat een gewone browser krijgt. Als de twee lagen het niet met elkaar eens zijn, weet je het nu in plaats van maanden later, wanneer je merkt dat niets je citeert.

Eén ding om eerlijk over te zijn. De test loopt vanaf onze servers met de User-Agent-string van elke bot. Echte crawlers komen vanuit hun eigen IP-reeksen, dus een firewall die IP-adressen verifieert kan ze anders behandelen. Zie je hier een blokkade, dan is die echt. Een toegestaan resultaat is een sterk signaal en geen garantie, en bots die doorgaans op IP worden geverifieerd zijn als zodanig gemarkeerd in de resultaten.

Waarom robots.txt maar de helft van het antwoord is

robots.txt lezen vertelt je wat je hebt gevraagd. Het laat je nooit zien wat er werkelijk is gebeurd.

Botbescherming op een CDN, een rate limiter, een landenblokkade of een challenge-pagina kunnen allemaal een AI-crawler weigeren terwijl je robots.txt hem nog steeds binnen nodigt. Niets daarvan staat in het bestand, en meestal komt niets daarvan in je logs terecht, omdat het verzoek wordt afgekapt voordat het je site bereikt.

Het patroon is makkelijk te herkennen als je het eenmaal hebt gezien. Je robots.txt staat GPTBot toe, en GPTBot krijgt toch een 403. Als robots.txt en de werkelijkheid het niet eens zijn, is de 403 wat echt is.

Dit is ook waarom een pagina kan ontbreken in de antwoorden van een assistent terwijl elke technische controle van de site zonder problemen wordt afgerond. Met onze checker voor AI-zichtbaarheid zie je of assistenten je merk daadwerkelijk noemen.

Wat elk resultaat betekent

De resultatentabel heeft twee kolommen en die beantwoorden verschillende vragen, dus de legenda is op dezelfde manier gesplitst. Een Crawlbaarheid-label lezen op de schaal van robots.txt is de snelste manier om het hele rapport verkeerd te begrijpen.

De kolom robots.txt: wat je bestand toestaat

De kolom Crawlbaarheid: wat je server werkelijk deed

Hoe je een crawler deblokkeert

Een regel in robots.txt. Verwijder de Disallow, of voeg een specifiekere Allow toe voor die user agent. De meest specifieke passende regel wint, dus een expliciete Allow voor één bot verslaat een brede Disallow: / die op iedereen is gericht.

Een firewall- of CDN-regel. Niets in de bestanden van je site lost deze op. Op Cloudflare zit het in bot management. Bij andere hosts kijk je onder WAF of botbescherming. Sta de user agent daar toe, en verifieer op IP-reeks als je voorzichtig wilt zijn met bedriegers.

Een challenge-pagina. Stel de user agent vrij van de challenge. Een crawler kan die niet oplossen.

Een noindex in een meta-tag of een X-Robots-Tag-header. De crawler kan de pagina bereiken en heeft te horen gekregen die niet te bewaren. Het is de moeite waard te bevestigen dat dat de bedoeling was, omdat een plugin of een vergeten staging-instelling dit stilletjes doet.

Dezelfde stappen werken andersom. Wil je GPTBot of een andere AI-crawler blokkeren, dan is een Disallow voor die user agent in robots.txt de beleefde manier, en een firewall-regel de manier die het echt afdwingt.

Veelgestelde vragen

Bereikbaar zijn is de eerste vraag. Of de assistenten je ook echt noemen is een andere.

Check je AI-zichtbaarheid