KI-Crawler-Checker
Sieh, welche KI-Crawler deine Website erreichen können und welche abgewiesen werden.
| Bot | robots.txt | Crawlbarkeit |
|---|
robots.txt wie abgerufen
Was hier geprüft wird
Zwei getrennte Dinge entscheiden, ob ein KI-Crawler deine Seite erreicht, und sie scheitern unabhängig voneinander.
Das erste ist die robots.txt, der höfliche Türsteher. Sie ist eine Bitte und kein Schloss, und nicht jeder Agent hier hält sich daran. Das zweite ist, was dein Server tut, wenn die Anfrage tatsächlich ankommt. Das ist die Firewall-Schicht, und dort sitzen die meisten versehentlichen Sperren, weil sie fast niemand mit Absicht setzt. Eine Regel, die Scraper abwehren soll, kann einen Scraper nicht von PerplexityBot unterscheiden.
Dieser Checker prüft beides. Er liest deine robots.txt und ermittelt, was jeder Bot darf, ruft die Seite dann mit dem echten User-Agent dieses Bots ab und vergleicht die Antwort mit dem, was ein gewöhnlicher Browser bekommt. Wenn die beiden Schichten nicht übereinstimmen, erfährst du es jetzt und nicht Monate später, wenn dir auffällt, dass dich nichts zitiert.
Eines muss klar gesagt werden. Der Test läuft von unseren Servern mit dem User-Agent-String des jeweiligen Bots. Echte Crawler kommen aus ihren eigenen IP-Bereichen, deshalb kann eine Firewall, die IP-Adressen prüft, sie anders behandeln. Wenn du hier eine Sperre siehst, ist sie echt. Ein erlaubtes Ergebnis ist ein starkes Signal und keine Garantie, und Bots, die üblicherweise per IP verifiziert werden, sind in den Ergebnissen entsprechend markiert.
Die KI-Crawler, die wir prüfen
Nicht jeder User-Agent hier macht dasselbe. Manche sammeln Seiten für das Training. Manche bauen den Index hinter der Suche eines Assistenten. Andere tauchen nur auf, wenn eine Person den Assistenten bittet, einen Link zu öffnen. Den einen zu blockieren ist eine andere Entscheidung als den anderen zu blockieren, und die Ergebnisse sind nicht austauschbar.
| User-Agent | Betreiber | Was er tut | Wenn du ihn blockierst |
|---|---|---|---|
GPTBot | OpenAI | Sammelt Seiten für das Modelltraining | Deine Inhalte bleiben aus dem Training heraus |
OAI-SearchBot | OpenAI | Baut den Index hinter der ChatGPT-Suche | Die ChatGPT-Suche zeigt dich nicht mehr |
ChatGPT-User | OpenAI | Ruft eine Seite ab, wenn jemand ChatGPT bittet, sie zu öffnen | ChatGPT kann einen Link, den ein Nutzer eingefügt hat, nicht lesen |
ClaudeBot | Anthropic | Sammelt Seiten für das Modelltraining | Deine Inhalte bleiben aus dem Training heraus |
Claude-SearchBot | Anthropic | Indexiert Seiten für die Suchergebnisse von Claude | Claude zitiert dich nicht mehr in Antworten |
Claude-User | Anthropic | Ruft eine Seite ab, wenn jemand Claude bittet, sie zu öffnen | Claude kann einen Link, den ein Nutzer eingefügt hat, nicht lesen |
PerplexityBot | Perplexity | Indexiert Seiten für Perplexity-Antworten | Perplexity zitiert dich nicht mehr |
Perplexity-User | Perplexity | Ruft eine Seite als Antwort auf eine Frage ab | Perplexity kann eine Seite, nach der ein Nutzer gefragt hat, nicht öffnen |
Googlebot | Der Suchindex, der auch AI Overviews speist | Du verschwindest aus der Google-Suche | |
Bingbot | Microsoft | Der Bing-Index, der Copilot speist | Du verschwindest aus Bing und aus Copilot |
Applebot | Apple | Treibt die Suche in Siri, Spotlight und Safari an | Apples Assistenten finden dich nicht mehr |
Meta-ExternalAgent | Meta | Sammelt Seiten für Metas Modelle und indexiert manche Inhalte direkt | Deine Inhalte bleiben aus Metas Training heraus |
Meta-WebIndexer | Meta | Indexiert Seiten für die Suchergebnisse von Meta AI | Meta AI zitiert und verlinkt dich nicht mehr |
DuckAssistBot | DuckDuckGo | Speist die Assistenten-Antworten von DuckDuckGo und wird nicht für das Training genutzt | DuckAssist nutzt deine Seiten nicht mehr |
MistralAI-Training | Mistral | Sammelt Seiten für das Modelltraining | Deine Inhalte bleiben aus Mistrals Training heraus |
MistralAI-Index | Mistral | Indexiert Seiten für die Suche hinter Mistrals Assistenten | Mistrals Assistent zeigt dich nicht mehr |
MistralAI-User | Mistral | Ruft eine Seite ab, wenn jemand Mistrals Assistenten bittet, sie zu öffnen | Der Assistent kann einen Link, den ein Nutzer eingefügt hat, nicht lesen |
CCBot | Common Crawl | Baut das offene Crawl-Archiv, mit dem viele Modelle trainieren | Du fehlst in einem Datensatz, der in der ganzen Branche genutzt wird |
Google-Extended | Eine robots.txt-Direktive, kein Crawler. Entscheidet, ob Google deine Seiten für Gemini nutzen darf | Deine Seiten bleiben in der Google-Suche und in AI Overviews, aber Google darf sie nicht nutzen, um Gemini zu trainieren oder zu stützen | |
Applebot-Extended | Apple | Eine robots.txt-Direktive, kein Crawler. Entscheidet, ob Apple mit deinen Seiten trainieren darf | Siri, Spotlight und Safari nutzen deine Seiten weiter, Apple trainiert seine Modelle nicht mehr damit |
Training und Suche sind getrennte Entscheidungen
GPTBot zu blockieren und OAI-SearchBot zu erlauben hält dich aus den Trainingsdaten heraus und in den Suchergebnissen von ChatGPT. Anthropic trennt ClaudeBot und Claude-SearchBot genauso, Meta trennt Meta-ExternalAgent und Meta-WebIndexer, und Mistral betreibt je einen eigenen Agenten für Training, Suche und Nutzeranfragen. Viele Websites blockieren am Ende versehentlich alles, obwohl sie nur aus dem Training aussteigen wollten.
Die Agenten, die auf User enden, sind keine Crawler
ChatGPT-User, Claude-User, Perplexity-User und MistralAI-User werden nur aktiv, wenn jemand deinen Link bereits eingefügt und den Assistenten gebeten hat, ihn zu lesen. Sie zu blockieren schützt nichts vor dem Training. Es hält niemanden auf außer der Person, die deine Seite lesen wollte.
Ob eine Sperre in der robots.txt bei ihnen überhaupt greift, hängt vom Betreiber ab. Anthropic und Mistral halten sich bei diesen Agenten an die Datei. OpenAI sagt, die Regeln gelten möglicherweise nicht, weil die Anfrage von einer Person kam und nicht von einem Crawl. Perplexity sagt, sein Abrufdienst ignoriert sie im Allgemeinen. Eine Sperre, die halten muss, gehört in die Firewall.
Die letzten beiden sind Direktiven, keine Crawler
Google-Extended und Applebot-Extended senden nie eine Anfrage. Sie stehen in der robots.txt und sagen Google und Apple, was mit Seiten geschehen darf, die ihre normalen Crawler bereits abgerufen haben. Es gibt keinen Crawler, dessen Anfrage sich simulieren ließe, deshalb bewertet der Checker diese Direktiven nur anhand der robots.txt und markiert sie als ohne Live-Abruf.
Google-Extended lohnt einen zweiten Blick. Ihn zu blockieren berührt deine Google-Rankings nicht und entfernt dich nicht aus AI Overviews, denn beides läuft über Googlebot. Was es verhindert, ist, dass Gemini deine Inhalte nutzt.
Apple greift auf Googlebot zurück
Wenn deine robots.txt Applebot nie nennt, aber Googlebot schon, folgt Apple den Googlebot-Regeln. Der Bericht sagt das in der betreffenden Zeile, wenn es passiert. Es ist gut zu wissen, denn ein Disallow, das du mit Google im Kopf geschrieben hast, gilt still auch für Siri, Spotlight und Safari, und nichts in deiner Datei sagt das laut.
Ein User-Agent ist eine Behauptung, keine Identität
Die meisten Betreiber hier sagen, sie respektieren die robots.txt, mit den oben genannten Ausnahmen, und in einem User-Agent-String kann jeder alles behaupten. Wenn du Gewissheit statt Kooperation brauchst, verifiziere per IP-Bereich oder Reverse-DNS. Die großen Betreiber veröffentlichen ihre IP-Bereiche oder Angaben zur Reverse-DNS-Verifizierung.
Warum die robots.txt nur die halbe Antwort ist
Die robots.txt zu lesen sagt dir, was du verlangt hast. Sie zeigt dir nie, was tatsächlich passiert ist.
Bot-Schutz auf einem CDN, ein Rate-Limiter, eine Ländersperre oder eine Challenge-Seite können alle einen KI-Crawler abweisen, während deine robots.txt ihn noch hereinbittet. Nichts davon steht in der Datei, und meistens landet auch nichts davon in deinen Logs, weil die Anfrage abgeschnitten wird, bevor sie deine Website erreicht.
Das Muster ist leicht zu erkennen, wenn man es einmal gesehen hat. Deine robots.txt erlaubt GPTBot, und GPTBot bekommt trotzdem einen 403. Wenn robots.txt und Realität nicht übereinstimmen, ist der 403 das Echte.
Das ist auch der Grund, warum eine Seite in den Antworten eines Assistenten fehlen kann, während jede technische Prüfung der Website sauber durchläuft. Mit unserem Check für KI-Sichtbarkeit siehst du, ob die Assistenten deine Marke tatsächlich nennen.
Was jedes Ergebnis bedeutet
Die Ergebnistabelle hat zwei Spalten, und sie beantworten verschiedene Fragen, deshalb ist die Legende passend aufgeteilt. Ein Crawlbarkeits-Label mit der robots.txt-Skala zu lesen ist der schnellste Weg, den ganzen Bericht falsch zu verstehen.
Die Spalte robots.txt: was deine Datei erlaubt
| Ergebnis | Was es bedeutet |
|---|---|
| Erlaubt | Deine robots.txt lässt diesen Bot die getestete Seite crawlen |
| Blockiert | Eine Regel in der robots.txt schließt diese Seite für diesen Bot. Die Zeile zeigt, welche Regel es war, und die Lösung liegt in der Datei |
| Teilweise blockiert | Die getestete Seite ist für diesen Bot offen, aber die robots.txt hat anderswo auf der Website Regeln, die auf ihn zielen. Die Zeile zeigt, welche Regeln und aus welcher Gruppe sie stammen, damit du prüfen kannst, ob du sie wirklich geschlossen halten wolltest |
Die Spalte Crawlbarkeit: was dein Server tatsächlich getan hat
| Ergebnis | Was es bedeutet |
|---|---|
| Crawlbar (mit dem HTTP-Status) | Die Anfrage des Bots ging durch und dein Server hat normal geantwortet |
| Blockiert (mit dem HTTP-Status) | Die Anfrage wurde abgewiesen. Die robots.txt ist nicht die Ursache, also sieh dir deine Firewall-, WAF- oder CDN-Regeln an |
| Prüfen | Ein Bot, der normalerweise per IP-Adresse verifiziert wird, wurde abgewiesen. Unser Test kommt nicht aus dem eigenen IP-Bereich dieses Bots, also kann das deine korrekt arbeitende Firewall sein und kein Problem |
| Fehler (mit dem HTTP-Status) | Die Seite hat einen Fehler zurückgegeben und keine Sperre. Ein 404 heißt meist, dass die URL falsch ist, ein 500, dass etwas auf deiner Website nicht funktioniert. Keines von beiden ist ein Crawler-Problem |
| Keine Antwort | Es kam gar nichts zurück. Ein Timeout oder eine abgebrochene Verbindung, was auf das Netzwerk oder eine sehr aggressive Sperre hindeutet |
| Kein Live-Abruf | Eine robots.txt-Direktive und kein Crawler, also gibt es nichts, an das man eine Anfrage senden könnte. Das robots.txt-Urteil ist die ganze Antwort |
| Nicht getestet | Du hast diesen Bot nicht ausgewählt, also wurde keine Live-Anfrage gesendet. Sein robots.txt-Urteil gilt trotzdem |
So entsperrst du einen Crawler
Eine Regel in der robots.txt. Entferne das Disallow oder füge ein spezifischeres Allow für diesen User-Agent hinzu. Die spezifischste passende Regel gewinnt, also schlägt ein ausdrückliches Allow für einen Bot ein pauschales Disallow: /, das auf alle zielt.
Eine Firewall- oder CDN-Regel. Nichts in den Dateien deiner Website behebt das. Bei Cloudflare sitzt es im Bot-Management. Bei anderen Anbietern such unter WAF oder Bot-Schutz. Erlaube den User-Agent dort und verifiziere per IP-Bereich, wenn du bei Nachahmern vorsichtig sein willst.
Eine Challenge-Seite. Nimm den User-Agent von der Challenge aus. Ein Crawler kann sie nicht lösen.
Ein noindex in einem Meta-Tag oder ein X-Robots-Tag-Header. Der Crawler erreicht die Seite und wurde angewiesen, sie nicht zu behalten. Es lohnt sich zu bestätigen, dass das Absicht war, denn ein Plugin oder eine vergessene Staging-Einstellung kann das unbemerkt bewirken.
Dieselben Schritte funktionieren umgekehrt. Wenn du GPTBot oder einen anderen KI-Crawler blockieren willst, ist ein Disallow für diesen User-Agent in der robots.txt der höfliche Weg, und eine Firewall-Regel ist der, der es tatsächlich durchsetzt.
Häufige Fragen
Was ist KI-Crawlbarkeit?
Ob KI-Crawler deine Seiten erreichen und lesen können. Dazu gehören die robots.txt und alles andere, was zwischen einem Bot und deinen Inhalten liegt, und es ist die erste Voraussetzung für alles Weitere. LLM-Crawlbarkeit ist dieselbe Idee unter einem anderen Namen.
Halten sich KI-Crawler an die robots.txt?
Für die Crawler, die Seiten automatisch abrufen, sagen die großen Betreiber ja. Die Agenten, die eine Seite abrufen, weil eine Person darum gebeten hat, sind ein anderer Fall, und OpenAI wie Perplexity sagen beide, dass die robots.txt sie möglicherweise nicht aufhält. Erzwungen wird davon so oder so nichts. Die robots.txt ist eine Bitte, kein Schloss.
Kann ich KI-Training blockieren und trotzdem in KI-Suchergebnissen bleiben?
Ja, und genau das wollen die meisten Website-Betreiber eigentlich. Blockiere GPTBot und ClaudeBot, um aus dem Training herauszubleiben, und erlaube OAI-SearchBot und Claude-SearchBot, damit die Assistenten dich weiterhin finden und zitieren können.
Schadet das Blockieren von KI-Crawlern meinem SEO?
Nein. GPTBot, ClaudeBot und die anderen KI-Crawler haben nichts mit Google-Rankings zu tun, und sie zu blockieren ändert nichts an deiner Position in der Suche. Googlebot zu blockieren ist eine völlig andere Sache.
Warum besteht meine Website die robots.txt-Prüfung und wird trotzdem blockiert?
Weil die robots.txt nur die erste Schicht ist. Eine Firewall-, WAF- oder CDN-Regel kann die Anfrage abweisen, bevor sie deinen Server erreicht, und diese Sperre ist weder in deiner robots.txt noch in deinen Logs zu sehen.
Ist GPTBot dasselbe wie OAI-SearchBot?
Nein. GPTBot sammelt Seiten für das Training. OAI-SearchBot baut den Index hinter der ChatGPT-Suche. Du kannst den einen erlauben und den anderen blockieren.
Warum zitiert ChatGPT meine Website oder Marke nicht?
Erreichbar zu sein ist die erste Voraussetzung, also prüfe zuerst, dass OAI-SearchBot nicht blockiert ist. Wenn der Zugang in Ordnung ist, liegt es meistens daran, dass ChatGPT die Antwort woanders findet und keinen Grund hat, auf dich zurückzugreifen.
Wie bringe ich meine Website in ChatGPT?
Stell sicher, dass die Crawler dich lesen können, und arbeite dann daran, zitierwürdig zu sein. Assistenten stützen sich auf Quellen, die sie anderswo schon zitiert gesehen haben, deshalb zählen Erwähnungen auf Seiten, denen sie bereits vertrauen, mehr als alles auf deinen eigenen Seiten.
Erreichbar zu sein ist die erste Frage. Ob die Assistenten dich tatsächlich nennen, ist eine andere.