Robots.txt Tester
Prüfe, ob deine robots.txt gültig ist und deine Website nicht blockiert. Teste danach jede beliebige Seite gegen die Datei.
| Crawler | Zugriff | Entscheidende Regel |
|---|
Was dieser robots.txt Tester prüft
Er beginnt mit zwei Fragen. Ist die Datei gültig? Und sperrt sie Crawler von deiner Website aus?
Für die erste liest er jede Zeile. Eine falsch geschriebene Direktive, eine Regel ohne Gruppe, ein Pfad, der nie passen kann, eine Zeile, die Crawler überspringen: Alles wird mit Zeilennummer aufgelistet. Das ist der Teil, der die robots.txt validiert.
Für die zweite wendet er die Regeln so an wie ein Crawler. Wenn eine einzige Zeile die ganze Website schließt, siehst du das ganz oben, zusammen mit der Zeile, die es tut. Eine Tabelle zeigt dann jeden Such- und KI-Crawler und ob er hineinkommt.
Du kannst auch eine einzelne Seite testen. Wähl die URL und den Crawler. Der Tester zeigt Erlaubt oder Blockiert und hebt die Regel hervor, die entschieden hat.
Sobald die Datei abgerufen ist, läuft die gesamte Prüfung in deinem Browser. Eine Datei, die du einfügst oder bearbeitest, verlässt die Seite nie.
So kannst du eine robots.txt testen
- Gib deine Website oder einen Link zu ihrer robots.txt ein. Der Tester ruft die Live-Datei von diesem Host ab.
- Lies die beiden Zeilen ganz oben. Die eine sagt dir, ob die Datei gültig ist. Die andere sagt dir, ob deine Website für Crawler offen oder blockiert ist.
- Behebe, was unter Validierung steht. Jedes Problem hat eine Zeilennummer. Klick darauf, um zu dieser Zeile zu springen.
- Sieh dir die Crawler-Tabelle an. Sie zeigt, welche Such- und KI-Crawler auf deine Website zugreifen können, und die Regel hinter jeder Antwort.
- Teste eine einzelne Seite. Klick auf den Button, gib die Seite ein und wähl einen Crawler wie Googlebot oder GPTBot. Du bekommst Erlaubt oder Blockiert und die Zeile, die entschieden hat.
- Bearbeite und teste erneut. Ändere eine Regel, und die Ergebnisse aktualisieren sich beim Tippen. Sobald die Datei sagt, was du willst, kopier sie auf deine Website.
Den ersten Schritt kannst du überspringen. Füge einen Entwurf ein, um die robots.txt zu prüfen, bevor sie veröffentlicht wird. Das ist sicherer, als eine Live-Datei zu ändern, die jeder Crawler liest.
Wie robots.txt-Regeln angewendet werden
Die meisten Überraschungen kommen von ein paar Regeln, die in der Datei selbst nirgends stehen. Der Tester wendet sie so an, wie der veröffentlichte Standard und die Dokumentation von Google sie beschreiben.
Eine Gruppe pro Crawler
Ein Crawler sucht nach einer Gruppe, die ihn beim Namen nennt. Findet er eine, folgt er dieser Gruppe und ignoriert User-agent: * vollständig. Die beiden werden nie kombiniert. Wenn du also /admin/ für alle blockierst und dann eine kurze Gruppe für GPTBot hinzufügst, ohne die Sperre zu wiederholen, ist /admin/ für GPTBot offen.
Die längste Regel gewinnt
Wenn mehrere Regeln auf eine URL passen, entscheidet die spezifischste, und spezifisch heißt: die längste. Die Reihenfolge der Zeilen spielt keine Rolle. Wenn ein Allow und ein Disallow gleicher Länge beide passen, gewinnt Allow.
Platzhalter und der Endanker
* steht für eine beliebige Zeichenfolge und $ markiert das Ende der URL. Jede Regel greift ab dem Anfang des Pfads, deshalb blockiert Disallow: /blog auch /blog-archive/ und /blog.html.
| Regel | Blockiert | Blockiert nicht |
|---|---|---|
Disallow: / | Jede URL auf dem Host | Nichts |
Disallow: | Nichts. Ein leerer Wert erlaubt alles | Jede URL |
Disallow: /blog | /blog, /blog/post, /blog-archive/ | /news/blog |
Disallow: /blog/ | /blog/post | /blog, /blog-archive/ |
Disallow: /*.pdf$ | /files/guide.pdf | /files/guide.pdf?v=2 |
Disallow: /*? | Jede URL mit Query-String | /shop/ |
Bei Pfaden zählt Groß- und Kleinschreibung
Namen von Direktiven und User-Agents kannst du groß oder klein schreiben. Pfade nicht. Disallow: /Private/ bewirkt nichts für /private/.
Eine Datei pro Host
Die Datei muss im Stammverzeichnis liegen und robots.txt heißen. Sie gilt nur für den Host, von dem sie ausgeliefert wird, deshalb brauchen shop.example.com und www.example.com jeweils eine eigene.
robots.txt für KI-Crawler testen
KI-Assistenten lesen deine Website mit eigenen Crawlern, und jeder sucht in der robots.txt nach seinem eigenen Namen. GPTBot sammelt Seiten für das Training. OAI-SearchBot baut den Index hinter der ChatGPT-Suche. Anthropic trennt ClaudeBot und Claude-SearchBot genauso. Den einen zu blockieren ist eine andere Entscheidung als den anderen zu blockieren.
Viele Websites tragen Regeln für diese Crawler mit sich, die niemand im Team geschrieben hat. Ein Plugin, eine Voreinstellung des Hosters oder ein Template hat sie hinzugefügt. Die Crawler-Tabelle zeigt, was deine Datei jedem von ihnen sagt, und der Seitentest prüft einen Crawler auf einer URL.
Die Gruppenregel von oben zählt hier am meisten. Eine Datei, die GPTBot nur nennt, um ihn aus einem Ordner herauszuhalten, hat für ihn zugleich jede Regel unter User-agent: * aufgehoben.
Die robots.txt ist außerdem nur die erste Schicht. Eine Firewall oder ein CDN kann einen Crawler abweisen, den deine Datei hereinbittet, und nichts in der robots.txt zeigt das. Der KI-Crawler-Checker sendet eine echte Anfrage als jeder KI-Crawler und zeigt, was dein Server antwortet.
Häufige Fehler in der robots.txt
Ein vergessenes Disallow: /. Staging-Websites blockieren absichtlich alles. Dann geht die Website mit dieser Regel in der Datei live, und jede Seite fällt aus dem Crawling.
Eine Seite mit der robots.txt verstecken. Sie stoppt das Crawling, nicht die Indexierung. Eine blockierte URL, auf die andere Seiten verlinken, kann trotzdem in den Ergebnissen erscheinen. Eine Seite, die aus der Suche herausbleiben muss, braucht ein noindex, und Crawler müssen die Seite erreichen können, um es zu sehen.
CSS und JavaScript blockieren. Google rendert eine Seite, bevor es sie bewertet. Wenn die Dateien, die die Seite aufbauen, gesperrt sind, sieht Google eine kaputte Version.
Regeln oberhalb der ersten User-agent-Zeile. Eine Regel muss zu einer Gruppe gehören. Alles, was vor dem Beginn einer Gruppe steht, wird ignoriert.
Ein Pfad ohne führenden Schrägstrich. Disallow: admin passt auf nichts. Es muss Disallow: /admin heißen.
Noindex in der robots.txt. Google unterstützt es dort nicht. Es gehört in ein Meta-Tag oder einen X-Robots-Tag-Header.
Sich auf Crawl-delay verlassen. Google ignoriert es. Bing und einige andere Crawler halten sich daran.
Eine robots.txt, die einen Fehler zurückgibt. Eine fehlende Datei heißt, dass Crawler alles abrufen dürfen. Ein Serverfehler ist etwas anderes: Google behandelt ihn als Sperre für die gesamte Website, bis die Datei wieder da ist.
Durch robots.txt-Datei blockiert in der Search Console
Zwei Status in der Google Search Console verweisen auf diese Datei, und sie verlangen entgegengesetzte Lösungen.
Durch robots.txt-Datei blockiert (Blocked by robots.txt)
Google wollte die URL crawlen, und eine Disallow-Regel hat es gestoppt. Wenn du das so wolltest, gibt es nichts zu beheben. Wenn die Seite in der Suche erscheinen soll, teste sie hier mit Googlebot als Auswahl, finde die Zeile, die sie blockiert, und entferne die Regel oder fasse sie enger. Sobald die Datei aktualisiert ist, bitte Google, die Seite erneut zu crawlen.
Indexiert, obwohl durch robots.txt-Datei blockiert (Indexed, though blocked by robots.txt)
Google hat die URL in den Index aufgenommen, ohne sie zu lesen, meist weil andere Seiten auf sie verlinken. Das Ergebnis ist ein nackter Eintrag ohne Beschreibung. Was du als Nächstes tust, hängt davon ab, was du willst.
Wenn die Seite in der Suche erscheinen soll, entferne das Disallow, damit Google sie lesen kann. Wenn die Seite verschwinden soll, tu das, was sich verkehrt anfühlt: Erlaube das Crawling und setze ein noindex-Tag. Google kann ein noindex auf einer Seite nicht sehen, die es nicht abrufen darf. Wer gleichzeitig blockiert und auf noindex setzt, hält die URL also im Index.
Häufige Fragen
Wie teste ich meine robots.txt?
Gib deine Website oben in den Tester ein. Er ruft die Live-Datei ab und sagt dir, ob sie gültig ist und ob sie deine Website blockiert. Um eine einzelne Seite zu prüfen, klick auf Einzelne Seite testen und wähl einen Crawler. Um eine Änderung vor der Veröffentlichung auszuprobieren, bearbeite die Datei im Tester oder füge eine neue Version ein.
Was bedeutet „Durch robots.txt-Datei blockiert“ (Blocked by robots.txt) in der Search Console?
Google wollte die URL crawlen, und eine Disallow-Regel in deiner robots.txt hat es untersagt. Wenn du das so willst, ist alles in Ordnung. Wenn die Seite in der Suche erscheinen soll, finde die Regel mit dem Tester, entferne sie oder fasse sie enger und bitte Google, die Seite erneut zu crawlen.
Was bedeutet „Indexiert, obwohl durch robots.txt-Datei blockiert“ (Indexed, though blocked by robots.txt)?
Google hat die URL in den Index aufgenommen, ohne die Seite zu lesen, meist weil andere Seiten auf sie verlinken. Wenn die Seite in der Suche erscheinen soll, entferne die Disallow-Regel. Wenn sie verschwinden soll, erlaube das Crawling und setze ein noindex-Tag. Google kann ein noindex auf einer Seite nicht sehen, die es nicht abrufen darf.
Verhindert die robots.txt, dass eine Seite indexiert wird?
Nein. Die robots.txt steuert das Crawling, nicht die Indexierung. Eine blockierte Seite kann trotzdem als nackter Link in den Ergebnissen auftauchen. Um eine Seite aus dem Index herauszuhalten, lass Crawler sie erreichen und kennzeichne sie mit noindex.
Kommt eine Regel für einen einzelnen Crawler zu den Regeln für alle Crawler hinzu?
Nein, sie ersetzt sie. Ein Crawler, der eine Gruppe mit seinem eigenen Namen findet, folgt nur dieser Gruppe und ignoriert User-agent: * vollständig. Alles, wovon dieser Crawler fernbleiben soll, muss in seiner eigenen Gruppe wiederholt werden.
Welche Regel gewinnt, wenn Allow und Disallow beide passen?
Die längste passende Regel gewinnt, egal wo sie in der Datei steht. Wenn ein Allow und ein Disallow gleicher Länge beide passen, gewinnt Allow. Die Reihenfolge der Zeilen spielt keine Rolle.
Halten sich KI-Crawler wie GPTBot an die robots.txt?
Die großen Betreiber sagen, dass ihre Crawler es tun, und jeder liest die Gruppe mit seinem eigenen Namen. Agenten, die eine Seite abrufen, weil eine Person darum gebeten hat, sind ein anderer Fall und halten sich möglicherweise nicht an die Datei. Die robots.txt ist eine Bitte, deshalb gehört eine Sperre, die halten muss, in die Firewall.
Ist llms.txt dasselbe wie robots.txt?
Nein. Die robots.txt sagt Crawlern, wohin sie dürfen. llms.txt ist eine vorgeschlagene Datei, die die Seiten auflistet, die KI-Modelle lesen sollen. Sie erlaubt und blockiert nichts, und kein großer Assistent hat bestätigt, sie zu nutzen.
Eine saubere robots.txt lässt die Crawler herein. Ob die Assistenten dann deine Marke nennen, ist eine andere Frage, und der AI Visibility Check beantwortet sie.