Robots.txt Tester

Kontrola robots.txt ukáže, zda je soubor platný a neblokuje váš web. Pak podle něj otestujte libovolnou stránku.

nebo a otestujte ho před zveřejněním

Je to zdarma

Co tento robots.txt tester kontroluje

Začíná dvěma otázkami. Je soubor platný? A nezavírá crawlerům cestu na váš web?

Kvůli té první přečte každý řádek. Překlep v direktivě, pravidlo bez skupiny, cesta, která nemůže nikdy odpovídat, řádek, který crawlery přeskočí: každý takový případ je vypsán s číslem řádku. To je kontrola platnosti, tedy práce, kterou dělá robots.txt checker.

Kvůli té druhé uplatní pravidla tak, jak to dělá crawler. Pokud jediný řádek zavírá celý web, uvidíte to nahoře i s řádkem, který to způsobuje. Tabulka pak ukáže každý vyhledávací i AI crawler a to, zda se dostane dovnitř.

Otestovat můžete i jednu stránku. Vyberte URL a crawler. Tester ukáže Povoleno nebo Blokováno a zvýrazní pravidlo, které rozhodlo.

Jakmile je soubor stažen, celá kontrola probíhá ve vašem prohlížeči. Soubor, který vložíte nebo upravíte, stránku nikdy neopustí.

Jak otestovat robots.txt

  1. Zadejte svůj web nebo odkaz na jeho robots.txt. Tester stáhne aktuální soubor z daného hostitele.
  2. Přečtěte si dva řádky nahoře. První říká, zda je soubor platný. Druhý říká, zda je váš web crawlerům otevřený, nebo blokovaný.
  3. Opravte, co je uvedeno v části Validace. Každý problém má číslo řádku. Kliknutím na něj přejdete na daný řádek.
  4. Projděte tabulku crawlerů. Ukazuje, které vyhledávací a AI crawlery mají přístup na váš web, a pravidlo, které za každou odpovědí stojí.
  5. Otestujte konkrétní stránku. Stiskněte tlačítko, zadejte stránku a vyberte crawler, například Googlebot nebo GPTBot. Dostanete Povoleno nebo Blokováno a řádek, který rozhodl.
  6. Upravte soubor a testujte znovu. Změňte pravidlo a výsledky se aktualizují během psaní. Až soubor říká to, co chcete, zkopírujte ho na svůj web.

První krok můžete přeskočit. Vložte koncept robots.txt a zkontrolujte ho před zveřejněním. Je to bezpečnější než měnit ostrý soubor, který čte každý crawler.

Jak se pravidla v robots.txt vyhodnocují

Většina překvapení plyne z několika zásad, které soubor sám nikde neuvádí. Tester je uplatňuje tak, jak je popisují zveřejněný standard a dokumentace Googlu.

Jedna skupina na crawler

Crawler hledá skupinu, která ho jmenuje. Pokud ji najde, řídí se touto skupinou a User-agent: * zcela ignoruje. Ty dvě skupiny se nikdy nespojují. Když tedy zablokujete /admin/ všem a potom přidáte krátkou skupinu pro GPTBot, aniž blokaci zopakujete, je /admin/ pro GPTBot otevřený.

Vyhrává nejdelší pravidlo

Když URL odpovídá několik pravidel, rozhoduje to nejkonkrétnější, a nejkonkrétnější znamená nejdelší. Na pořadí řádků nezáleží. Pokud odpovídá Allow i Disallow stejné délky, vyhrává Allow.

Zástupné znaky a kotva konce

* zastupuje libovolnou posloupnost znaků a $ označuje konec URL. Každé pravidlo se porovnává od začátku cesty, takže Disallow: /blog blokuje také /blog-archive/ a /blog.html.

PravidloBlokujeNeblokuje
Disallow: /Každou URL na hostiteliNic
Disallow:Nic. Prázdná hodnota povoluje všeKaždou URL
Disallow: /blog/blog, /blog/post, /blog-archive//news/blog
Disallow: /blog//blog/post/blog, /blog-archive/
Disallow: /*.pdf$/files/guide.pdf/files/guide.pdf?v=2
Disallow: /*?Každou URL s řetězcem dotazu/shop/

V cestách záleží na velikosti písmen

Názvy direktiv a user agentů lze psát malými i velkými písmeny. Cesty ne. Disallow: /Private/ s /private/ nic neudělá.

Jeden soubor na hostitele

Soubor musí ležet v kořenu a jmenovat se robots.txt. Platí jen pro hostitele, ze kterého je poskytován, takže shop.example.com a www.example.com potřebují každý svůj vlastní.

Test robots.txt pro AI crawlery

AI asistenti čtou váš web vlastními crawlery a každý z nich hledá v robots.txt své jméno. GPTBot sbírá stránky pro trénování. OAI-SearchBot staví index, na kterém běží vyhledávání v ChatGPT. Anthropic stejně odděluje ClaudeBot a Claude-SearchBot. Blokovat jednoho je jiné rozhodnutí než blokovat druhého.

Spousta webů má pro tyto crawlery pravidla, která nikdo z týmu nenapsal. Přidal je plugin, výchozí nastavení hostingu nebo šablona. Tabulka crawlerů ukáže, co váš soubor každému z nich říká, a test stránky ověří jeden crawler na jedné URL.

Zásada o skupinách popsaná výše je tu nejdůležitější. Soubor, který jmenuje GPTBot jen proto, aby ho nepustil do jedné složky, mu zároveň zrušil všechna pravidla pod User-agent: *.

robots.txt je navíc jen první vrstva. Firewall nebo CDN může odmítnout crawler, který váš soubor zve dovnitř, a v robots.txt to nic neukáže. Kontrola AI crawlerů pošle skutečný požadavek jako každý AI crawler a ukáže, co váš server odpoví.

Časté chyby v robots.txt

Zapomenuté Disallow: /. Testovací weby blokují všechno záměrně. Pak se web spustí s tímto pravidlem stále v souboru a každá stránka vypadne z procházení.

Skrývání stránky pomocí robots.txt. Zastaví procházení, ne indexování. Blokovaná URL, na kterou odkazují jiné stránky, se ve výsledcích objevit může. Stránka, která má zůstat mimo vyhledávání, potřebuje noindex, a crawlery se na ni musí dostat, aby ho viděly.

Blokování CSS a JavaScriptu. Google stránku vykreslí, než ji posoudí. Pokud jsou soubory, ze kterých se stránka skládá, zakázané, Google vidí rozbitou verzi.

Pravidla nad prvním řádkem User-agent. Pravidlo musí patřit do skupiny. Vše, co je napsáno před začátkem skupiny, je ignorováno.

Cesta bez úvodního lomítka. Disallow: admin neodpovídá ničemu. Správně je Disallow: /admin.

Noindex uvnitř robots.txt. Google ho tam nepodporuje. Patří do meta tagu nebo do hlavičky X-Robots-Tag.

Spoléhání na Crawl-delay. Google ho ignoruje. Bing a některé další crawlery se jím řídí.

robots.txt, který vrací chybu. Chybějící soubor znamená, že crawlery smějí stáhnout všechno. Chyba serveru je jiný případ: Google ji bere jako blokaci celého webu, dokud se soubor nevrátí.

Blokováno souborem robots.txt v Search Console

Na tento soubor ukazují v Google Search Console dva stavy a každý z nich žádá opačnou opravu.

Blokováno souborem robots.txt (Blocked by robots.txt)

Google se pokusil URL projít a pravidlo Disallow ho zastavilo. Pokud jste to tak chtěli, není co opravovat. Pokud má stránka být ve vyhledávání, otestujte ji zde s vybraným Googlebotem, najděte řádek, který ji blokuje, a pravidlo odstraňte nebo zužte. Až bude soubor aktualizován, požádejte Google o nové procházení stránky.

Indexováno, ačkoli je přístup blokován souborem robots.txt (Indexed, though blocked by robots.txt)

Google zařadil URL do indexu, aniž ji četl, obvykle proto, že na ni odkazují jiné stránky. Výsledkem je holý záznam bez popisu. Další postup závisí na tom, co chcete.

Pokud má stránka být ve vyhledávání, odstraňte Disallow, aby ji Google mohl přečíst. Pokud má stránka zmizet, udělejte to, co vypadá jako krok špatným směrem: povolte procházení a přidejte značku noindex. Google nevidí noindex na stránce, kterou nesmí stáhnout, takže blokace spolu s noindexem drží URL v indexu.

Časté dotazy

Jak otestovat soubor robots.txt?

Zadejte svůj web do testeru výše. Tester stáhne aktuální soubor a řekne vám, zda je platný a zda blokuje váš web. Chcete-li ověřit jednu stránku, stiskněte Otestovat konkrétní stránku a vyberte crawler. Chcete-li změnu vyzkoušet před zveřejněním, upravte soubor přímo v testeru nebo vložte novou verzi.

Co znamená „Blokováno souborem robots.txt“ (Blocked by robots.txt) v Search Console?

Google se pokusil URL projít a pravidlo Disallow ve vašem robots.txt mu to zakázalo. Pokud to tak chcete, nic není špatně. Pokud stránku chcete ve vyhledávání, najděte pravidlo pomocí testeru, odstraňte ho nebo zužte a požádejte Google o nové procházení stránky.

Co znamená „Indexováno, ačkoli je přístup blokován souborem robots.txt“ (Indexed, though blocked by robots.txt)?

Google přidal URL do indexu, aniž stránku četl, obvykle proto, že na ni odkazují jiné stránky. Pokud stránku chcete ve vyhledávání, odstraňte pravidlo Disallow. Pokud ji chcete z indexu dostat, povolte procházení a přidejte značku noindex. Google nevidí noindex na stránce, kterou nesmí stáhnout.

Zabrání robots.txt indexování stránky?

Ne. robots.txt řídí procházení, ne indexování. Blokovaná stránka se může ve výsledcích dál objevit jako holý odkaz. Chcete-li stránku udržet mimo index, pusťte na ni crawlery a označte ji noindex.

Přidává se pravidlo pro jeden crawler k pravidlům pro všechny crawlery?

Ne, nahrazuje je. Crawler, který najde skupinu se svým jménem, se řídí jen touto skupinou a User-agent: * úplně ignoruje. Vše, kam tento crawler nemá chodit, je třeba zopakovat v jeho vlastní skupině.

Které pravidlo vyhraje, když odpovídá Allow i Disallow?

Vyhrává nejdelší odpovídající pravidlo, ať je v souboru kdekoli. Pokud odpovídá Allow i Disallow stejné délky, vyhrává Allow. Na pořadí řádků nezáleží.

Řídí se AI crawlery jako GPTBot souborem robots.txt?

Velcí provozovatelé říkají, že jejich crawlery ano, a každý z nich čte skupinu se svým jménem. Agenti, kteří stránku stahují, protože o to požádal člověk, jsou jiný případ a souborem se řídit nemusí. robots.txt je žádost, takže blokace, která má držet, patří do firewallu.

Je llms.txt totéž co robots.txt?

Ne. robots.txt říká crawlerům, kam smějí. llms.txt je navržený soubor se seznamem stránek, které byste rádi dali AI modelům přečíst. Nic nepovoluje ani neblokuje a žádný velký asistent nepotvrdil, že ho používá.

Čistý robots.txt pustí crawlery dovnitř. Zda potom asistenti jmenují vaši značku, je jiná otázka a odpoví na ni kontrola AI Visibility.

Ověřte svou viditelnost v AI