Robots.txt Tester
Sprawdź, czy Twój plik robots.txt jest poprawny i nie blokuje Twojej strony. Potem zrób test robots.txt dla dowolnego adresu.
| Robot | Dostęp | Decydująca reguła |
|---|
Co sprawdza ten tester robots.txt
Zaczyna od dwóch pytań. Czy plik jest poprawny? I czy nie zamyka Twojej witryny przed robotami?
Przy pierwszym czyta każdy wiersz. Dyrektywa z literówką, reguła bez grupy, ścieżka, która nigdy do niczego nie pasuje, wiersz pomijany przez roboty: każda taka rzecz trafia na listę z numerem wiersza. To ta część, która działa jak walidator robots.txt.
Przy drugim stosuje reguły tak, jak robi to robot. Jeśli jeden wiersz zamyka całą witrynę, widzisz to na samej górze, razem z wierszem, który to robi. Tabela pokazuje potem każdego robota wyszukiwarek i AI oraz to, czy może wejść.
Możesz też przetestować pojedynczą stronę. Wybierz adres URL i robota. Tester pokazuje Dozwolony albo Zablokowany i podświetla regułę, która o tym zdecydowała.
Gdy plik jest już pobrany, całe sprawdzanie robots.txt odbywa się w Twojej przeglądarce. Plik, który wklejasz lub edytujesz, nigdy nie opuszcza tej strony.
Jak przetestować plik robots.txt
- Wpisz swoją stronę albo link do jej pliku robots.txt. Tester pobiera aktualny plik z tego hosta.
- Przeczytaj dwie linijki na górze. Jedna mówi, czy plik jest poprawny. Druga mówi, czy Twoja witryna jest otwarta dla robotów, czy zablokowana.
- Popraw to, co jest na liście Walidacja. Każdy problem ma numer wiersza. Kliknij go, żeby przejść do tego wiersza.
- Sprawdź tabelę robotów. Pokazuje, które roboty wyszukiwarek i AI mają dostęp do Twojej witryny, oraz regułę, która stoi za każdą odpowiedzią.
- Przetestuj konkretną stronę. Naciśnij przycisk, wpisz stronę i wybierz robota, na przykład Googlebot lub GPTBot. Dostajesz wynik Dozwolony albo Zablokowany i wiersz, który o tym zdecydował.
- Edytuj i testuj ponownie. Zmień regułę, a wyniki odświeżają się w trakcie pisania. Gdy plik mówi to, co chcesz, skopiuj go na swoją stronę.
Pierwszy krok możesz pominąć. Wklej szkic robots.txt, żeby sprawdzić go przed publikacją. To bezpieczniejsze niż zmienianie działającego pliku, który czyta każdy robot.
Jak dopasowywane są reguły robots.txt
Większość niespodzianek bierze się z kilku zasad, których sam plik nigdzie nie podaje. Tester stosuje je tak, jak opisują je opublikowany standard i dokumentacja Google.
Jedna grupa na robota
Robot szuka grupy, która wymienia go z nazwy. Jeśli ją znajdzie, stosuje się do tej grupy i całkowicie ignoruje User-agent: *. Te dwie grupy nigdy się nie łączą. Jeśli więc zablokujesz /admin/ dla wszystkich, a potem dodasz krótką grupę dla GPTBot bez powtórzenia tej blokady, /admin/ jest dla GPTBota otwarty.
Wygrywa najdłuższa reguła
Gdy do adresu URL pasuje kilka reguł, decyduje najbardziej szczegółowa, a szczegółowa znaczy najdłuższa. Kolejność wierszy nie ma znaczenia. Jeśli pasują jednocześnie Allow i Disallow tej samej długości, wygrywa Allow.
Symbole wieloznaczne i znak końca adresu
* zastępuje dowolny ciąg znaków, a $ oznacza koniec adresu URL. Każda reguła jest dopasowywana od początku ścieżki, więc Disallow: /blog blokuje też /blog-archive/ i /blog.html.
| Reguła | Blokuje | Nie blokuje |
|---|---|---|
Disallow: / | Każdy adres URL na hoście | Nic |
Disallow: | Nic. Pusta wartość zezwala na wszystko | Każdy adres URL |
Disallow: /blog | /blog, /blog/post, /blog-archive/ | /news/blog |
Disallow: /blog/ | /blog/post | /blog, /blog-archive/ |
Disallow: /*.pdf$ | /files/guide.pdf | /files/guide.pdf?v=2 |
Disallow: /*? | Każdy adres URL z ciągiem zapytania | /shop/ |
W ścieżkach wielkość liter ma znaczenie
Nazwy dyrektyw i nazwy user agentów można pisać dowolną wielkością liter. Ścieżek nie. Disallow: /Private/ nie robi nic dla /private/.
Jeden plik na host
Plik musi leżeć w katalogu głównym i nazywać się robots.txt. Obejmuje tylko host, z którego jest serwowany, więc shop.example.com i www.example.com potrzebują każdy własnego.
Test robots.txt dla robotów AI
Asystenci AI czytają Twoją stronę własnymi robotami, a każdy z nich szuka w robots.txt własnej nazwy. GPTBot zbiera strony do trenowania. OAI-SearchBot buduje indeks stojący za wyszukiwaniem ChatGPT. Anthropic rozdziela ClaudeBot i Claude-SearchBot tak samo. Zablokowanie jednego to inna decyzja niż zablokowanie drugiego.
Wiele stron ma dla tych robotów reguły, których nikt z zespołu nie napisał. Dodała je wtyczka, domyślne ustawienie hostingu albo szablon. Tabela robotów pokazuje, co Twój plik mówi każdemu z nich, a test strony sprawdza jednego robota na jednym adresie URL.
Zasada grup opisana wyżej ma tu największe znaczenie. Plik, który wymienia GPTBot tylko po to, żeby nie wpuścić go do jednego folderu, zdjął też z niego każdą regułę spod User-agent: *.
robots.txt to też tylko pierwsza warstwa. Firewall albo CDN może odrzucić robota, którego Twój plik zaprasza do środka, i nic w robots.txt tego nie pokaże. Narzędzie Sprawdź dostęp robotów AI wysyła prawdziwe zapytanie jako każdy robot AI i pokazuje, co odpowiada Twój serwer.
Najczęstsze błędy w pliku robots.txt
Pozostawione Disallow: /. Wersje testowe witryn celowo blokują wszystko. Potem witryna startuje z tą regułą nadal w pliku i żadna strona nie jest już crawlowana.
Ukrywanie strony za pomocą robots.txt. Plik zatrzymuje crawlowanie, nie indeksowanie. Zablokowany adres URL, do którego linkują inne strony, nadal może pojawić się w wynikach. Strona, która ma zostać poza wyszukiwarką, potrzebuje noindex, a roboty muszą móc do niej dotrzeć, żeby go zobaczyć.
Blokowanie CSS i JavaScriptu. Google renderuje stronę, zanim ją oceni. Jeśli pliki, które ją budują, są zablokowane, Google widzi zepsutą wersję.
Reguły nad pierwszym wierszem User-agent. Reguła musi należeć do grupy. Wszystko, co zapisano przed początkiem grupy, jest ignorowane.
Ścieżka bez ukośnika na początku. Disallow: admin nie pasuje do niczego. Powinno być Disallow: /admin.
Noindex w pliku robots.txt. Google go tam nie obsługuje. Jego miejsce jest w tagu meta albo w nagłówku X-Robots-Tag.
Poleganie na Crawl-delay. Google go ignoruje. Bing i niektóre inne roboty się do niego stosują.
robots.txt, który zwraca błąd. Brak pliku oznacza, że roboty mogą pobierać wszystko. Błąd serwera to inna historia: Google traktuje go jak blokadę całej witryny, dopóki plik nie wróci.
Strona zablokowana przez plik robots.txt w Search Console
Dwa statusy w Google Search Console wskazują na ten plik i wymagają przeciwnych poprawek.
Strona zablokowana przez plik robots.txt (Blocked by robots.txt)
Google próbował crawlować adres URL i zatrzymała go reguła Disallow. Jeśli taki był zamiar, nie ma czego poprawiać. Jeśli strona ma być w wyszukiwarce, przetestuj ją tutaj z wybranym robotem Googlebot, znajdź wiersz, który ją blokuje, a potem usuń regułę albo ją zawęź. Po aktualizacji pliku poproś Google o ponowne pobranie strony.
Strona zindeksowana, ale zablokowana przez plik robots.txt (Indexed, though blocked by robots.txt)
Google dodał adres URL do indeksu, nie czytając go, zwykle dlatego, że linkują do niego inne strony. Efekt to goły wpis bez opisu. Co dalej, zależy od tego, czego chcesz.
Jeśli strona ma być w wyszukiwarce, usuń Disallow, żeby Google mógł ją przeczytać. Jeśli strona ma zniknąć, zrób coś, co wydaje się odwrotne: zezwól na crawlowanie i dodaj tag noindex. Google nie widzi noindex na stronie, której nie wolno mu pobrać, więc blokada i noindex naraz zostawiają adres URL w indeksie.
Najczęstsze pytania
Jak przetestować plik robots.txt?
Wpisz swoją stronę w testerze powyżej. Pobierze aktualny plik i powie, czy jest poprawny i czy blokuje Twoją witrynę. Żeby sprawdzić jedną stronę, naciśnij Przetestuj konkretną stronę i wybierz robota. Żeby wypróbować zmianę przed publikacją, edytuj plik w testerze albo wklej nową wersję.
Co oznacza „Strona zablokowana przez plik robots.txt” (Blocked by robots.txt) w Search Console?
Google próbował crawlować adres URL, a reguła Disallow w Twoim robots.txt mu tego zabroniła. Jeśli tego właśnie chcesz, wszystko jest w porządku. Jeśli chcesz mieć tę stronę w wyszukiwarce, znajdź regułę testerem, usuń ją albo zawęź i poproś Google o ponowne pobranie strony.
Co oznacza „Strona zindeksowana, ale zablokowana przez plik robots.txt” (Indexed, though blocked by robots.txt)?
Google dodał adres URL do indeksu, nie czytając strony, zwykle dlatego, że linkują do niej inne strony. Jeśli chcesz mieć ją w wyszukiwarce, usuń regułę Disallow. Jeśli chcesz, żeby zniknęła, zezwól na crawlowanie i dodaj tag noindex. Google nie widzi noindex na stronie, której nie wolno mu pobrać.
Czy robots.txt zapobiega indeksowaniu strony?
Nie. robots.txt steruje crawlowaniem, nie indeksowaniem. Zablokowana strona nadal może pojawić się w wynikach jako goły link. Żeby strona nie trafiła do indeksu, pozwól robotom do niej dotrzeć i oznacz ją noindex.
Czy reguła dla jednego robota dodaje się do reguł dla wszystkich robotów?
Nie, zastępuje je. Robot, który znajduje grupę z własną nazwą, stosuje się tylko do niej i całkowicie ignoruje User-agent: *. Wszystko, przed czym ten robot ma być zamknięty, trzeba powtórzyć w jego własnej grupie.
Która reguła wygrywa, gdy pasują i Allow, i Disallow?
Wygrywa najdłuższa pasująca reguła, niezależnie od miejsca w pliku. Jeśli pasują jednocześnie Allow i Disallow tej samej długości, wygrywa Allow. Kolejność wierszy nie ma znaczenia.
Czy roboty AI, takie jak GPTBot, stosują się do robots.txt?
Najwięksi operatorzy mówią, że ich roboty tak, a każdy z nich czyta grupę z własną nazwą. Agenci, którzy pobierają stronę, bo poprosił o to człowiek, to inny przypadek i mogą nie stosować się do pliku. robots.txt to prośba, więc blokada, która ma się utrzymać, należy do firewalla.
Czy llms.txt to to samo co robots.txt?
Nie. robots.txt mówi robotom, dokąd wolno im wchodzić. llms.txt to proponowany plik z listą stron, które według Ciebie modele AI powinny przeczytać. Niczego nie dopuszcza ani nie blokuje, a żaden duży asystent nie potwierdził, że z niego korzysta.
Czysty robots.txt wpuszcza roboty. To, czy asystenci wymienią potem Twoją markę, to osobne pytanie, a odpowiada na nie sprawdzenie AI Visibility.