Robots.txt Tester
Проверка robots.txt: убедитесь, что файл корректен и не закрывает ваш сайт. Затем проверьте по нему любую страницу.
| Краулер | Доступ | Решающее правило |
|---|
Что входит в проверку robots.txt
Всё начинается с двух вопросов. Корректен ли файл? И не закрывает ли он ваш сайт от краулеров?
Для первого инструмент читает каждую строку. Директива с опечаткой, правило без группы, путь, который никогда не сработает, строка, которую краулеры пропускают: всё это попадает в список с номером строки. Так работает валидатор robots.txt.
Для второго он применяет правила так же, как это делает краулер. Если одна строка закрывает весь сайт, вы видите это в самом верху вместе с этой строкой. Ниже идёт таблица со всеми поисковыми и ИИ-краулерами, и по каждому видно, может ли он попасть на сайт.
Можно проверить и одну страницу. Выберите URL и краулер. Инструмент покажет Разрешён или Заблокирован и подсветит правило, которое это решило.
После загрузки файла вся проверка идёт в вашем браузере. Файл, который вы вставили или отредактировали, не покидает страницу.
Как проверить robots.txt
- Введите сайт или ссылку на его robots.txt. Инструмент загрузит действующий файл с этого хоста.
- Прочитайте две строки вверху. Одна говорит, корректен ли файл. Другая говорит, открыт ваш сайт для краулеров или заблокирован.
- Исправьте то, что перечислено в блоке Валидация. У каждой проблемы есть номер строки. Нажмите на него, чтобы перейти к этой строке.
- Посмотрите таблицу краулеров. В ней видно, какие поисковые и ИИ-краулеры имеют доступ к вашему сайту и какое правило стоит за каждым ответом.
- Проверьте отдельную страницу. Нажмите кнопку, введите страницу и выберите краулер, например Googlebot или GPTBot. Вы получите Разрешён или Заблокирован и строку, которая это решила.
- Отредактируйте и проверьте снова. Измените правило, и результаты обновятся по мере ввода. Когда файл говорит то, что вам нужно, скопируйте его на сайт.
Первый шаг можно пропустить. Вставьте черновик, чтобы проверить robots.txt до публикации. Это безопаснее, чем менять действующий файл, который читает каждый краулер.
Как применяются правила robots.txt
Большинство сюрпризов возникает из-за нескольких правил, о которых в самом файле ничего не сказано. Инструмент применяет их так, как описывают опубликованный стандарт и документация Google.
Одна группа на краулер
Краулер ищет группу, в которой назван он сам. Если такая есть, он следует ей и полностью игнорирует User-agent: *. Эти две группы никогда не объединяются. Поэтому если вы закрыли /admin/ для всех, а потом добавили короткую группу для GPTBot и не повторили в ней запрет, /admin/ открыт для GPTBot.
Побеждает самое длинное правило
Когда к URL подходит несколько правил, решает самое конкретное, а конкретное значит самое длинное. Порядок строк значения не имеет. Если подходят Allow и Disallow одинаковой длины, побеждает Allow.
Подстановочные знаки и конец URL
* заменяет любую последовательность символов, а $ обозначает конец URL. Каждое правило сравнивается с началом пути, поэтому Disallow: /blog блокирует ещё и /blog-archive/, и /blog.html.
| Правило | Блокирует | Не блокирует |
|---|---|---|
Disallow: / | Все URL на хосте | Ничего |
Disallow: | Ничего. Пустое значение разрешает всё | Все URL |
Disallow: /blog | /blog, /blog/post, /blog-archive/ | /news/blog |
Disallow: /blog/ | /blog/post | /blog, /blog-archive/ |
Disallow: /*.pdf$ | /files/guide.pdf | /files/guide.pdf?v=2 |
Disallow: /*? | Любой URL со строкой запроса | /shop/ |
В путях регистр важен
Имена директив и имена user agent можно писать в любом регистре. Пути нельзя. Disallow: /Private/ никак не действует на /private/.
Один файл на хост
Файл должен лежать в корне и называться robots.txt. Он действует только на тот хост, с которого отдаётся, поэтому shop.example.com и www.example.com нужен свой файл каждому.
Проверка robots.txt для ИИ-краулеров
ИИ-ассистенты читают ваш сайт собственными краулерами, и каждый ищет в robots.txt своё имя. GPTBot собирает страницы для обучения. OAI-SearchBot строит индекс, на котором работает поиск ChatGPT. Anthropic так же разделяет ClaudeBot и Claude-SearchBot. Заблокировать одного и заблокировать другого значит принять два разных решения.
На многих сайтах для этих краулеров стоят правила, которых никто в команде не писал. Их добавил плагин, настройка хостинга по умолчанию или шаблон. Таблица краулеров показывает, что ваш файл говорит каждому из них, а проверка страницы берёт один краулер и один URL.
Правило о группах, описанное выше, здесь важнее всего. Файл, который называет GPTBot только затем, чтобы не пустить его в одну папку, заодно снял для него все правила из User-agent: *.
К тому же robots.txt закрывает только первый слой. Файрвол или CDN может отклонить краулер, которого ваш файл приглашает, и в robots.txt этого не видно. Проверка ИИ-краулеров отправляет настоящий запрос от имени каждого ИИ-краулера и показывает, что отвечает ваш сервер.
Частые ошибки в robots.txt
Забытый Disallow: /. Тестовые сайты закрывают всё намеренно. Потом сайт запускается с этим правилом в файле, и все страницы выпадают из обхода.
Попытка спрятать страницу через robots.txt. Он останавливает обход, а не индексирование. Заблокированный URL, на который ссылаются другие страницы, всё равно может появиться в результатах. Странице, которой не должно быть в поиске, нужен noindex, и краулеры должны иметь доступ к странице, чтобы его увидеть.
Блокировка CSS и JavaScript. Google отрисовывает страницу, прежде чем её оценить. Если файлы, из которых она собирается, закрыты, Google видит сломанную версию.
Правила выше первой строки User-agent. Правило должно входить в группу. Всё, что написано до начала первой группы, игнорируется.
Путь без косой черты в начале. Disallow: admin ни к чему не подходит. Нужно писать Disallow: /admin.
Noindex внутри robots.txt. Google его там не поддерживает. Его место в метатеге или в заголовке X-Robots-Tag.
Расчёт на Crawl-delay. Google его игнорирует. Bing и некоторые другие краулеры его соблюдают.
robots.txt, который возвращает ошибку. Если файла нет, краулеры могут загружать всё. С ошибкой сервера всё иначе: Google считает весь сайт заблокированным, пока файл не вернётся.
Заблокировано в файле robots.txt в Search Console
Два статуса в Google Search Console указывают на этот файл, и исправляются они противоположными способами.
Заблокировано в файле robots.txt (Blocked by robots.txt)
Google попытался обойти URL, и его остановило правило Disallow. Если вы этого и хотели, исправлять нечего. Если страница должна быть в поиске, проверьте её здесь, выбрав Googlebot, найдите строку, которая её блокирует, затем удалите правило или сузьте его. Когда файл обновится, попросите Google обойти страницу заново.
Проиндексировано, несмотря на блокировку в файле robots.txt (Indexed, though blocked by robots.txt)
Google добавил URL в индекс, не прочитав его, обычно потому, что на него ссылаются другие страницы. В результатах это голая ссылка без описания. Что делать дальше, зависит от того, чего вы хотите.
Если страница должна быть в поиске, удалите Disallow, чтобы Google мог её прочитать. Если страницы там быть не должно, сделайте то, что кажется нелогичным: разрешите обход и добавьте тег noindex. Google не видит noindex на странице, которую ему запрещено загружать, поэтому блокировка вместе с noindex оставляет URL в индексе.
Частые вопросы
Как проверить файл robots.txt?
Введите адрес сайта в форму выше. Инструмент загрузит действующий файл и покажет, корректен ли он и не закрывает ли он ваш сайт. Чтобы проверить одну страницу, нажмите Проверить отдельную страницу и выберите краулер. Чтобы опробовать изменение до публикации, отредактируйте файл прямо в инструменте или вставьте новую версию.
Что означает «Заблокировано в файле robots.txt» (Blocked by robots.txt) в Search Console?
Google попытался обойти URL, но правило Disallow в вашем robots.txt это запретило. Если вы этого и хотели, всё в порядке. Если страница нужна в поиске, найдите правило с помощью инструмента, удалите или сузьте его и попросите Google обойти страницу заново.
Что означает «Проиндексировано, несмотря на блокировку в файле robots.txt» (Indexed, though blocked by robots.txt)?
Google добавил URL в индекс, не прочитав страницу, обычно потому, что на неё ссылаются другие страницы. Если страница нужна в поиске, удалите правило Disallow. Если её нужно убрать, разрешите обход и добавьте тег noindex. Google не видит noindex на странице, которую ему запрещено загружать.
Запрещает ли robots.txt индексировать страницу?
Нет. robots.txt управляет обходом, а не индексированием. Заблокированная страница всё равно может появиться в результатах в виде голой ссылки. Чтобы страницы не было в индексе, откройте её краулерам и пометьте как noindex.
Дополняет ли правило для одного краулера правила для всех краулеров?
Нет, оно их заменяет. Краулер, который находит группу со своим именем, следует только ей и полностью игнорирует User-agent: *. Всё, что вы хотите закрыть от этого краулера, нужно повторить в его собственной группе.
Какое правило побеждает, если подходят и Allow, и Disallow?
Побеждает самое длинное подходящее правило, где бы оно ни стояло в файле. Если подходят Allow и Disallow одинаковой длины, побеждает Allow. Порядок строк значения не имеет.
Соблюдают ли ИИ-краулеры вроде GPTBot файл robots.txt?
Крупные операторы говорят, что их краулеры его соблюдают, и каждый читает группу со своим именем. Агенты, которые загружают страницу по просьбе человека, устроены иначе и могут не следовать файлу. robots.txt остаётся просьбой, поэтому блокировка, которая должна держаться, ставится в файрволе.
llms.txt и robots.txt одно и то же?
Нет. robots.txt говорит краулерам, куда им можно заходить. llms.txt пока только предложение: в этом файле перечисляют страницы, которые вы хотели бы показать ИИ-моделям. Он ничего не разрешает и не блокирует, и ни один крупный ассистент не подтвердил, что использует его.
Чистый robots.txt пускает краулеры на сайт. Называют ли после этого ассистенты ваш бренд, вопрос уже другой, и на него отвечает проверка AI Visibility.