llms.txt Checker

Проверка llms.txt: убедитесь, что файл существует, соответствует формату и доступен ИИ-краулерам.

или , чтобы проверить его до публикации

Бесплатно

Что такое llms.txt?

Файл llms.txt лежит в корне сайта и даёт ИИ-моделям его краткую карту. Это обычный текст в формате Markdown: в нём указано название сайта, одной строкой сказано, что это за сайт, и даны ссылки на страницы, которые объясняют его лучше всего.

Идея выросла из простой проблемы. Языковая модель может прочитать за раз лишь ограниченный объём, а обычная веб-страница состоит в основном из навигации, скриптов и вёрстки. llms.txt даёт модели чистый список важных страниц в формате, который она легко читает.

Что входит в файл

Четыре вещи в таком порядке: название сайта, краткое описание, вводные сведения, которые нужны читателю заранее, и группы ссылок. К каждой ссылке можно добавить пояснение о том, чему посвящена страница. Это весь формат. В нём нет кода и нет настроек, только текст, который может прочитать и человек.

Откуда взялась идея

Формат опубликован на llmstxt.org как открытое предложение. За ним не стоит ни одна организация по стандартизации, и никто не обязан его поддерживать. Поэтому вопрос о том, кто читает файл, важнее самого формата.

Кто использует его сегодня

В основном его применяют для документации. Разработчики ПО публикуют llms.txt, чтобы инструменты для программирования и агенты находили нужную страницу документации, не обходя весь сайт. Ещё файл вставляют в чат, чтобы сразу передать модели весь контекст. Читают ли его крупные ассистенты сами, вопрос отдельный, и о нём рассказано ниже на этой странице.

Что входит в проверку llms.txt

Что файл существует. Он должен открываться по адресу /llms.txt на вашем хосте и отдаваться как текст. Редирект на главную или страница ошибки не считаются.

Что формат корректен. Одно название, описание, разделы и ссылки, записанные так, как требует формат. Каждая проблема попадает в список с номером строки. Так работает валидатор llms.txt.

Что файл доступен ИИ-краулерам. Инструмент читает ваш robots.txt и сообщает, если какому-то поисковому или ИИ-краулеру запрещено обращаться к /llms.txt. Файл, который никому нельзя загружать, бесполезен.

Есть ли llms-full.txt. Он необязателен, и в результате сказано, есть ли он у вас.

Вы также получаете структуру файла: название, описание и каждый раздел с числом ссылок в нём. После загрузки файла вся проверка идёт в вашем браузере. Файл, который вы вставили или отредактировали, не покидает страницу.

Формат llms.txt с примером

Файл написан в обычном Markdown, и порядок частей в нём фиксирован. Обязательно только название.

# Acme Analytics

> Acme Analytics: инструмент веб-аналитики для интернет-магазинов. Он считает визиты, заказы и выручку без cookie.

Оплата за каждый сайт. API входит во все тарифы.

## Документация

- [Начало работы](https://acme.example/docs/start): установите скрипт и получите первые данные
- [Справочник API](https://acme.example/docs/api): все эндпоинты с примерами

## Продукт

- [Цены](https://acme.example/pricing): тарифы и что входит в каждый

## Optional

- [История изменений](https://acme.example/changelog): список релизов

Название

Первая строка состоит из одного символа # и названия сайта или продукта. Такая строка может быть только одна.

Описание

Строка, которая начинается с > и стоит сразу под названием. В одном или двух предложениях она говорит, что это за сайт. Модель, которая больше ничего не прочитает, всё равно должна понять, чем вы занимаетесь.

Свободный текст

Любые абзацы или простые списки после описания. Здесь уместны факты, которые нужны модели до перехода по ссылке. Заголовки в этой части не ставят.

Разделы со ссылками

Каждый заголовок ## открывает раздел, а раздел состоит из списка ссылок. Одна ссылка на строку, в виде - [Title](https://full-url): short note. Пояснение необязательно, но написать его стоит: оно говорит модели, что она найдёт на странице, ещё до того, как та потратит ресурсы на загрузку.

Раздел Optional

У раздела с названием Optional (в переводе «необязательное») особый смысл. Инструмент, которому не хватает места, может его пропустить. Сюда идут страницы, которые полезны, но не обязательны.

llms.txt и llms-full.txt: в чём разница

Оба файла решают одну задачу в разном объёме.

llms.txt работает как указатель. Он короткий, и модели, которой нужно больше, придётся перейти по ссылкам. llms-full.txt содержит сам контент: полный текст ключевых страниц, собранный в один Markdown-файл, чтобы инструмент мог загрузить всё одним запросом.

Длинный файл появился вокруг формата как соглашение, в основном на сайтах с документацией, где полезно прочитать всё руководство целиком. Маркетинговому сайту из нескольких страниц он нужен редко.

Если вы публикуете оба файла, следите, чтобы они не расходились. Длинный файл, который описывает прошлогодний продукт, хуже, чем его отсутствие. Инструмент сообщает, есть ли на вашем хосте /llms-full.txt, и считает его отсутствие нормой.

Работает ли llms.txt на самом деле?

У честного ответа две части.

Ни один крупный ИИ-ассистент не подтвердил, что читает llms.txt, когда отвечает на вопрос. Если вы добавите файл и будете ждать, что ChatGPT или Gemini начнут из-за него ссылаться на вас, оснований для этого нет.

Файл используют в других местах. Инструменты для программирования читают его, чтобы изучить документацию библиотеки. Агенты открывают его, когда кто-то направляет их на сайт. Люди вставляют его в чат, чтобы сразу передать модели весь контекст. Для продукта с документацией это реальное применение уже сегодня.

Поэтому относитесь к нему как к небольшому и дешёвому дополнению. Написать его можно за час, а поддержка ничего не стоит. Он не заменяет работу, от которой зависит, называют ли вас ассистенты: нужно, чтобы вас стоило цитировать и чтобы о вас писали сайты, которым они уже доверяют.

llms.txt, robots.txt и sitemap.xml: в чём разница

Три файла лежат рядом в корне сайта и делают разную работу.

ФайлЧто делаетКто читаетМожет ли закрыть доступ?
robots.txtГоворит краулерам, какие URL им можно загружатьПоисковые и ИИ-краулерыДа, для краулеров, которые его соблюдают
sitemap.xmlПеречисляет все URL, которые должны быть найденыПоисковые системыНет
llms.txtНаправляет ИИ-модели на несколько страниц, которые объясняют сайтИнструменты и агенты, которые сами решили его читатьНет

Частая ошибка: ждать, что llms.txt чем-то управляет. Он не может ни закрыть краулеру доступ, ни открыть его. Если robots.txt закрывает ваши страницы от краулера, их перечисление в llms.txt ничего не меняет. Проверьте, что ваш файл говорит каждому краулеру, с помощью Robots.txt Tester.

Как создать файл llms.txt

  1. Отберите страницы. Возьмите те, что объясняют, чем вы занимаетесь: страницу продукта, цены, основную документацию, страницу с ответом на самый частый вопрос. Остальное не включайте.
  2. Напишите название и описание. В первой строке название, затем под > одно или два предложения, понятные постороннему человеку.
  3. Сгруппируйте ссылки. Дайте каждой группе заголовок ## и перечислите страницы с полными URL и коротким пояснением к каждой.
  4. Сохраните файл как llms.txt в корне. Он должен открываться по адресу yoursite.com/llms.txt как обычный текст.
  5. Проверьте его. Вставьте черновик в инструмент до публикации, а когда файл появится на сайте, проверьте действующий адрес.

Если можете, пишите файл вручную. Файл, собранный из карты сайта, перечисляет всё, а список всего противоречит самой идее формата.

Рекомендации по llms.txt

Пишите описание, которое объясняет, а не слоган. «Самый быстрый способ вырасти» ничего не говорит модели. «Сервис записи для стоматологических клиник» говорит.

Держите список коротким. Отберите страницы, которые вы отправили бы человеку, никогда о вас не слышавшему. Если не можете выбрать между двумя страницами, более слабая идёт в Optional.

Опишите каждую ссылку. По пояснению после двоеточия модель решает, стоит ли открывать страницу.

Указывайте полные адреса. Каждая ссылка начинается с https:// и ведёт на конечный URL, а не на редирект.

Ссылайтесь на страницы, которые хорошо читаются как текст. Модель может использовать страницу, которая показывает контент без скриптов и без входа в аккаунт.

Обновляйте файл, когда сайт меняется. Битые ссылки и старые цены в этом файле вредят больше, чем его отсутствие.

Не закрывайте файл в robots.txt. Он полезен только тем краулерам, которым разрешено его загружать.

Частые ошибки в llms.txt

Файл лежит не в корне. В /docs/llms.txt или /static/llms.txt инструменты не заглядывают.

По адресу отдаётся главная страница. Многие сайты отвечают на любой неизвестный URL страницей, а не ошибкой. Кажется, что файл есть, а его нет.

Названия нет или их два. Файл начинается с одной строки с #. Всё, что ниже, использует ##.

Относительные ссылки. /pricing ничего не значит для инструмента, который получил файл из другого места. Указывайте полный адрес.

Все страницы сайта. Длинный список лишает файл смысла. Ценность в том, что вы в него не включили.

robots.txt блокирует файл. Широкое правило Disallow может накрыть /llms.txt, хотя никто этого не задумывал.

Ссылки на страницы, которые модель не может прочитать. Если страница требует входа или собирает контент скриптами, ссылка не ведёт ни к чему полезному.

Частые вопросы

Что такое llms.txt?

Файл llms.txt лежит в корне сайта, написан в обычном Markdown и даёт ИИ-моделям краткую карту сайта. В нём указано название сайта, одной строкой сказано, что это за сайт, и даны ссылки на страницы, которые стоит прочитать. Это предложенный формат, а не официальный веб-стандарт.

Где должен лежать файл llms.txt?

В корне хоста, чтобы он открывался по адресу yoursite.com/llms.txt. Файл в подпапке инструменты, которые его ищут, не найдут. Каждому поддомену нужен свой файл.

Как проверить llms.txt?

Введите адрес сайта в форму выше. Инструмент загрузит файл и покажет, существует ли он, корректен ли формат и не закрывает ли ваш robots.txt этот файл от ИИ-краулеров. Чтобы проверить черновик, вставьте его вместо адреса.

Используют ли ChatGPT, Claude и Gemini файл llms.txt?

Ни один крупный ассистент не подтвердил, что читает llms.txt, когда отвечает на вопрос. Сегодня файл используют инструменты для программирования, агенты, которых на него направили, и люди, которые вставляют его в чат. Считайте его недорогим дополнением, а не рычагом ранжирования.

llms.txt и robots.txt одно и то же?

Нет. robots.txt говорит краулерам, куда им можно заходить. В llms.txt перечислены страницы, которые вы хотели бы показать ИИ-моделям. Он ничего не разрешает и не блокирует, поэтому странице, которую нужно закрыть, по-прежнему нужно правило в robots.txt.

Что такое llms-full.txt?

Сопутствующий файл, в котором полный текст ключевых страниц собран в один Markdown-документ. llms.txt работает как короткий указатель со ссылками, а в llms-full.txt лежит весь контент. Он необязателен.

Помогает ли llms.txt в SEO?

В Google нет. Поисковое ранжирование его не учитывает. Повлиять он может только на инструменты и агентов, которые сами решили его читать, и файл не заменяет ничего из того, что вы уже делаете для поиска.

Какой длины должен быть файл llms.txt?

Короткий. Это указатель, поэтому перечислите страницы, которые лучше всего объясняют ваш продукт, а остальные не включайте. Если раздел полезен, но не обязателен, поместите его под заголовок Optional: такой раздел инструменты могут пропустить.

Нужен ли генератор llms.txt?

Нет. Файл достаточно короткий, чтобы написать его вручную, и список, отобранный человеком, лучше сгенерированного. Большинство генераторов копируют карту сайта, где перечислены все страницы. Если вы пользуетесь генератором, сократите результат до важных страниц и проверьте его этим инструментом.

Как добавить llms.txt на сайт на WordPress?

Несколько SEO-плагинов умеют создавать файл по вашим настройкам. Без плагина загрузите файл с именем llms.txt в корневую папку сайта, рядом с robots.txt. Затем запустите проверку и убедитесь, что он открывается по адресу /llms.txt.

Чистый llms.txt показывает модели, куда смотреть. Называют ли ассистенты ваш бренд, когда их спрашивают, вопрос уже другой, и на него отвечает проверка AI Visibility.

Проверьте свою видимость в ИИ