llms.txt Checker
Controleer of je llms.txt bestaat, het formaat volgt en bereikbaar is voor AI-crawlers.
| Onderdeel | Inhoud | Links |
|---|
Wat is llms.txt?
llms.txt is een eenvoudig Markdown-bestand dat in de root van een website staat en AI-modellen een korte kaart van de site geeft. Het noemt de site, zegt in één regel wat de site is en linkt naar de pagina's die dat het best uitleggen.
Het idee komt voort uit een simpel probleem. Een taalmodel kan maar een beperkte hoeveelheid tegelijk lezen, en een gewone webpagina bestaat vooral uit navigatie, scripts en opmaak. llms.txt geeft het model een schone lijst van de pagina's die ertoe doen, in een formaat dat het makkelijk leest.
Wat er in het bestand staat
Vier dingen, in deze volgorde: de naam van de site, een korte samenvatting, de achtergrond die een lezer eerst nodig heeft, en groepen links. Bij elke link kan een toelichting staan die zegt waar de pagina over gaat. Dat is het hele formaat. Er zit geen code in en er zijn geen instellingen, alleen tekst die een mens ook kan lezen.
Waar het idee vandaan komt
Het formaat is op llmstxt.org gepubliceerd als een open voorstel. Er staat geen standaardisatieorganisatie achter en niemand hoeft het te ondersteunen. Daarom doet de vraag wie het bestand leest er meer toe dan het formaat zelf.
Wie het nu gebruikt
Vooral documentatie. Softwarebedrijven publiceren een llms.txt zodat programmeertools en agents de juiste pagina van de documentatie vinden zonder de hele site te crawlen. Mensen plakken het bestand ook in een chat om een model de context in één keer te geven. Of de grote assistenten het uit zichzelf lezen is een andere kwestie, die verderop op deze pagina aan bod komt.
Wat deze llms.txt checker controleert
Dat het bestand bestaat. Het moet openen op /llms.txt op je host en als tekst terugkomen. Een redirect naar de homepage of een foutpagina telt niet.
Dat het formaat geldig is. Eén titel, een samenvatting, secties en links die geschreven zijn zoals het formaat verwacht. Elk probleem staat in de lijst met zijn regelnummer. Dat is het validator-deel, de llms.txt validator.
Dat AI-crawlers erbij kunnen. De checker leest je robots.txt en vertelt je of een zoek- of AI-crawler te horen krijgt dat hij weg moet blijven van /llms.txt. Een bestand dat niemand mag ophalen doet niets.
Of er een llms-full.txt is. Dat bestand is optioneel, en het resultaat zegt of je er een hebt.
Je krijgt ook een overzicht van het bestand: de titel, de samenvatting en elke sectie met het aantal links erin. Zodra het bestand is opgehaald, gebeurt het controleren in je browser. Een bestand dat je plakt of bewerkt, verlaat de pagina nooit.
Het llms.txt-formaat, met een voorbeeld
Het bestand is gewone Markdown met een vaste volgorde. Alleen de titel is verplicht.
# Acme Analytics
> Acme Analytics is een webanalysetool voor webshops. Het meet bezoeken, bestellingen en omzet zonder cookies.
De prijs geldt per site. Alle abonnementen bevatten de API.
## Documentatie
- [Aan de slag](https://acme.example/docs/start): installeer het script en bekijk de eerste data
- [API-referentie](https://acme.example/docs/api): elk endpoint met voorbeelden
## Product
- [Prijzen](https://acme.example/pricing): de abonnementen en wat er in elk zit
## Optional
- [Changelog](https://acme.example/changelog): overzicht van releasesDe titel
De eerste regel is één # gevolgd door de naam van de site of het product. Er mag er maar één zijn.
De samenvatting
Een regel die begint met >, direct onder de titel. Die zegt in een of twee zinnen wat de site is. Een model dat verder niets leest, moet toch weten wat je doet.
Vrije tekst
Alle alinea's of gewone lijsten na de samenvatting. Gebruik ze voor feiten die een model nodig heeft voordat het een link volgt. Hier geen koppen.
Secties met links
Elke ##-kop begint een sectie, en een sectie is een lijst met links. Eén link per regel, geschreven als - [Title](https://full-url): short note. De toelichting is optioneel en het schrijven waard, want die vertelt het model wat het gaat vinden voordat het iets uitgeeft aan het ophalen van de pagina.
De sectie Optional
Een sectie met de naam Optional (optioneel) heeft een speciale betekenis. Een tool die weinig ruimte heeft, mag die overslaan. Zet daar de pagina's die mooi meegenomen zijn.
llms.txt vs llms-full.txt
De twee bestanden vervullen dezelfde behoefte op een ander formaat.
llms.txt is de index. Die is kort, en een model dat meer wil, moet de links volgen. llms-full.txt is de inhoud zelf: de volledige tekst van je belangrijkste pagina's, samengevoegd in één Markdown-bestand, zodat een tool alles in één verzoek kan laden.
Het lange bestand is als gewoonte rond het formaat ontstaan, vooral op documentatiesites, waar het handig is de hele handleiding in één keer te lezen. Een marketingsite met een handvol pagina's heeft het zelden nodig.
Publiceer je allebei, houd ze dan gelijk. Een lang bestand dat het product van vorig jaar beschrijft is erger dan geen bestand. De checker vertelt je of /llms-full.txt op je host bestaat en ziet een ontbrekend bestand als normaal.
Werkt llms.txt echt?
Het eerlijke antwoord heeft twee delen.
Geen enkele grote AI-assistent heeft bevestigd dat hij llms.txt leest wanneer hij een vraag beantwoordt. Voeg je het bestand toe en verwacht je dat ChatGPT of Gemini je daardoor gaat citeren, dan is er niets dat dat ondersteunt.
Het bestand wordt op andere plekken gebruikt. Programmeertools lezen het om de documentatie van een library te leren kennen. Agents openen het wanneer iemand ze naar een site stuurt. Mensen plakken het in een chat om een model de context in één keer te geven. Voor een product met documentatie is dat nu al echt gebruik.
Zie het dus als een kleine, goedkope toevoeging. Het schrijven kost een uur en het bijhouden kost niets. Het vervangt niet het werk dat bepaalt of assistenten je noemen: het citeren waard zijn en genoemd worden op de sites die ze al vertrouwen.
llms.txt vs robots.txt vs sitemap.xml
De drie bestanden staan naast elkaar in de root van een site en doen elk iets anders.
| Bestand | Wat het doet | Wie het leest | Kan het toegang blokkeren? |
|---|---|---|---|
robots.txt | Vertelt crawlers welke URL's ze mogen ophalen | Zoek- en AI-crawlers | Ja, voor crawlers die zich eraan houden |
sitemap.xml | Somt elke URL op die gevonden moet worden | Zoekmachines | Nee |
llms.txt | Wijst AI-modellen op de paar pagina's die de site uitleggen | Tools en agents die daarvoor kiezen | Nee |
De veelgemaakte fout is verwachten dat llms.txt iets regelt. Het kan geen crawler buiten houden en er ook geen binnenlaten. Blokkeert robots.txt een crawler voor je pagina's, dan verandert het niets als je die pagina's in llms.txt zet. Controleer wat je bestand tegen elke crawler zegt met de Robots.txt Tester.
Een llms.txt-bestand maken: zo doe je dat
- Kies de pagina's. Neem de pagina's die uitleggen wat je doet: de productpagina, de prijzen, de belangrijkste documentatie, de pagina die de vraag beantwoordt die je het vaakst krijgt. Laat al het andere weg.
- Schrijf de titel en de samenvatting. De naam op de eerste regel, daarna een of twee zinnen onder
>die een buitenstaander zou begrijpen. - Groepeer de links. Geef elke groep een
##-kop en zet de pagina's eronder met volledige URL's en elk een korte toelichting. - Sla het op als
llms.txtin de root. Het moet openen opyoursite.com/llms.txtals platte tekst. - Controleer het. Plak het concept in de checker voordat je publiceert, en controleer daarna het live adres zodra het bestand online staat.
Schrijf het met de hand als dat kan. Een bestand dat uit de sitemap is gegenereerd, somt alles op, en een lijst van alles is het tegenovergestelde van waar het formaat voor bedoeld is.
Best practices voor llms.txt
Schrijf een samenvatting die uitlegt, geen slogan. "De snelste manier om te groeien" zegt een model niets. "Een afsprakentool voor tandartspraktijken" wel.
Houd de lijst kort. Kies de pagina's die je zou sturen naar iemand die nog nooit van je heeft gehoord. Kun je niet kiezen tussen twee pagina's, dan gaat de zwakste onder Optional.
Beschrijf elke link. Met de toelichting na de dubbele punt beslist een model of de pagina het openen waard is.
Gebruik volledige adressen. Elke link begint met https:// en wijst naar de uiteindelijke URL, niet naar een redirect.
Link naar pagina's die goed leesbaar zijn als tekst. Een pagina die haar inhoud toont zonder scripts of een login, is de pagina die een model kan gebruiken.
Werk het bij als de site verandert. Dode links en oude prijzen in dit bestand doen meer kwaad dan een ontbrekend bestand.
Laat het open in robots.txt. Het bestand is alleen nuttig voor crawlers die het mogen ophalen.
Veelgemaakte fouten in llms.txt
Het bestand staat niet in de root. /docs/llms.txt of /static/llms.txt is niet waar tools zoeken.
Het adres geeft de homepage terug. Veel sites beantwoorden elke onbekende URL met een pagina in plaats van een fout. Het lijkt alsof het bestand bestaat, en dat is niet zo.
Geen titel, of twee. Het bestand begint met één #-regel. Alles daaronder gebruikt ##.
Relatieve links. /pricing zegt niets tegen een tool die het bestand ergens anders vandaan heeft. Gebruik het volledige adres.
Elke pagina van de site. Een lange lijst schiet het doel voorbij. De waarde zit in wat je weglaat.
robots.txt blokkeert het bestand. Een brede Disallow kan /llms.txt meenemen zonder dat iemand dat zo bedoelde.
Links naar pagina's die een model niet kan lezen. Heeft de pagina een login nodig of bouwt ze haar inhoud op met scripts, dan leidt de link naar niets bruikbaars.
Veelgestelde vragen
Wat is llms.txt?
llms.txt is een eenvoudig Markdown-bestand in de root van een website dat AI-modellen een korte kaart van de site geeft. Het noemt de site, zegt in één regel wat die is en linkt naar de pagina's die het lezen waard zijn. Het is een voorgesteld formaat, geen officiële webstandaard.
Waar moet het llms.txt-bestand staan?
In de root van de host, zodat het opent op yoursite.com/llms.txt. Een bestand in een submap wordt niet gevonden door tools die ernaar zoeken. Elk subdomein heeft een eigen bestand nodig.
Hoe kan ik mijn llms.txt controleren?
Vul je site in de checker hierboven in. Die haalt het bestand op en vertelt je of het bestaat, of het formaat geldig is en of je robots.txt AI-crawlers erbij weghoudt. Wil je een concept controleren, plak het dan.
Gebruiken ChatGPT, Claude en Gemini llms.txt?
Geen enkele grote assistent heeft bevestigd dat hij llms.txt leest wanneer hij een vraag beantwoordt. Het bestand wordt nu gebruikt door programmeertools, door agents die ernaar worden verwezen en door mensen die het in een chat plakken. Zie het als een goedkope toevoeging, niet als een manier om hoger te ranken.
Is llms.txt hetzelfde als robots.txt?
Nee. robots.txt vertelt crawlers waar ze mogen komen. llms.txt somt de pagina's op die je AI-modellen graag laat lezen. Het staat niets toe en blokkeert niets, dus een pagina die je erbuiten wilt houden heeft nog steeds een regel in robots.txt nodig.
Wat is llms-full.txt?
Een aanvullend bestand met de volledige tekst van je belangrijkste pagina's in één Markdown-document. llms.txt is de korte index met links, llms-full.txt is de hele inhoud. Het is optioneel.
Helpt llms.txt voor SEO?
Niet in Google. De zoekrankings gebruiken het niet. Het enige mogelijke effect is op tools en agents die ervoor kiezen het te lezen, en het bestand vervangt niets van wat je al voor zoekmachines doet.
Hoe lang moet een llms.txt-bestand zijn?
Kort. Het is een index, dus zet erin welke pagina's je product het best uitleggen en laat de rest weg. Is een sectie mooi meegenomen maar niet nodig, zet die dan onder een kop met de naam Optional, die tools mogen overslaan.
Heb ik een llms.txt generator nodig?
Nee. Het bestand is kort genoeg om met de hand te schrijven, en een zelf gekozen lijst is beter dan een gegenereerde. De meeste generators nemen de sitemap over, en die somt elke pagina op. Gebruik je er toch een, kort het resultaat dan in tot de pagina's die ertoe doen en haal het door de checker.
Hoe voeg ik llms.txt toe aan een WordPress-site?
Verschillende SEO-plugins kunnen het bestand aanmaken op basis van je instellingen. Zonder plugin upload je een bestand met de naam llms.txt naar de rootmap van de site, naast robots.txt. Gebruik daarna de checker om te bevestigen dat het opent op /llms.txt.
Een schone llms.txt vertelt een model waar het moet kijken. Of de assistenten je merk noemen als iemand iets vraagt is een andere vraag, en de AI Visibility-check beantwoordt die.