Robots.txt Tester
Tjek, at din robots.txt er gyldig og ikke blokerer dit website. Test derefter en hvilken som helst side mod filen.
| Crawler | Adgang | Afgørende regel |
|---|
Hvad denne robots.txt tester tjekker
Den starter med to spørgsmål. Er filen gyldig? Og lukker den crawlere ude af dit website?
Til det første læser den hver linje. Et direktiv med stavefejl, en regel uden gruppe, en sti, der aldrig kan matche, en linje, som crawlere springer over: hver af dem står på listen med sit linjenummer. Det er den del, der gør værktøjet til en robots.txt checker.
Til det andet anvender den reglerne, som en crawler gør. Hvis én linje lukker hele websitet, ser du det øverst sammen med den linje, der gør det. En tabel viser derefter hver søge- og AI-crawler, og om den kan komme ind.
Du kan også teste en enkelt side. Vælg URL'en og crawleren. Testeren viser Tilladt eller Blokeret og fremhæver den regel, der afgjorde det.
Når filen er hentet, foregår alt tjekket i din browser. En fil, du indsætter eller redigerer, forlader aldrig siden.
Sådan tester du en robots.txt-fil
- Indtast dit website eller et link til dets robots.txt. Testeren henter den aktuelle fil fra den host.
- Læs de to linjer øverst. Den ene fortæller, om filen er gyldig. Den anden fortæller, om dit website er åbent for crawlere eller blokeret.
- Ret det, der står under Validering. Hvert problem har et linjenummer. Klik på det for at gå til den linje.
- Tjek crawlertabellen. Den viser, hvilke søge- og AI-crawlere der har adgang til dit website, og reglen bag hvert svar.
- Test en bestemt side. Tryk på knappen, indtast siden, og vælg en crawler som Googlebot eller GPTBot. Du får Tilladt eller Blokeret og den linje, der afgjorde det.
- Rediger, og test igen. Ret en regel, og resultaterne opdateres, mens du skriver. Når filen siger det, du vil, kopierer du den over på dit website.
Du kan springe det første trin over. Indsæt et udkast, og tjek robots.txt, før den bliver offentliggjort. Det er sikrere end at ændre en live fil, som alle crawlere læser.
Sådan matches reglerne i robots.txt
De fleste overraskelser skyldes nogle få regler, som filen selv aldrig nævner. Testeren anvender dem, som den offentliggjorte standard og Googles dokumentation beskriver dem.
Én gruppe pr. crawler
En crawler leder efter en gruppe, der nævner den ved navn. Finder den en, følger den gruppen og ignorerer User-agent: * helt. De to bliver aldrig kombineret. Hvis du blokerer /admin/ for alle og derefter tilføjer en kort gruppe for GPTBot uden at gentage blokeringen, er /admin/ altså åben for GPTBot.
Den længste regel vinder
Når flere regler matcher en URL, afgør den mest specifikke, og specifik betyder længst. Rækkefølgen af linjerne betyder ikke noget. Hvis en Allow og en Disallow af samme længde begge matcher, vinder Allow.
Wildcards og slutankeret
* står for en vilkårlig række tegn, og $ markerer slutningen af URL'en. Hver regel matcher fra starten af stien, så Disallow: /blog blokerer også /blog-archive/ og /blog.html.
| Regel | Blokerer | Blokerer ikke |
|---|---|---|
Disallow: / | Alle URL'er på hosten | Ingenting |
Disallow: | Ingenting. En tom værdi tillader alt | Alle URL'er |
Disallow: /blog | /blog, /blog/post, /blog-archive/ | /news/blog |
Disallow: /blog/ | /blog/post | /blog, /blog-archive/ |
Disallow: /*.pdf$ | /files/guide.pdf | /files/guide.pdf?v=2 |
Disallow: /*? | Enhver URL med en query string | /shop/ |
Stier skelner mellem store og små bogstaver
Navne på direktiver og user agents kan skrives med store eller små bogstaver. Det kan stier ikke. Disallow: /Private/ gør ingenting for /private/.
Én fil pr. host
Filen skal ligge i roden og hedde robots.txt. Den dækker kun den host, den bliver serveret fra, så shop.example.com og www.example.com skal have hver sin.
Test robots.txt for AI-crawlere
AI-assistenter læser dit website med deres egne crawlere, og hver af dem leder efter sit eget navn i robots.txt. GPTBot indsamler sider til træning. OAI-SearchBot bygger indekset bag ChatGPT-søgning. Anthropic deler ClaudeBot og Claude-SearchBot op på samme måde. At blokere den ene er en anden beslutning end at blokere den anden.
Mange websites har regler for disse crawlere, som ingen på holdet har skrevet. Et plugin, en standardindstilling hos hostingudbyderen eller en skabelon har tilføjet dem. Crawlertabellen viser, hvad din fil siger til hver af dem, og sidetesten tjekker én crawler på én URL.
Gruppereglen ovenfor betyder mest her. En fil, der kun nævner GPTBot for at holde den ude af én mappe, har også ophævet alle regler under User-agent: * for den.
robots.txt er også kun det første lag. En firewall eller et CDN kan afvise en crawler, som din fil byder indenfor, og intet i robots.txt viser det. Tjek af AI-crawlere sender en rigtig forespørgsel som hver AI-crawler og viser, hvad din server svarer.
Almindelige fejl i robots.txt
En glemt Disallow: /. Staging-sites blokerer alt med vilje. Så går websitet live med reglen stadig i filen, og alle sider falder ud af crawlingen.
At bruge robots.txt til at skjule en side. Den stopper crawling, ikke indeksering. En blokeret URL, som andre sider linker til, kan stadig dukke op i søgeresultaterne. En side, der skal holdes ude af søgningen, skal have et noindex, og crawlerne skal kunne nå siden for at se det.
At blokere CSS og JavaScript. Google renderer en side, før den vurderer den. Hvis de filer, der bygger siden, er blokeret, ser Google en ødelagt version.
Regler over den første User-agent-linje. En regel skal høre til en gruppe. Alt, der står, før en gruppe begynder, bliver ignoreret.
En sti uden skråstreg foran. Disallow: admin matcher ingenting. Der skal stå Disallow: /admin.
Noindex i robots.txt. Google understøtter det ikke der. Det hører hjemme i et metatag eller en X-Robots-Tag-header.
At stole på Crawl-delay. Google ignorerer det. Bing og nogle andre crawlere følger det.
En robots.txt, der returnerer en fejl. Mangler filen, må crawlere hente alt. En serverfejl er en anden historie: Google behandler den som en blokering af hele websitet, indtil filen er tilbage.
Blokeret af robots.txt i Search Console
To statusser i Google Search Console peger på denne fil, og de kræver modsatte løsninger.
Blokeret af robots.txt (Blocked by robots.txt)
Google forsøgte at crawle URL'en, og en Disallow-regel stoppede den. Hvis det var det, du ville, er der intet at rette. Skal siden med i søgeresultaterne, så test den her med Googlebot valgt, find den linje, der blokerer den, og fjern så reglen, eller gør den smallere. Når filen er opdateret, så bed Google om at crawle siden igen.
Indekseret, men blokeret af robots.txt (Indexed, though blocked by robots.txt)
Google har lagt URL'en i sit indeks uden at læse den, som regel fordi andre sider linker til den. Resultatet er en nøgen visning uden beskrivelse. Hvad du skal gøre, afhænger af, hvad du vil.
Skal siden med i søgeresultaterne, så fjern Disallow, så Google kan læse den. Skal siden væk, så gør det, der føles bagvendt: tillad crawling, og tilføj et noindex-tag. Google kan ikke se et noindex på en side, den ikke må hente, så hvis du både blokerer og sætter noindex, bliver URL'en i indekset.
Ofte stillede spørgsmål
Hvordan tester jeg min robots.txt-fil?
Indtast dit website i testeren ovenfor. Den henter den aktuelle fil og fortæller dig, om den er gyldig, og om den blokerer dit website. Vil du tjekke en enkelt side, så tryk på Test en bestemt side, og vælg en crawler. Vil du prøve en ændring, før du offentliggør den, så rediger filen i testeren, eller indsæt en ny version.
Hvad betyder "Blokeret af robots.txt" (Blocked by robots.txt) i Search Console?
Google forsøgte at crawle URL'en, og en Disallow-regel i din robots.txt sagde nej. Hvis det er det, du vil, er der intet galt. Vil du have siden med i søgeresultaterne, så find reglen med testeren, fjern den eller gør den smallere, og bed Google om at crawle siden igen.
Hvad betyder "Indekseret, men blokeret af robots.txt" (Indexed, though blocked by robots.txt)?
Google har føjet URL'en til sit indeks uden at læse siden, som regel fordi andre sider linker til den. Vil du have siden med i søgeresultaterne, så fjern Disallow-reglen. Vil du have den væk, så tillad crawling, og tilføj et noindex-tag. Google kan ikke se et noindex på en side, den ikke må hente.
Forhindrer robots.txt, at en side bliver indekseret?
Nej. robots.txt styrer crawling, ikke indeksering. En blokeret side kan stadig dukke op i søgeresultaterne som et nøgent link. Vil du holde en side ude af indekset, så lad crawlerne nå den, og marker den med noindex.
Lægges en regel for én crawler oven i reglerne for alle crawlere?
Nej, den erstatter dem. En crawler, der finder en gruppe med sit eget navn, følger kun den gruppe og ignorerer User-agent: * fuldstændigt. Alt, du vil holde den crawler ude af, skal gentages i dens egen gruppe.
Hvilken regel vinder, når både Allow og Disallow matcher?
Den længste matchende regel vinder, uanset hvor den står i filen. Hvis en Allow og en Disallow af samme længde begge matcher, vinder Allow. Rækkefølgen af linjerne betyder ikke noget.
Følger AI-crawlere som GPTBot robots.txt?
De store udbydere siger, at deres crawlere gør det, og hver crawler læser gruppen med sit eget navn. Agenter, der henter en side, fordi en person bad om det, er et andet tilfælde og følger måske ikke filen. robots.txt er en anmodning, så en blokering, der skal holde, hører hjemme i firewallen.
Er llms.txt det samme som robots.txt?
Nej. robots.txt fortæller crawlere, hvor de må gå hen. llms.txt er et forslag til en fil, der oplister de sider, du gerne vil have AI-modeller til at læse. Den tillader eller blokerer ingenting, og ingen af de store assistenter har bekræftet, at de bruger den.
En ren robots.txt lukker crawlerne ind. Om assistenterne så nævner dit brand, er et andet spørgsmål, og det svarer AI Visibility-tjekket på.