Robots.txt Tester

Kontrollera att din robots.txt är giltig och inte blockerar din webbplats. Testa sedan valfri sida mot den.

eller för att testa den innan den publiceras

Det är gratis

Robots.txt tester: vad verktyget kontrollerar

Det börjar med två frågor. Är filen giltig? Och stänger den ute crawlers från din webbplats?

För den första läser verktyget varje rad. Ett felstavat direktiv, en regel utan grupp, en sökväg som aldrig kan matcha, en rad som crawlers hoppar över: allt listas med sitt radnummer. Det är den del som fungerar som robots.txt checker.

För den andra tillämpar det reglerna på samma sätt som en crawler. Om en enda rad stänger hela webbplatsen ser du det högst upp, tillsammans med raden som gör det. En tabell visar sedan varje sök- och AI-crawler och om den kommer in.

Du kan också testa en enskild sida. Välj URL och crawler. Verktyget visar Tillåten eller Blockerad och markerar regeln som avgjorde det.

När filen väl är hämtad sker all kontroll i din webbläsare. En fil som du klistrar in eller redigerar lämnar aldrig sidan.

Så testar du robots.txt

  1. Ange din webbplats eller en länk till dess robots.txt. Verktyget hämtar den publicerade filen från den värden.
  2. Läs de två raderna högst upp. Den ena säger om filen är giltig. Den andra säger om din webbplats är öppen för crawlers eller blockerad.
  3. Åtgärda det som listas under Validering. Varje problem har ett radnummer. Klicka på det för att gå till raden.
  4. Gå igenom crawlertabellen. Den visar vilka sök- och AI-crawlers som kommer åt din webbplats, och regeln bakom varje svar.
  5. Testa en specifik sida. Tryck på knappen, ange sidan och välj en crawler, till exempel Googlebot eller GPTBot. Du får Tillåten eller Blockerad och raden som avgjorde det.
  6. Redigera och testa igen. Ändra en regel så uppdateras resultaten medan du skriver. När filen säger det du vill kopierar du den till din webbplats.

Du kan hoppa över det första steget. Klistra in ett utkast för att kontrollera robots.txt innan filen publiceras. Det är säkrare än att ändra i en publicerad fil som varje crawler läser.

Så matchas reglerna i robots.txt

De flesta överraskningar kommer från några få regler som filen själv aldrig nämner. Verktyget tillämpar dem så som den publicerade standarden och Googles dokumentation beskriver dem.

En grupp per crawler

En crawler letar efter en grupp som nämner den vid namn. Hittar den en sådan följer den gruppen och ignorerar User-agent: * helt. De två kombineras aldrig. Om du blockerar /admin/ för alla och sedan lägger till en kort grupp för GPTBot utan att upprepa blockeringen är /admin/ alltså öppen för GPTBot.

Den längsta regeln vinner

När flera regler matchar en URL avgör den mest specifika, och specifik betyder längst. Radernas ordning spelar ingen roll. Om en Allow och en Disallow av samma längd båda matchar vinner Allow.

Jokertecken och slutankaret

* står för vilken teckenföljd som helst och $ markerar slutet på URL:en. Varje regel matchar från början av sökvägen, så Disallow: /blog blockerar även /blog-archive/ och /blog.html.

RegelBlockerarBlockerar inte
Disallow: /Varje URL på värdenIngenting
Disallow:Ingenting. Ett tomt värde tillåter alltVarje URL
Disallow: /blog/blog, /blog/post, /blog-archive//news/blog
Disallow: /blog//blog/post/blog, /blog-archive/
Disallow: /*.pdf$/files/guide.pdf/files/guide.pdf?v=2
Disallow: /*?Varje URL med en frågesträng/shop/

Sökvägar skiljer på stora och små bokstäver

Namn på direktiv och user agents kan skrivas med stora eller små bokstäver. Sökvägar kan det inte. Disallow: /Private/ gör ingenting för /private/.

En fil per värd

Filen måste ligga i roten och heta robots.txt. Den gäller bara värden den levereras från, så shop.example.com och www.example.com behöver var sin.

Testa robots.txt för AI-crawlers

AI-assistenter läser din webbplats med egna crawlers, och var och en letar efter sitt eget namn i robots.txt. GPTBot samlar in sidor för träning. OAI-SearchBot bygger indexet bakom ChatGPT:s sök. Anthropic delar upp ClaudeBot och Claude-SearchBot på samma sätt. Att blockera den ena är ett annat beslut än att blockera den andra.

Många webbplatser har regler för de här crawlerna som ingen i teamet har skrivit. Ett plugin, en standardinställning hos webbhotellet eller en mall lade dit dem. Crawlertabellen visar vad din fil säger till var och en av dem, och sidtestet kontrollerar en crawler på en URL.

Gruppregeln ovan spelar störst roll här. En fil som nämner GPTBot bara för att hålla den borta från en mapp har samtidigt hävt varje regel under User-agent: * för den.

robots.txt är dessutom bara det första lagret. En brandvägg eller ett CDN kan avvisa en crawler som din fil bjuder in, och ingenting i robots.txt visar det. Kontroll av AI-crawlers skickar en riktig förfrågan som varje AI-crawler och visar vad din server svarar.

Vanliga misstag i robots.txt

En kvarglömd Disallow: /. Staging-webbplatser blockerar allt med flit. Sedan lanseras webbplatsen med regeln kvar i filen, och ingen sida crawlas längre.

Att använda robots.txt för att gömma en sida. Filen stoppar crawling, inte indexering. En blockerad URL som andra sidor länkar till kan fortfarande dyka upp i sökresultaten. En sida som måste hållas utanför sökresultaten behöver en noindex, och crawlers måste kunna nå sidan för att se den.

Att blockera CSS och JavaScript. Google renderar en sida innan den bedöms. Om filerna som bygger sidan är blockerade ser Google en trasig version.

Regler ovanför den första User-agent-raden. En regel måste tillhöra en grupp. Allt som står innan en grupp börjar ignoreras.

En sökväg utan inledande snedstreck. Disallow: admin matchar ingenting. Det ska vara Disallow: /admin.

Noindex i robots.txt. Google stöder inte det där. Det hör hemma i en metatagg eller en X-Robots-Tag-header.

Att förlita sig på Crawl-delay. Google ignorerar det. Bing och vissa andra crawlers följer det.

En robots.txt som returnerar ett fel. En saknad fil betyder att crawlers får hämta allt. Ett serverfel är en annan sak: Google behandlar det som en blockering av hela webbplatsen tills filen är tillbaka.

Blockerad av robots.txt i Search Console

Två statusar i Google Search Console pekar på den här filen, och de kräver motsatta åtgärder.

Blockerad av robots.txt (Blocked by robots.txt)

Google försökte crawla URL:en och en Disallow-regel stoppade det. Var det vad du ville finns det ingenting att åtgärda. Om sidan ska finnas i sökresultaten testar du den här med Googlebot vald, hittar raden som blockerar den och tar sedan bort regeln eller gör den snävare. När filen är uppdaterad ber du Google crawla sidan igen.

Indexerad men blockerad av robots.txt (Indexed, though blocked by robots.txt)

Google lade in URL:en i sitt index utan att läsa den, oftast för att andra sidor länkar till den. Resultatet är en naken träff utan beskrivning. Vad du gör härnäst beror på vad du vill.

Om sidan ska finnas i sökresultaten tar du bort Disallow så att Google kan läsa den. Om sidan ska bort gör du det som känns bakvänt: tillåt crawling och lägg till en noindex-tagg. Google kan inte se en noindex på en sida som den inte får hämta, så att blockera och sätta noindex samtidigt håller kvar URL:en i indexet.

Vanliga frågor

Hur testar jag min robots.txt-fil?

Ange din webbplats i verktyget ovan. Det hämtar den publicerade filen och talar om ifall den är giltig och om den blockerar din webbplats. För att kontrollera en enskild sida trycker du på Testa en specifik sida och väljer en crawler. Vill du prova en ändring innan du publicerar den kan du redigera filen i verktyget eller klistra in en ny version.

Vad betyder ”Blockerad av robots.txt” (Blocked by robots.txt) i Search Console?

Google försökte crawla URL:en och en Disallow-regel i din robots.txt sa nej. Är det vad du vill är ingenting fel. Vill du ha sidan i sökresultaten letar du upp regeln med verktyget, tar bort den eller gör den snävare och ber Google crawla sidan igen.

Vad betyder ”Indexerad men blockerad av robots.txt” (Indexed, though blocked by robots.txt)?

Google lade till URL:en i sitt index utan att läsa sidan, oftast för att andra sidor länkar till den. Vill du ha sidan i sökresultaten tar du bort Disallow-regeln. Vill du få bort den tillåter du crawling och lägger till en noindex-tagg. Google kan inte se en noindex på en sida som den inte får hämta.

Hindrar robots.txt att en sida indexeras?

Nej. robots.txt styr crawling, inte indexering. En blockerad sida kan fortfarande dyka upp i sökresultaten som en naken länk. För att hålla en sida utanför indexet låter du crawlers nå den och märker den med noindex.

Läggs en regel för en enskild crawler till reglerna för alla crawlers?

Nej, den ersätter dem. En crawler som hittar en grupp med sitt eget namn följer bara den gruppen och ignorerar User-agent: * helt. Allt du vill hålla den crawlern borta från måste upprepas i dess egen grupp.

Vilken regel vinner när både Allow och Disallow matchar?

Den längsta matchande regeln vinner, var den än står i filen. Om en Allow och en Disallow av samma längd båda matchar vinner Allow. Radernas ordning spelar ingen roll.

Följer AI-crawlers som GPTBot robots.txt?

De stora aktörerna säger att deras crawlers gör det, och var och en läser gruppen med sitt eget namn. Agenter som hämtar en sida för att en person bad om det är ett annat fall och följer kanske inte filen. robots.txt är en begäran, så en blockering som måste hålla hör hemma i brandväggen.

Är llms.txt samma sak som robots.txt?

Nej. robots.txt talar om för crawlers vart de får gå. llms.txt är en föreslagen fil som listar de sidor du vill att AI-modeller ska läsa. Den tillåter eller blockerar ingenting, och ingen stor assistent har bekräftat att den använder den.

En ren robots.txt släpper in crawlerna. Om assistenterna sedan nämner ditt varumärke är en annan fråga, och AI Visibility-kontrollen besvarar den.

Kolla din AI-synlighet