Robots.txt Tester

Verifica che il tuo file robots.txt sia valido e non blocchi il tuo sito. Poi testa qualsiasi pagina.

oppure per testarlo prima di pubblicarlo

È gratis

Cosa controlla questo tester robots.txt

Parte da due domande. Il file è valido? E sta chiudendo il tuo sito ai crawler?

Per la prima legge ogni riga. Una direttiva scritta male, una regola senza gruppo, un percorso che non può mai corrispondere, una riga che i crawler saltano: ognuna viene elencata con il suo numero di riga. È la parte di verifica del robots.txt.

Per la seconda applica le regole come fa un crawler. Se una sola riga chiude tutto il sito, lo vedi in cima, insieme alla riga responsabile. Una tabella mostra poi tutti i crawler di ricerca e AI e se riescono a entrare.

Puoi anche testare una singola pagina. Scegli l'URL e il crawler. Il tester mostra Consentito o Bloccato ed evidenzia la regola che ha deciso.

Una volta scaricato il file, tutti i controlli avvengono nel tuo browser. Un file che incolli o modifichi non lascia mai la pagina.

Come fare il test di un file robots.txt

  1. Inserisci il tuo sito o un link al suo robots.txt. Il tester scarica il file online da quell'host.
  2. Leggi le due righe in cima. Una ti dice se il file è valido. L'altra ti dice se il tuo sito è aperto ai crawler o bloccato.
  3. Correggi ciò che è elencato sotto Validazione. Ogni problema ha un numero di riga. Cliccalo per andare a quella riga.
  4. Controlla la tabella dei crawler. Mostra quali crawler di ricerca e AI possono accedere al tuo sito, e la regola dietro ogni risposta.
  5. Testa una pagina specifica. Premi il pulsante, inserisci la pagina e scegli un crawler come Googlebot o GPTBot. Ottieni Consentito o Bloccato e la riga che ha deciso.
  6. Modifica e testa di nuovo. Cambia una regola e i risultati si aggiornano mentre scrivi. Quando il file dice ciò che vuoi, copialo sul tuo sito.

Puoi saltare il primo passaggio. Incolla una bozza di robots.txt per controllarla prima che venga pubblicata. È più sicuro che cambiare un file online che ogni crawler legge.

Come vengono applicate le regole del robots.txt

La maggior parte delle sorprese nasce da poche regole che il file stesso non dichiara mai. Il tester le applica come descrivono lo standard pubblicato e la documentazione di Google.

Un gruppo per crawler

Un crawler cerca un gruppo che lo nomina. Se lo trova, segue quel gruppo e ignora del tutto User-agent: *. I due non vengono mai combinati. Quindi se blocchi /admin/ per tutti e poi aggiungi un breve gruppo per GPTBot senza ripetere il blocco, /admin/ è aperto a GPTBot.

Vince la regola più lunga

Quando più regole corrispondono a un URL, decide la più specifica, e specifica significa più lunga. L'ordine delle righe non conta. Se un Allow e un Disallow della stessa lunghezza corrispondono entrambi, vince Allow.

Caratteri jolly e ancora di fine

* sta per qualsiasi sequenza di caratteri e $ segna la fine dell'URL. Ogni regola corrisponde dall'inizio del percorso, quindi Disallow: /blog blocca anche /blog-archive/ e /blog.html.

RegolaBloccaNon blocca
Disallow: /Tutti gli URL dell'hostNulla
Disallow:Nulla. Un valore vuoto consente tuttoTutti gli URL
Disallow: /blog/blog, /blog/post, /blog-archive//news/blog
Disallow: /blog//blog/post/blog, /blog-archive/
Disallow: /*.pdf$/files/guide.pdf/files/guide.pdf?v=2
Disallow: /*?Qualsiasi URL con una query string/shop/

I percorsi distinguono maiuscole e minuscole

I nomi delle direttive e degli user agent si possono scrivere in maiuscolo o in minuscolo. I percorsi no. Disallow: /Private/ non ha alcun effetto su /private/.

Un file per host

Il file deve stare nella radice e chiamarsi robots.txt. Copre solo l'host da cui viene servito, quindi shop.example.com e www.example.com hanno bisogno ciascuno del proprio.

Test del robots.txt per i crawler AI

Gli assistenti AI leggono il tuo sito con i propri crawler, e ciascuno cerca il proprio nome nel robots.txt. GPTBot raccoglie pagine per l'addestramento. OAI-SearchBot costruisce l'indice dietro la ricerca di ChatGPT. Anthropic separa ClaudeBot e Claude-SearchBot allo stesso modo. Bloccarne uno è una decisione diversa dal bloccarne un altro.

Molti siti hanno regole per questi crawler che nessuno del team ha scritto. Le ha aggiunte un plugin, un'impostazione predefinita dell'hosting o un template. La tabella dei crawler mostra cosa dice il tuo file a ciascuno di loro, e il test della pagina controlla un crawler su un URL.

La regola dei gruppi vista sopra conta soprattutto qui. Un file che nomina GPTBot solo per tenerlo fuori da una cartella ha anche tolto per lui ogni regola sotto User-agent: *.

Il robots.txt è inoltre solo il primo livello. Un firewall o una CDN possono respingere un crawler che il tuo file invita a entrare, e nulla nel robots.txt lo mostrerà. Il Verificatore di crawler AI invia una richiesta reale come ciascun crawler AI e mostra cosa risponde il tuo server.

Errori comuni nel robots.txt

Un Disallow: / dimenticato. I siti di staging bloccano tutto di proposito. Poi il sito va online con quella regola ancora nel file, e ogni pagina esce dalla scansione.

Usare il robots.txt per nascondere una pagina. Ferma la scansione, non l'indicizzazione. Un URL bloccato a cui altre pagine linkano può comunque comparire nei risultati. Una pagina che deve restare fuori dalla ricerca ha bisogno di un noindex, e i crawler devono poter raggiungere la pagina per vederlo.

Bloccare CSS e JavaScript. Google esegue il rendering di una pagina prima di giudicarla. Se i file che costruiscono la pagina sono bloccati, Google ne vede una versione rotta.

Regole sopra la prima riga User-agent. Una regola deve appartenere a un gruppo. Tutto ciò che è scritto prima dell'inizio di un gruppo viene ignorato.

Un percorso senza barra iniziale. Disallow: admin non corrisponde a nulla. Deve essere Disallow: /admin.

Noindex dentro il robots.txt. Google non lo supporta lì. Va in un meta tag o in un header X-Robots-Tag.

Fare affidamento su Crawl-delay. Google lo ignora. Bing e alcuni altri crawler lo rispettano.

Un robots.txt che restituisce un errore. Un file mancante significa che i crawler possono scaricare tutto. Un errore del server è un'altra storia: Google lo tratta come un blocco su tutto il sito finché il file non torna.

Bloccata da robots.txt in Search Console

Due stati in Google Search Console rimandano a questo file, e richiedono soluzioni opposte.

Bloccata da robots.txt (Blocked by robots.txt)

Google ha provato a scansionare l'URL e una regola Disallow l'ha fermato. Se è quello che volevi, non c'è nulla da correggere. Se la pagina deve stare nella ricerca, testala qui con Googlebot selezionato, trova la riga che la blocca, poi rimuovi la regola o restringila. Una volta aggiornato il file, chiedi a Google di scansionare di nuovo la pagina.

Indicizzata ma bloccata da robots.txt (Indexed, though blocked by robots.txt)

Google ha messo l'URL nel suo indice senza leggerlo, di solito perché altre pagine lo linkano. Il risultato è una voce spoglia, senza descrizione. Cosa fare dopo dipende da ciò che vuoi.

Se la pagina deve stare nella ricerca, rimuovi il Disallow così che Google possa leggerla. Se la pagina deve sparire, fai la cosa che sembra al contrario: consenti la scansione e aggiungi un tag noindex. Google non può vedere un noindex su una pagina che non gli è permesso scaricare, quindi bloccare e mettere noindex insieme tiene l'URL nell'indice.

Domande frequenti

Come faccio a testare il mio file robots.txt?

Inserisci il tuo sito nel tester qui sopra. Scarica il file online e ti dice se è valido e se blocca il tuo sito. Per controllare una sola pagina, premi Testa una pagina specifica e scegli un crawler. Per provare una modifica prima di pubblicarla, modifica il file nel tester o incolla una nuova versione.

Cosa significa "Bloccata da robots.txt" (Blocked by robots.txt) in Search Console?

Google ha provato a scansionare l'URL e una regola Disallow nel tuo robots.txt gli ha detto di non farlo. Se è quello che vuoi, non c'è nulla che non va. Se vuoi la pagina nella ricerca, trova la regola con il tester, rimuovila o restringila e chiedi a Google di scansionare di nuovo la pagina.

Cosa significa "Indicizzata ma bloccata da robots.txt" (Indexed, though blocked by robots.txt)?

Google ha aggiunto l'URL al suo indice senza leggere la pagina, di solito perché altre pagine la linkano. Se vuoi la pagina nella ricerca, rimuovi la regola Disallow. Se vuoi che sparisca, consenti la scansione e aggiungi un tag noindex. Google non può vedere un noindex su una pagina che non gli è permesso scaricare.

Il robots.txt impedisce l'indicizzazione di una pagina?

No. Il robots.txt controlla la scansione, non l'indicizzazione. Una pagina bloccata può comunque comparire nei risultati come semplice link. Per tenere una pagina fuori dall'indice, lascia che i crawler la raggiungano e contrassegnala come noindex.

Una regola per un crawler si aggiunge alle regole per tutti i crawler?

No, le sostituisce. Un crawler che trova un gruppo con il proprio nome segue solo quel gruppo e ignora del tutto User-agent: *. Tutto ciò da cui vuoi tenere fuori quel crawler va ripetuto nel suo gruppo.

Quale regola vince quando corrispondono sia Allow sia Disallow?

Vince la regola corrispondente più lunga, ovunque si trovi nel file. Se un Allow e un Disallow della stessa lunghezza corrispondono entrambi, vince Allow. L'ordine delle righe non conta.

I crawler AI come GPTBot rispettano il robots.txt?

I grandi operatori dicono che i loro crawler lo fanno, e ciascuno legge il gruppo con il proprio nome. Gli agenti che scaricano una pagina perché una persona l'ha chiesto sono un altro caso e potrebbero non seguire il file. Il robots.txt è una richiesta, quindi un blocco che deve reggere va nel firewall.

llms.txt è la stessa cosa del robots.txt?

No. Il robots.txt dice ai crawler dove possono andare. llms.txt è un file proposto che elenca le pagine che vorresti far leggere ai modelli AI. Non consente e non blocca nulla, e nessun grande assistente ha confermato di usarlo.

Un robots.txt pulito fa entrare i crawler. Se poi gli assistenti nominano il tuo brand è un'altra domanda, e a quella risponde il controllo AI Visibility.

Verifica la tua visibilità AI