Ogni crawler dei motori di ricerca si pone una domanda prima di leggere il tuo sito: che cosa posso scaricare? La risposta sta in un piccolo file di testo chiamato robots.txt nella radice del dominio. Questo generatore scrive quel file a partire da poche scelte, mostra il risultato mentre le cambi e ti lascia copiarlo o scaricarlo come robots.txt, pronto da caricare.
Crea il file in tre passi
- Scegli se consentire tutto con eccezioni o bloccare l’intero sito.
- Elenca le cartelle o i file da cui i crawler devono stare lontani, un percorso per riga, e aggiungi eccezioni al loro interno se servono.
- Incolla l’indirizzo della sitemap, premi Copia o Scarica robots.txt e carica il file nella radice del sito.
Che cosa significano le direttive
- User-agent: * si rivolge a ogni crawler che non ha un blocco proprio.
- Disallow indica un percorso che non deve essere scaricato. Un Disallow vuoto significa che nulla è bloccato.
- Allow apre un percorso dentro una cartella bloccata, per esempio una pagina di aiuto pubblica dentro /admin/.
- Sitemap indica ai crawler la tua sitemap.xml perché trovino prima le pagine nuove.
- Crawl-delay chiede a un crawler di aspettare tra una richiesta e l’altra. Google lo ignora, mentre altri motori lo rispettano.
Tenere fuori i crawler IA
L’opzione per bloccare i crawler di addestramento IA aggiunge un blocco separato per GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot e altri, ciascuno con Disallow: /. I motori di ricerca non sono toccati, quindi le pagine restano trovabili. I bot corretti seguono queste regole, ma un robots.txt è solo una richiesta e non una barriera tecnica.
Errori comuni da evitare
Bloccare una pagina in robots.txt non la toglie dai risultati, perché un URL bloccato può comparire comunque se altri siti lo collegano. Per questo si usa un tag noindex. Non bloccare nemmeno i file CSS e JavaScript di cui una pagina ha bisogno, altrimenti i motori non possono mostrarla correttamente. Il file deve stare al livello superiore e avere il nome in minuscolo.