Chaque robot d’exploration des moteurs de recherche se pose une question avant de lire votre site : que puis-je récupérer ? La réponse se trouve dans un petit fichier texte appelé robots.txt, à la racine du domaine. Ce générateur écrit ce fichier à partir de quelques choix, montre le résultat à chaque changement et vous laisse le copier ou le télécharger sous le nom robots.txt, prêt à être mis en ligne.
Créer le fichier en trois étapes
- Choisissez d’autoriser tout avec des exceptions ou de bloquer tout le site.
- Listez les dossiers ou fichiers que les robots doivent éviter, un chemin par ligne, et ajoutez des exceptions à l’intérieur si besoin.
- Collez l’adresse de votre sitemap, appuyez sur Copier ou Télécharger robots.txt et envoyez le fichier à la racine de votre site.
Ce que signifient les directives
- User-agent: * s’adresse à tout robot qui n’a pas de bloc à lui.
- Disallow désigne un chemin qui ne doit pas être récupéré. Un Disallow vide signifie que rien n’est bloqué.
- Allow rouvre un chemin dans un dossier bloqué, par exemple une page d’aide publique dans /admin/.
- Sitemap indique aux robots votre sitemap.xml pour qu’ils trouvent plus vite les nouvelles pages.
- Crawl-delay demande à un robot d’attendre entre les requêtes. Google l’ignore, d’autres moteurs le respectent.
Tenir les robots d’IA à l’écart
L’option pour bloquer les robots d’entraînement d’IA ajoute un bloc distinct pour GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot et d’autres, chacun avec Disallow: /. Les moteurs de recherche ne sont pas touchés, vos pages restent donc trouvables. Les robots bien élevés suivent ces règles, mais un robots.txt n’est qu’une demande et non une barrière technique.
Erreurs courantes à éviter
Bloquer une page dans robots.txt ne la retire pas des résultats, car une URL bloquée peut rester listée si d’autres sites y renvoient. Pour cela, utilisez une balise noindex. Ne bloquez pas non plus les fichiers CSS et JavaScript dont une page a besoin, sinon les moteurs ne peuvent pas l’afficher correctement. Le fichier doit se trouver au niveau supérieur et s’écrire en minuscules.