Todo rastreador de buscadores faz uma pergunta antes de ler o seu site: o que posso buscar? A resposta está num pequeno arquivo de texto chamado robots.txt, na raiz do domínio. Este gerador escreve esse arquivo para você a partir de algumas escolhas, mostra o resultado conforme você as muda e deixa você copiá-lo ou baixá-lo como robots.txt, pronto para enviar.
Crie o arquivo em três passos
- Escolha se quer permitir tudo com exceções ou bloquear o site inteiro.
- Liste as pastas ou os arquivos de que os rastreadores devem ficar longe, um caminho por linha, e adicione exceções dentro deles se precisar.
- Cole o endereço do sitemap, depois clique em Copiar ou Baixar robots.txt e envie o arquivo para a raiz do seu site.
O que as diretivas significam
- User-agent: * se dirige a todo rastreador que não tem um bloco próprio.
- Disallow nomeia um caminho que não deve ser buscado. Um Disallow vazio significa que nada é bloqueado.
- Allow abre um caminho dentro de uma pasta bloqueada, por exemplo uma página de ajuda pública dentro de /admin/.
- Sitemap leva os rastreadores ao seu sitemap.xml para que encontrem páginas novas mais cedo.
- Crawl-delay pede a um rastreador que espere entre as requisições. O Google o ignora, enquanto alguns outros buscadores o respeitam.
Mantendo os rastreadores de IA de fora
A opção de bloquear rastreadores de treinamento de IA adiciona um bloco separado para GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot e vários outros, cada um com Disallow: /. Os buscadores não são afetados, então suas páginas continuam encontráveis. Bots bem-comportados seguem essas regras, embora um robots.txt seja só um pedido e não uma barreira técnica.
Erros comuns a evitar
Bloquear uma página no robots.txt não a remove dos resultados de busca, porque uma URL bloqueada ainda pode ser listada se outros sites apontarem para ela. Use uma tag noindex para isso. Também não bloqueie os arquivos CSS e JavaScript de que uma página precisa, ou os buscadores não conseguem renderizá-la direito. O arquivo deve ficar no nível superior e ter o nome em minúsculas.