Todo rastreador de buscadores se hace una pregunta antes de leer tu sitio: qué puedo descargar? La respuesta está en un pequeño archivo de texto llamado robots.txt en la raíz del dominio. Este generador escribe ese archivo a partir de unas pocas opciones, muestra el resultado a medida que las cambias y te deja copiarlo o descargarlo como robots.txt, listo para subir.
Crea el archivo en tres pasos
- Elige si quieres permitir todo con excepciones o bloquear el sitio entero.
- Escribe las carpetas o archivos de los que los rastreadores deben mantenerse al margen, una ruta por línea, y añade excepciones dentro de ellas si las necesitas.
- Pega la dirección de tu sitemap, pulsa Copiar o Descargar robots.txt y sube el archivo a la raíz de tu sitio.
Qué significan las directivas
- User-agent: * se dirige a todo rastreador que no tenga un bloque propio.
- Disallow indica una ruta que no debe descargarse. Un Disallow vacío significa que no se bloquea nada.
- Allow abre una ruta dentro de una carpeta bloqueada, por ejemplo una página de ayuda pública dentro de /admin/.
- Sitemap indica a los rastreadores tu sitemap.xml para que encuentren antes las páginas nuevas.
- Crawl-delay pide a un rastreador que espere entre peticiones. Google lo ignora, mientras que otros buscadores lo respetan.
Mantener fuera a los rastreadores de IA
La opción para bloquear rastreadores de entrenamiento de IA añade un bloque aparte para GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot y varios más, cada uno con Disallow: /. Los buscadores no se ven afectados, así que tus páginas siguen encontrándose. Los bots bien educados siguen estas reglas, aunque un robots.txt es solo una petición y no una barrera técnica.
Errores habituales que conviene evitar
Bloquear una página en robots.txt no la quita de los resultados, porque una URL bloqueada puede seguir apareciendo si otros sitios la enlazan. Para eso usa una etiqueta noindex. Tampoco bloquees los archivos CSS y JavaScript que una página necesita, o los buscadores no podrán mostrarla bien. El archivo debe estar en el nivel superior y llamarse en minúsculas.