Übersicht / Entwickler & Code / Robots.txt-Generator
Entwickler & Code 100% In-Browser & Offline

Robots.txt-Generator

Erstelle eine robots.txt: Crawler erlauben oder sperren, Ordner ausschließen, Sitemap eintragen und KI-Trainings-Bots blockieren. Läuft im Browser.

Text einfügen oder tippen; das Ergebnis erscheint direkt, Fehler werden unter der Eingabe angezeigt. Beispielwerte sind vorausgefüllt: Feld anklicken und lostippen ersetzt sie.

Deine Dateien und Eingaben verlassen nie deinen Browser – es wird nichts hochgeladen.

Ein Pfad beginnt mit einem Schrägstrich. Ein Schrägstrich am Ende gilt für einen ganzen Ordner, * ist ein Platzhalter und $ markiert das Ende einer URL.

Lege die Datei im Hauptverzeichnis deiner Website ab, sodass sie unter /robots.txt erreichbar ist. Die Regeln sind eine Bitte an Crawler, kein Schloss.

Jeder Suchmaschinen-Crawler stellt eine Frage, bevor er deine Website liest: Was darf ich abrufen? Die Antwort steht in einer kleinen Textdatei namens robots.txt im Hauptverzeichnis der Domain. Dieser Generator schreibt die Datei aus ein paar Auswahlen, zeigt das Ergebnis bei jeder Änderung und lässt dich es kopieren oder als robots.txt herunterladen, bereit zum Hochladen.

Die Datei in drei Schritten erstellen

  1. Wähle, ob alles mit Ausnahmen erlaubt sein soll oder die ganze Website gesperrt wird.
  2. Trage die Ordner oder Dateien ein, aus denen Crawler wegbleiben sollen, einen Pfad pro Zeile, und füge bei Bedarf Ausnahmen darin hinzu.
  3. Füge die Adresse deiner Sitemap ein, drücke Kopieren oder robots.txt herunterladen und lade die Datei ins Hauptverzeichnis deiner Website hoch.

Was die Anweisungen bedeuten

  • User-agent: * richtet sich an jeden Crawler, der keinen eigenen Block hat.
  • Disallow nennt einen Pfad, der nicht abgerufen werden darf. Ein leeres Disallow bedeutet, dass nichts gesperrt ist.
  • Allow öffnet einen Pfad innerhalb eines gesperrten Ordners, etwa eine öffentliche Hilfeseite in /admin/.
  • Sitemap verweist Crawler auf deine sitemap.xml, damit sie neue Seiten schneller finden.
  • Crawl-delay bittet einen Crawler, zwischen Anfragen zu warten. Google ignoriert es, andere Suchmaschinen beachten es teils.

KI-Crawler draußen halten

Die Option für KI-Trainings-Crawler fügt einen eigenen Block für GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot und einige weitere hinzu, jeweils mit Disallow: /. Suchmaschinen sind davon nicht betroffen, deine Seiten bleiben also auffindbar. Gut erzogene Bots halten sich daran, doch eine robots.txt ist nur eine Bitte und keine technische Sperre.

Häufige Fehler vermeiden

Eine in der robots.txt gesperrte Seite verschwindet nicht aus den Suchergebnissen, denn eine gesperrte URL kann trotzdem gelistet werden, wenn andere Seiten auf sie verlinken. Dafür nimmst du ein noindex-Tag. Sperre außerdem nicht die CSS- und JavaScript-Dateien, die eine Seite braucht, sonst können Suchmaschinen sie nicht richtig darstellen. Die Datei muss auf oberster Ebene liegen und klein geschrieben heißen.

Häufig gestellte Fragen (FAQ)

In das Hauptverzeichnis deiner Domain, sodass sie unter https://example.com/robots.txt erreichbar ist. Eine Datei in einem Unterordner wird ignoriert.