Elke crawler van een zoekmachine stelt één vraag voordat hij je site leest: wat mag ik ophalen? Het antwoord staat in een klein tekstbestand met de naam robots.txt in de hoofdmap van het domein. Deze generator schrijft dat bestand voor je op basis van een paar keuzes, toont het resultaat terwijl je ze wijzigt en laat je het kopiëren of downloaden als robots.txt, klaar om te uploaden.
Maak het bestand in drie stappen
- Kies of je alles met uitzonderingen wilt toestaan of de hele site wilt blokkeren.
- Noem de mappen of bestanden waar crawlers van weg moeten blijven, één pad per regel, en voeg zo nodig uitzonderingen daarbinnen toe.
- Plak het adres van je sitemap, druk dan op Kopiëren of robots.txt downloaden en upload het bestand naar de hoofdmap van je site.
Wat de richtlijnen betekenen
- User-agent: * richt zich op elke crawler die geen eigen blok heeft.
- Disallow noemt een pad dat niet mag worden opgehaald. Een lege Disallow betekent dat niets wordt geblokkeerd.
- Allow opent een pad binnen een geblokkeerde map, bijvoorbeeld een openbare helppagina binnen /admin/.
- Sitemap wijst crawlers naar je sitemap.xml zodat ze nieuwe pagina's sneller vinden.
- Crawl-delay vraagt een crawler te wachten tussen verzoeken. Google negeert het, terwijl sommige andere zoekmachines het respecteren.
AI-crawlers buiten houden
De optie om AI-trainingscrawlers te blokkeren voegt een apart blok toe voor GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot en een aantal andere, elk met Disallow: /. Zoekmachines worden niet geraakt, dus je pagina's blijven vindbaar. Brave bots volgen deze regels, al is een robots.txt slechts een verzoek en geen technische barrière.
Veelgemaakte fouten die je kunt vermijden
Een pagina blokkeren in robots.txt haalt hem niet uit de zoekresultaten, want een geblokkeerde URL kan nog steeds worden vermeld als andere sites ernaar linken. Gebruik daarvoor een noindex-tag. Blokkeer ook niet de CSS- en JavaScript-bestanden die een pagina nodig heeft, anders kunnen zoekmachines hem niet goed weergeven. Het bestand moet op het hoogste niveau staan en een naam in kleine letters hebben.