Her arama motoru tarayıcısı sitenizi okumadan önce tek bir soru sorar: ne almama izin var? Cevap, alan adının kökündeki robots.txt adlı küçük bir metin dosyasındadır. Bu oluşturucu birkaç basit seçimden bu dosyayı sizin için yazar, siz değiştirdikçe sonucu gösterir ve yüklemeye hazır robots.txt olarak kopyalamanızı ya da indirmenizi sağlar.
Dosyayı üç adımda oluşturun
- İstisnalarla her şeye izin vermek mi yoksa tüm siteyi engellemek mi istediğinizi seçin.
- Tarayıcıların uzak durması gereken klasörleri veya dosyaları her satıra bir yol olacak şekilde listeleyin; gerekirse bunların içine istisnalar ekleyin.
- Site haritası adresinizi yapıştırın, ardından Kopyala veya robots.txt indir'e basın ve dosyayı sitenizin köküne yükleyin.
Yönergeler ne anlama gelir
- User-agent: *, kendi bloğu olmayan her tarayıcıya hitap eder.
- Disallow, alınmaması gereken bir yolu belirtir. Boş bir Disallow hiçbir şeyin engellenmediği anlamına gelir.
- Allow, engellenmiş bir klasörün içinde bir yolu açar; örneğin /admin/ içindeki herkese açık bir yardım sayfası.
- Sitemap, tarayıcıları sitemap.xml dosyanıza yönlendirir; böylece yeni sayfaları daha erken bulurlar.
- Crawl-delay, bir tarayıcıdan istekler arasında beklemesini ister. Google bunu yok sayar, diğer bazı arama motorları ise dikkate alır.
Yapay zekâ tarayıcılarını dışarıda tutmak
Yapay zekâ eğitim tarayıcılarını engelleme seçeneği; GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot ve diğer birçoğu için her biri Disallow: / içeren ayrı bir blok ekler. Arama motorları etkilenmez, yani sayfalarınız bulunabilir kalır. Kurallara uyan botlar bunları izler; ancak robots.txt yalnızca bir istektir, teknik bir engel değildir. Kötü niyetli botlar kuralları tamamen göz ardı edebilir; bu yüzden hassas içeriği asla yalnızca robots.txt ile korumaya çalışmayın.
Kaçınılması gereken yaygın hatalar
Bir sayfayı robots.txt ile engellemek onu arama sonuçlarından kaldırmaz; çünkü başka siteler ona bağlantı verirse engellenmiş bir URL yine de listelenebilir. Bunun için noindex etiketi kullanın. Ayrıca bir sayfanın ihtiyaç duyduğu CSS ve JavaScript dosyalarını engellemeyin; yoksa arama motorları sayfayı doğru işleyemez. Dosya en üst düzeyde durmalı ve adı küçük harfle yazılmalıdır.