Każdy robot wyszukiwarki zadaje sobie jedno pytanie, zanim przeczyta twoją witrynę: co wolno mi pobrać? Odpowiedź znajduje się w małym pliku tekstowym o nazwie robots.txt w katalogu głównym domeny. Ten generator pisze ten plik na podstawie kilku wyborów, pokazuje wynik przy każdej zmianie i pozwala go skopiować lub pobrać jako robots.txt, gotowy do wgrania.
Tworzenie pliku w trzech krokach
- Wybierz, czy zezwolić na wszystko z wyjątkami, czy zablokować całą witrynę.
- Wypisz foldery lub pliki, od których roboty mają się trzymać z daleka, po jednej ścieżce w wierszu, i w razie potrzeby dodaj wyjątki w ich wnętrzu.
- Wklej adres mapy witryny, naciśnij Kopiuj lub Pobierz robots.txt i wgraj plik do katalogu głównego witryny.
Co oznaczają dyrektywy
- User-agent: * dotyczy każdego robota, który nie ma własnego bloku.
- Disallow wskazuje ścieżkę, której nie wolno pobierać. Puste Disallow oznacza, że nic nie jest zablokowane.
- Allow otwiera ścieżkę wewnątrz zablokowanego folderu, na przykład publiczną stronę pomocy w /admin/.
- Sitemap wskazuje robotom plik sitemap.xml, aby szybciej znajdowały nowe strony.
- Crawl-delay prosi robota o odczekanie między zapytaniami. Google go ignoruje, a niektóre inne wyszukiwarki respektują.
Trzymanie robotów AI z daleka
Opcja blokowania robotów uczących modele AI dodaje osobny blok dla GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot i kilku innych, każdy z Disallow: /. Wyszukiwarki nie są dotknięte, więc twoje strony nadal można znaleźć. Grzeczne roboty przestrzegają tych reguł, ale robots.txt to tylko prośba, a nie techniczna bariera.
Częste błędy do uniknięcia
Zablokowanie strony w robots.txt nie usuwa jej z wyników, bo zablokowany adres może nadal być wyświetlany, jeśli prowadzą do niego linki z innych witryn. Do tego służy znacznik noindex. Nie blokuj też plików CSS i JavaScript potrzebnych stronie, bo wyszukiwarki nie wyświetlą jej poprawnie. Plik musi leżeć na najwyższym poziomie i mieć nazwę zapisaną małymi literami. Po wgraniu warto otworzyć adres /robots.txt w przeglądarce i sprawdzić, czy wyświetla się dokładnie ta treść, którą pokazał generator.