Generator Robots.txt

Domyślnie - Wszystkie roboty

Opóźnienie indeksowania (Crawl-delay)

URL mapy witryny (opcjonalnie)

Roboty wyszukiwarek

Google

Google Grafika

Google Mobile

MSN Search

Yahoo

Ask/Teoma

Cuil

GigaBlast

DMOZ Checker

Nutch

Alexa/Wayback

Baidu

Naver

Yandex

Zablokowane ścieżki (jedna w wierszu, np. /cgi-bin/)

Twój plik robots.txt: