Генератор Robots.txt

По умолчанию - Все роботы

Задержка обхода

URL карты сайта (необязательно)

Поисковые роботы

Google

Google Image

Google Mobile

MSN Search

Yahoo

Ask/Teoma

Cuil

GigaBlast

DMOZ Checker

Nutch

Alexa/Wayback

Baidu

Naver

Yandex

Ограниченные пути (по одному в строке, например, /cgi-bin/)

Ваш файл robots.txt: