Gerador de Robots.txt

Padrão - Todos os Robôs

Atraso de rastreamento

URL do Sitemap (opcional)

Robôs de busca

Google

Google Image

Google Mobile

MSN Search

Yahoo

Ask/Teoma

Cuil

GigaBlast

DMOZ Checker

Nutch

Alexa/Wayback

Baidu

Naver

Yandex

Caminhos restritos (um por linha, ex: /cgi-bin/)

Seu arquivo robots.txt: