Robots.txt-Generator

Standard - Alle Roboter

Crawl-Verzögerung

Sitemap-URL (optional)

Suchroboter

Google

Google Image

Google Mobile

MSN Search

Yahoo

Ask/Teoma

Cuil

GigaBlast

DMOZ Checker

Nutch

Alexa/Wayback

Baidu

Naver

Yandex

Eingeschränkte Pfade (einer pro Zeile, z. B. /cgi-bin/)

Ihre robots.txt-Datei: