Robots.txt জেনারেটর

ডিফল্ট - সকল রোবট

ক্রল-ডিলে (Crawl-delay)

সাইটম্যাপ ইউআরএল (ঐচ্ছিক)

সার্চ রোবট

Google

Google Image

Google Mobile

MSN Search

Yahoo

Ask/Teoma

Cuil

GigaBlast

DMOZ Checker

Nutch

Alexa/Wayback

Baidu

Naver

Yandex

সীমাবদ্ধ পাথ (প্রতি লাইনে একটি, যেমন /cgi-bin/)

আপনার robots.txt ফাইল: