Trình tạo Robots.txt

Mặc định - Tất cả Robot

Độ trễ thu thập dữ liệu

URL sơ đồ trang web (tùy chọn)

Robot tìm kiếm

Google

Google Hình ảnh

Google Di động

Tìm kiếm MSN

Yahoo

Ask/Teoma

Cuil

GigaBlast

Trình kiểm tra DMOZ

Nutch

Alexa/Wayback

Baidu

Naver

Yandex

Đường dẫn bị hạn chế (mỗi dòng một đường dẫn, ví dụ: /cgi-bin/)

Tệp robots.txt của bạn: