Công cụ kiểm tra robots.txt miễn phí

robots.txt cho các trình thu thập dữ liệu của công cụ tìm kiếm biết phần nào trên trang web được phép truy cập — nhưng nó không xóa trang đã được index, và trang bị chặn đôi khi vẫn xuất hiện trong kết quả tìm kiếm mà không có nội dung. Dán URL bên dưới để xem robots.txt của trang web cho phép hay chặn đường dẫn đó.