免費 robots.txt 檢測工具

robots.txt 會告訴搜尋引擎爬蟲可以造訪網站的哪些部分，但它不會移除已被索引的頁面，被封鎖的頁面有時仍可能以沒有內容的形式出現在搜尋結果中。在下方貼上網址，查看你網站的 robots.txt 對該路徑是允許還是禁止。