免费 robots.txt 检测工具

robots.txt 告诉搜索引擎爬虫可以访问网站的哪些部分，但它不会删除已收录的页面，被屏蔽的页面有时仍可能以无内容的形式出现在搜索结果中。在下方粘贴网址，查看你网站的 robots.txt 对该路径是允许还是禁止。