無料robots.txtチェッカー

robots.txtは、検索エンジンのクローラーにサイトのどの部分を訪問してよいかを伝えるファイルです。ただし、すでにインデックスされたページを削除するものではなく、ブロックされたページが内容なしで検索結果に表示されることもあります。下にURLを貼り付けると、そのパスに対してサイトのrobots.txtが何を許可・禁止しているかを確認できます。