무료 robots.txt 검사기

robots.txt는 검색엔진 크롤러에게 사이트의 어느 부분을 방문해도 되는지 알려주지만, 이미 색인된 페이지를 삭제하지는 않으며 차단된 페이지가 내용 없이 검색 결과에 나타나기도 합니다. 아래에 URL을 붙여넣어 해당 경로에 대해 사이트의 robots.txt가 무엇을 허용하거나 차단하는지 확인하세요.