Google이 내 사이트를 색인하지 않는 이유

먼저 실제 상태를 확인하세요

문제를 해결하기 전에 먼저 페이지가 정말로 색인되지 않았는지 확인하세요. Google에서 site:yourdomain.com/your-page를 검색했을 때 아무것도 나오지 않는다면 색인되지 않은 것입니다. 정확한 답을 얻으려면 Google Search Console의 URL 검사 도구에 URL을 붙여넣어 보세요 — 짐작할 필요 없이 정확한 이유(크롤링됨, 색인 안 됨 / 발견됨, 크롤링 안 됨 / 차단됨 등)를 알려줍니다.

1. noindex 태그가 Google에 색인하지 말라고 지시하고 있습니다

페이지 소스를 열어 <meta name="robots" content="noindex">를 검색해 보세요. 이는 가장 흔한 자체 유발 원인으로, 스테이징 환경에서 남아 있거나 CMS/플러그인의 기본 설정이 프로덕션에서 꺼지지 않은 경우가 많습니다.

2. robots.txt가 크롤러를 차단하고 있습니다

yourdomain.com/robots.txt에서 내 페이지 경로와 일치하는 Disallow 규칙이 있는지 확인하세요. 사이트의 한 영역만을 위해 만든 규칙(예: /admin/)이 의도한 것보다 더 많은 경로에 적용될 수 있습니다.

3. 캐노니컬 태그가 다른 곳을 가리키고 있습니다

페이지의 <link rel="canonical">가 다른 URL을 가리키고 있다면, Google은 내 페이지를 그 URL의 중복 페이지로 취급하고 대신 그 URL을 색인합니다. 캐노니컬을 자동으로 생성하는 CMS 플랫폼에서는 이를 놓치기 쉽습니다.

4. 내부 링크가 연결되어 있지 않습니다

사이트 내(또는 외부 사이트)의 다른 곳에서 연결된 링크를 통해 발견할 수 없는 페이지는 사이트맵을 제출했더라도 크롤링되기까지 훨씬 오래 걸립니다. 새 페이지를 홈페이지, 카테고리 페이지, 또는 최신 게시물 목록에서 링크로 연결하세요.

5. 콘텐츠가 빈약하거나 중복되어 보입니다

Google은 크롤링 예산을 어디에 쓸지 선별적으로 결정합니다. 고유한 텍스트가 거의 없거나 자기 사이트의 다른 페이지와 매우 유사한 페이지는 Search Console에서 "크롤링됨 - 현재 색인이 생성되지 않음"으로 분류되는 대표적인 경우입니다 — Google이 페이지를 확인했지만 색인하지 않기로 결정한 것입니다.

6. 사이트나 페이지가 단순히 새로 만들어졌습니다

완전히 새로운 도메인이나, 제출된 사이트맵도 없고 기존 크롤링 기록도 없는 페이지는 크롤러가 방문하기까지 며칠에서 몇 주까지 Google의 발견 대기열에 머물 수 있습니다. 이는 실수가 아니라 단순한 시간 문제이며, 실제로 직접 앞당길 수 있는 유일한 원인이기도 합니다(아래 참고).

페이지 자체를 수정한 후 발견 속도를 높이는 방법

위 원인이 모두 해당하지 않는다면, 가장 빠르고 정당한 방법은 다음과 같습니다: Search Console에서 업데이트된 사이트맵을 제출하고, 개별 페이지에는 URL 검사 도구의 "색인 생성 요청" 버튼을 사용하며, 이를 지원하는 검색엔진(Bing, Yandex, Seznam, Naver)에는 정기 크롤링을 기다리지 않고 페이지가 게시되는 즉시 IndexNow로 알리는 것입니다. Google에는 이에 상응하는 대량 제출 API가 없으므로, Google에서는 Search Console이 유일한 방법입니다.

빠른 진단 순서

1. 무료 색인 가능성 검사를 실행해 상태 코드, noindex, robots.txt, 캐노니컬 문제를 한 번에 배제하세요.
2. Search Console에서 URL 검사를 열고 정확한 상태와 이유를 확인하세요.
3. "발견됨 - 현재 색인이 생성되지 않음"으로 표시된다면 발견 가능성을 높이세요: 내부 링크를 보강하고 깔끔한 사이트맵을 제공하세요.
4. "크롤링됨 - 현재 색인이 생성되지 않음"으로 표시된다면 콘텐츠를 개선하세요: 고유한 가치를 더하고 중복을 줄이세요.
5. 수정한 뒤 색인 생성을 한 번 요청하고, 시간을 두고 기다리세요.

사이트 전체 문제와 개별 페이지 문제

한 페이지만 누락되었다면 원인은 대개 그 페이지에 있습니다. 사이트의 대부분이 누락되었다면 먼저 사이트 전체에 영향을 주는 원인을 찾아보세요: 스테이징에서 남은 noindex, 모든 것을 차단하는 robots.txt, Googlebot을 차단하는 CDN이나 방화벽, 또는 홈페이지를 가리키는 사이트 전체 캐노니컬 등입니다. Search Console의 페이지 보고서를 보면 어떤 유형의 문제인지 알 수 있습니다.