"발견됨 - 현재 색인이 생성되지 않음" 해결법

이 상태가 실제로 의미하는 것

"발견됨 - 현재 색인이 생성되지 않음"은 Google이 해당 URL의 존재를 알고 있지만(대개 사이트맵이나 어딘가의 링크에 등장했기 때문에) 아직 크롤링하지 않았다는 뜻입니다. 이는 거부가 아니라 크롤링 이전 단계입니다. Google은 주소는 알고 있지만 아직 문을 두드리지 않은 것뿐입니다.

이것이 실제로 문제일까요?

대개는 아닙니다. 사이트맵의 일부가 특히 게시 직후나 대규모 사이트에서 일시적으로 이 상태에 머무는 것은 매우 정상적입니다. 특정 페이지, 또는 사이트의 상당 부분이 몇 주 동안 아무런 변화 없이 이 상태에 머문다면 조사해 볼 가치가 있습니다.

흔한 원인

• 크롤링 예산 우선순위 — Google은 중요하다고 판단하는 페이지에 더 많은 크롤링을 할당합니다. 신뢰도가 낮은 새 페이지는 차례를 기다립니다.
• 연결된 내부 링크 없음 — 사이트 내 다른 곳에서 연결된 링크가 전혀 없는 사이트맵 항목은 낮은 우선순위 신호로 작용합니다.
• 이전 크롤링 시도 중 서버 오류 — Googlebot이 페이지에 접근하려다 시간 초과나 5xx 오류를 만나면, 즉시 재시도하지 않고 물러났다가 나중에 다시 시도합니다.
• 매우 새롭거나 신뢰도가 낮은 도메인 — Google은 실적이 쌓이기 전까지 새 사이트를 더 신중하게 크롤링합니다.

어떤 페이지가 영향을 받는지 확인하는 방법

Search Console에서 색인 생성 아래의 페이지 보고서를 열고, "페이지가 색인 생성되지 않는 이유" 표에서 "발견됨 - 현재 색인이 생성되지 않음"을 찾으세요. 클릭하면 영향을 받는 모든 URL 목록이 나타나고, 개별 URL을 클릭하면 URL 검사가 열려 실시간으로 확인할 수 있습니다.

발견 속도를 높이는 방법

• Google이 이미 정기적으로 크롤링하는 곳 — 홈페이지, 카테고리 페이지, 최신 게시물 목록 등 — 에서 해당 페이지로 링크를 연결하세요. 사이트맵 항목만으로는 약한 신호에 불과합니다.
• 사이트맵의 lastmod 날짜를 정확하게 유지하세요 — 오래되고 변경되지 않은 사이트맵은 크롤러가 다시 방문할 이유를 주지 못합니다.
• 서버가 빠르게 응답하고 깨끗한 200 상태를 반환하는지 확인하세요 — Search Console의 URL 검사에 있는 "실제 URL 테스트" 기능으로 확인할 수 있습니다.
• 이를 지원하는 검색엔진(Bing, Yandex, Seznam, Naver)에는 다음 정기 크롤링을 기다리지 말고 IndexNow를 통해 URL을 직접 전송하세요.

진짜로 걱정해야 할 때

사이트의 상당 부분이 한 달 이상 이 상태에 머문다면, 이는 페이지 단위로 해결할 수 있는 문제라기보다 더 근본적인 크롤링 예산이나 사이트 신뢰도 문제일 가능성이 높습니다 — 개별 URL의 색인 생성을 반복해서 요청하기보다는 더 폭넓은 기술적 SEO 검토가 필요합니다.

발견됨과 크롤링됨: 내 페이지는 어느 쪽일까?

• 발견됨: Google이 URL은 알고 있지만 아직 가져오지 않은 상태입니다. 대개 발견 신호를 강화하면 해결됩니다. 내부 링크, 정확한 사이트맵, 빠르고 안정적인 서버가 핵심입니다.
• 크롤링됨: Google이 페이지를 가져온 뒤 색인하지 않기로 결정한 상태입니다. 대개 고유한 가치는 높이고 중복은 줄인 더 나은 콘텐츠가 해법입니다. "크롤링됨 - 현재 색인이 생성되지 않음" 가이드를 참고하세요.

단계별 체크리스트

1. URL 자체를 확인하세요. 리디렉션 없이 200을 반환해야 하며, 사이트맵에는 정확한 표준 버전(같은 프로토콜, 호스트, 후행 슬래시)이 등록되어 있어야 합니다.
2. 페이지를 실제 탐색 경로에 배치하세요. 사이트맵만이 아니라 카테고리 페이지, 허브 페이지, 관련 글 블록에서도 링크를 연결하세요.
3. 서버 로그나 호스팅 대시보드를 확인하세요. Googlebot의 크롤링 속도를 늦출 수 있는 5xx 오류, 시간 초과, 요청 속도 제한이 있는지 살펴보세요.
4. Search Console 설정의 크롤링 통계를 검토하세요. 응답 시간이 늘어나거나 오류가 급증하면 Google이 크롤링하려는 양이 줄어듭니다.
5. 가치가 낮은 URL을 크롤링 경로에서 제외하세요. 끝없는 필터 조합, 세션 ID, 캘린더 페이지는 중요한 페이지에 필요한 크롤링을 소모합니다.
6. 가장 중요한 URL은 URL 검사에서 색인 생성을 한 번만 요청하고 다음 작업으로 넘어가세요. 요청을 반복해도 대기열에서 순서가 앞당겨지지 않습니다.

대규모 사이트: 수천 개의 URL이 멈춰 있을 때

대규모 사이트의 상당 부분이 발견만 되고 크롤링되지 않는다면, 원인은 대개 개별 페이지보다 사이트 전체의 크롤링 수요에 있습니다. 우선순위를 정하세요. 가장 가치 있는 페이지를 상위 페이지에서 링크하고, 빈약한 섹션은 줄이거나 noindex로 설정하고, 거대한 사이트맵은 논리적인 그룹으로 나눠 어떤 섹션이 뒤처지는지 파악하고, 서버 속도를 높이세요. 자세한 내용은 크롤링 예산 가이드에서 다룹니다.