카탈로그가 색인 유지가 가장 어려운 이유
블로그 게시물은 한 번 작성되면 대체로 그대로 유지됩니다. 하지만 상품 페이지는 다릅니다. 가격이 바뀌고, 재고 상태에 따라 옵션(variant)이 들어왔다 나가고, 계절 상품이 분기마다 추가되었다가 보관 처리되며, 카탈로그가 성장하거나 사이트가 리디자인될 때마다 컬렉션 전체가 재구성됩니다. 이러한 변화 하나하나가 검색엔진이 정확성을 유지하기 위해 알아채고 다시 크롤링해야 하는 이벤트입니다. SKU가 수천 개인 스토어라면 매주 수천 건의 소소한 변경이 발생하는 셈이며, 그 대부분은 스토어 자체 데이터베이스 외에는 아무도 그 변화를 알지 못하기 때문에 저절로 재크롤링 대상으로 표시되지 않습니다. 일정 규모를 넘어선 거의 모든 카탈로그에서 결과는 비슷하게 나타납니다. 일부 페이지는 색인되어 정확한 상태를 유지하고, 일부는 색인은 되어 있지만 조용히 오래된 정보를 담고 있으며, 일부는 — 종종 가장 최신이면서 사업적으로 가장 중요한 페이지들이 — 아예 색인에 들어가지도 못합니다.
URL 개수가 실제로 어디서 발생하는가
일반적인 스토어에서 색인 가능한 영역은 상품 페이지만이 아닙니다. 홈페이지, 모든 카테고리와 하위 카테고리, 개별 상품, 그리고 플랫폼 설정에 따라 해당 상품의 각 옵션(사이즈, 색상, 번들, 소재)까지 별도의 URL로 존재하는 경우가 많습니다. Shopify와 WooCommerce는 스토어 운영자가 캐노니컬 처리를 별도로 설정해 막아두지 않는 한, 기본적으로 옵션별 URL과 필터링된 컬렉션 URL을 생성합니다. 이 때문에 개별 상품이 겨우 몇백 개뿐인 스토어도 기술적으로 색인 가능한 URL이 총 수천 개에 달할 수 있으며, 그 대부분은 완전히 다른 일정에 따라 서로 독립적으로 변경됩니다. 예를 들어 특정 사이즈 옵션이 품절되어도 상위 상품 자체의 설명이나 가격에는 전혀 영향을 주지 않습니다.
카탈로그 색인 공백의 가장 흔한 세 가지 원인
첫째, 크롤러보다 빠르게 앞서가는 신규 상품 페이지입니다. 상품이 색인되기도 전에 이미 라이브 상태로 판매와 광고가 시작되면, 유료 트래픽은 정상적으로 작동하지만 오가닉 검색 트래픽은 아직 그 상품을 찾지 못합니다. 둘째, 단종되거나 품절된 페이지가 상태에 대한 명확한 신호 없이 무기한 라이브 상태로 남아, 더 이상 사업적으로 의미 없는 페이지를 다시 확인하는 데 크롤 예산이 계속 소모됩니다. 셋째, 필터링과 정렬 파라미터(?sort=price, ?color=red, ?page=2)로 생성된 중복 또는 유사 중복 URL이 캐노니컬 상품·카테고리 페이지와 한정된 크롤링 자원을 두고 직접 경쟁합니다. 이 세 가지는 각각 해결 방법이 완전히 다르지만, 근본 원인은 동일합니다. 카탈로그의 변화 속도가 크롤러가 자체적으로 알아챌 수 있는 속도를 앞지른다는 점입니다.
신규 상품 지연 문제 해결하기
직접적인 해결책은 신규 및 업데이트된 상품 URL을 사이트의 다음 예정된 크롤링 주기가 자연스럽게 발견해주기를 기다리는 대신, 라이브가 되는 즉시 제출하는 것입니다. 권위가 낮거나 크롤링 빈도가 낮은 도메인이라면 자연 발견까지 실제로 몇 주가 걸릴 수 있습니다. IndexNow가 정확히 메워주는 공백이 바로 이 지점입니다. 신규 상품이 색인되지 않은 채로 방치되어 검색하는 쇼핑객이 리스팅을 찾지 못하는 대신, 상품 페이지가 게시되는 바로 그 순간 제출이 이루어지고, IndexNow를 지원하는 검색엔진 — Bing, Yandex, Seznam.cz, Naver — 이 더 빠른 크롤링을 위해 이를 대기열에 넣습니다. 그 결과 해당 페이지는 사이트의 일반적인 크롤링 주기로 걸렸을 시간과 상관없이 대개 몇 분 안에 색인됩니다.
단종·품절 페이지 문제 해결하기
실제로 판매가 종료된 상품의 페이지는 가장 가까운 대체 상품으로 실제 301 리다이렉트를 하거나, 방문자를 대신 안내할 만한 마땅한 대상이 정말 없다면 정직하게 404나 410을 반환해야 합니다. "품절" 배너만 걸어둔 채 다른 신호 없이 무기한 라이브 상태로 방치하면, 더 이상 사업에도 방문자에게도 도움이 되지 않는 페이지에 크롤 예산만 계속 소모됩니다. 상품이 정해진 시점에 재입고될 예정이라면 페이지를 라이브 상태로 유지하고 색인해두는 것이 맞는 선택이며, 영구적으로 단종된 경우라면 실제로 색인에서 빠지도록 두는 편이 크롤링 효율 측면에서도, 오래된 검색 결과를 통해 막다른 페이지에 도달하게 될 쇼핑객 입장에서도 더 낫습니다.
필터·정렬 파라미터 중복 문제 해결하기
카테고리 페이지의 ?sort=, ?filter=, ?page= 변형은 크롤러 입장에서 기술적으로 모두 별개의 URL이며, 이 변형들이 사실은 순서만 다르거나 일부만 다르게 보이는 동일한 목록이라는 사실을 자동으로 알려주는 장치는 없습니다. 필터가 적용된 모든 변형 URL에 깔끔한 필터 미적용 카테고리 URL을 가리키는 캐노니컬 태그를 달아두면, 어느 버전을 색인하고 순위에 반영할 가치가 있는지를 검색엔진에 명확히 알려줄 수 있습니다. 그러면 크롤 예산이 실질적으로 동일한 목록을 약간 다르게 보여주는 수십 개의 거의 동일한 파라미터 조합에 얇게 분산되는 대신, 실제로 중요한 페이지에 집중됩니다.
카탈로그 전체 마이그레이션을 일괄 제출하기
전체 플랫폼 마이그레이션, 대규모 가격 일괄 변경, 또는 사이트 전체의 URL 구조 변경은 카탈로그의 모든 URL을 한꺼번에 건드릴 수 있습니다. 이는 담당자 한 명이 며칠씩 매달려 처리해야 하는 대시보드 방식의 개별 작업이 아니라, 정확히 일괄 API 제출을 위해 설계된 상황입니다. 5,000크레딧짜리 Enterprise 등급 잔액이면 마이그레이션 이후 중간 규모 카탈로그 전체를 한 번의 배치로 넉넉하게 재제출할 수 있으며, 10,000크레딧짜리 Agency 패키지는 클라이언트별로 별도 패키지를 구매하지 않고도 하나의 계정으로 여러 클라이언트 스토어에 동일한 재제출 과정을 적용할 수 있습니다. 규모와 상관없이 마이그레이션 직후의 목표는 동일합니다. 순위와 트래픽이 조용히 무너지는 동안 느린 오가닉 재발견이 자체 속도로 따라잡기를 기다리는 대신, 새롭고 정확한 URL 집합을 최대한 빨리 검색엔진 앞에 다시 내놓는 것입니다.
일회성 조치보다 지속적인 관리가 낫다
카탈로그는 한 번 끝내고 넘어가는 프로젝트가 아니라 무기한 계속 최신 상태로 관리해야 하는 대상입니다. 단종 상품을 위한 리다이렉트 맵이나 필터링된 URL을 위한 캐노니컬 전략도, 오늘 우연히 라이브 상태인 상품에만 소급 적용하는 것이 아니라 앞으로 등장할 모든 신규 상품에 계속 적용되어야만 실제로 효과가 있는 것과 같은 이치입니다. 상품 생성·업데이트 이벤트마다 자동 제출 단계를 연결해두면, 카탈로그 색인 관리가 누군가 일정을 잡아 처리해야 하는 간헐적인 정리 프로젝트가 아니라 눈에 띄지 않는 일상적인 유지 관리로 바뀝니다. 그리고 대기 상태로 막힌 제출 건은 검색엔진이 실제로 대기열에 넣지도 않은 채 조용히 낭비되는 대신, 7일 후 자동으로 크레딧이 환불됩니다.
오가닉 크롤링만 기다리는 것보다 더 빠르게 다음 페이지를 발견되게 하고 싶으신가요?
IndexLaunch는 제출한 모든 URL을 대기열에 넣는 즉시 여러 검색엔진으로 보냅니다.
카드 등록 불필요 · 크레딧 만료 없음
또는 아무 페이지나 무료로 색인 가능 여부를 검사해 보세요 →