Почему каталоги сложнее всего держать полностью проиндексированными
Пост в блоге пишется один раз и в основном остаётся неизменным. Страница товара — совсем другое дело: цены меняются, варианты то появляются, то заканчиваются на складе, сезонные товары каждый квартал добавляются и архивируются, а целые коллекции перестраиваются по мере роста каталога или редизайна сайта. Каждое такое изменение — это событие, которое поисковая система должна заметить и повторно просканировать, чтобы данные оставались актуальными, а на магазине с тысячами артикулов это тысячи мелких изменений каждую неделю, подавляющее большинство которых сами по себе никогда не попадают на повторное сканирование, потому что ничто вне собственной базы данных магазина не знает о том, что они произошли. Результат почти для любого каталога, превысившего определённый размер, один и тот же: одни страницы проиндексированы и актуальны, другие проиндексированы, но незаметно устарели, а некоторые — часто самые новые и коммерчески важные — вообще никогда не попадали в индекс.
Откуда на самом деле берётся количество URL
Индексируемая поверхность типичного магазина — это не только страницы товаров: это главная страница, каждая категория и подкатегория, каждый отдельный товар и часто каждый вариант этого товара (размер, цвет, комплект, материал) как отдельный собственный URL — в зависимости от настроек платформы. И Shopify, и WooCommerce по умолчанию генерируют URL для вариантов и отфильтрованных коллекций, если владелец магазина специально не настроил обработку канонических URL, чтобы этого избежать, — именно поэтому магазин всего с несколькими сотнями уникальных товаров легко может иметь в сумме несколько тысяч технически индексируемых URL, значительная часть которых меняется независимо друг от друга по совершенно разным графикам: вариант размера, закончившийся на складе, никак не затрагивает описание или цену родительского товара.
Три самые частые причины пробелов в индексации каталога
Страницы новых товаров, которые опережают краулер, — товар выходит в продажу и начинает активно продаваться и рекламироваться ещё до того, как он вообще проиндексирован, а значит, платный трафик работает, а органический поисковый трафик просто пока не может его найти. Страницы снятых с продажи или отсутствующих на складе товаров, оставленные жить бессрочно без чёткого сигнала об их статусе, из-за чего бюджет сканирования продолжает тратиться на повторную проверку страниц, которые бизнесу уже вообще не важны. И дублирующиеся или почти дублирующиеся URL, порождаемые параметрами фильтрации и сортировки (?sort=price, ?color=red, ?page=2), которые напрямую конкурируют с канонической страницей товара или категории за одно и то же ограниченное внимание краулера. У каждой из этих трёх причин своё конкретное решение, но все три сводятся к одному и тому же корню проблемы: изменения в каталоге опережают то, что краулер вообще был способен заметить по собственной инициативе.
Устранение задержки индексации новых товаров
Прямое решение — отправлять URL новых и обновлённых товаров в момент их публикации, а не ждать, пока их органически обнаружит следующий по расписанию цикл сканирования сайта, что на домене с более низким авторитетом или редким сканированием может реально занять недели. Именно этот разрыв закрывает IndexNow: вместо того чтобы новый товар оставался непроиндексированным, пока покупатели, ищущие именно его, не могут найти ваше объявление, отправка происходит в тот же момент, когда публикуется страница товара, а поисковые системы, поддерживающие IndexNow — Bing, Yandex, Seznam.cz и Naver, — ставят её в очередь на более быстрое сканирование, обычно индексируя в течение минут, а не за то время, которое потребовал бы для этой конкретной страницы обычный цикл сканирования сайта.
Устранение проблем со страницами снятых с продажи и отсутствующих товаров
Страница товара, которого действительно больше нет, должна либо перенаправляться с помощью настоящего 301-редиректа на ближайшую актуальную замену, либо честно отдавать 404 или 410, если действительно нет ничего разумного, куда перенаправить посетителей вместо неё, — оставлять её жить бессрочно только с баннером «нет в наличии» и без другого сигнала означает продолжать тратить бюджет сканирования на страницу, которая больше не приносит пользы ни бизнесу, ни посетителю. Если товар ожидается снова в наличии в известные сроки, правильным решением будет оставить страницу активной и проиндексированной; если же он снят с продажи навсегда, дать ей реально покинуть индекс — лучше и для эффективности сканирования, и для покупателей, которые иначе попадали бы в тупик из устаревшего результата поиска.
Устранение дублирования из-за параметров фильтров и сортировки
Каждый вариант страницы категории с ?sort=, ?filter= и ?page= технически является для краулера отдельным URL, и ничто не сообщает ему автоматически, что все эти варианты на самом деле представляют собой один и тот же список товаров, показанный в другом порядке или с другим видимым подмножеством. Канонический тег на каждом отфильтрованном варианте, указывающий обратно на чистый, нефильтрованный URL категории, однозначно сообщает поисковым системам, какая версия действительно стоит того, чтобы её индексировать и ранжировать, — так бюджет сканирования уходит на реально важную страницу, а не тонко распределяется по десяткам почти идентичных комбинаций параметров, по сути показывающих один и тот же список немного по-разному.
Массовая отправка URL при полной миграции каталога
Полная миграция платформы, массовое обновление цен или изменение структуры URL по всему сайту могут разом затронуть каждый URL каталога — именно для такого случая и была создана массовая отправка через API, вместо ручного процесса через панель управления по одному URL за раз, на который выделенному сотруднику потребовались бы дни. Баланса кредитов уровня Enterprise в 5 000 кредитов с запасом хватает на полную повторную отправку каталога среднего размера одним пакетом после миграции; пакет Agency с 10 000 кредитов покрывает выполнение того же процесса повторной отправки сразу для нескольких магазинов клиентов из одного аккаунта, без покупки отдельных пакетов для каждого. В любом случае сразу после миграции цель одна и та же независимо от масштаба: как можно быстрее представить поисковым системам новый, корректный набор URL, вместо того чтобы ждать, пока медленное органическое переоткрытие постепенно само нагонит упущенное, пока позиции и трафик незаметно проседают.
Постоянное сопровождение эффективнее разовых исправлений
Каталог — это не проект, который завершают один раз и забывают, а нечто, что нужно поддерживать в актуальном состоянии постоянно, — точно так же, как карта редиректов для снятых с продажи товаров или каноническая стратегия для отфильтрованных URL реально помогают лишь тогда, когда продолжают применяться к каждому новому товару и дальше, а не только к тем, что уже опубликованы сегодня. Если привязать автоматическую отправку к каждому событию создания и обновления товара, индексация каталога превращается в рутинное, незаметное сопровождение, а не в периодический проект по уборке, для которого кому-то нужно выделять время, а любая отправка, которая всё же зависает, автоматически возвращает свой кредит через 7 дней, вместо того чтобы незаметно потратить его на поисковую систему, которая так и не поставила страницу в очередь.
Хотите, чтобы новая страница была найдена быстрее, чем при обычном органическом сканировании?
IndexLaunch отправляет каждый добавленный URL сразу в несколько поисковых систем, как только вы ставите его в очередь.
Без банковской карты · кредиты не сгорают
Или бесплатно проверьте индексируемость любой страницы →