«Просканировано, не проиндексировано»: решение

Что на самом деле означает этот статус

В отличие от статуса «Обнаружено — сейчас не проиндексировано», этот статус означает, что Google уже посетил страницу — прочитал её содержимое — и затем принял активное решение не добавлять её в индекс. Это оценка качества или релевантности, а не проблема времени, поэтому обычно требуется другое решение.

Почему это более тревожно, чем «Обнаружено»

Обнаружение пассивно — оно просто означает, что Google ещё не добрался до страницы. «Просканировано, не проиндексировано» означает, что Google посмотрел и пропустил. Повторные запросы на индексацию не изменят этот результат, если основная причина, по которой Google пропустил страницу, всё ещё актуальна.

Распространённые причины

• Скудный контент — очень мало уникального текста, или страница, состоящая в основном из шаблонных элементов (навигация, подвал, несколько предложений основного текста).
• Почти дублирующийся контент — страница, сильно повторяющая другую страницу вашего же сайта (часто встречается при фасетной навигации, страницах тегов или шаблонных страницах товаров/локаций с малым объёмом уникального текста на каждой).
• Канонический тег указывает в другое место — даже если непреднамеренно, Google будет уважать его и индексировать целевую страницу вместо этой.
• Низкие общие сигналы качества сайта — закономерность на многих страницах одного сайта может сделать Google более осторожным и в отношении индексации новых страниц с него тоже.

Как проверить, какие ваши страницы затронуты

Отчёт Страницы в Search Console (в разделе «Индексирование») перечисляет «Просканировано — сейчас не проиндексировано» отдельной строкой от «Обнаружено» в таблице «Почему страницы не индексируются» — нажмите, чтобы увидеть все затронутые URL.

Исправления, которые действительно работают

• Значительно расширьте и сделайте контент более уникальным — добавьте реальные, уникальные детали вместо шаблонного наполнения.
• Если несколько страниц почти дублируют друг друга, объедините их в одну более сильную страницу и настройте 301-редирект с остальных, либо добавьте чёткий канонический тег на нужную для индексации версию.
• Усильте внутренние ссылки на страницу с контента, которому Google уже доверяет, и, где уместно, получите настоящую внешнюю ссылку на неё.
• Если проблема касается всего сайта, сначала решите вопрос качества контента в целом, прежде чем ожидать, что отдельные страницы перейдут в статус проиндексированных.

Чего не стоит делать

Многократное нажатие «Запросить индексацию» в инструменте проверки URL не меняет оценку качества Google — это просто повторно ставит ту же страницу в очередь на ту же самую оценку. Сначала устраните основную причину, затем один раз запросите индексацию.

Чек-лист диагностики на 10 минут

Проходите по пунктам по порядку. Большинство страниц, застрявших в этом статусе, не проходят хотя бы один из них.

1. Запустите проверку URL, затем «Проверить действующий URL». Убедитесь, что страница отдаёт статус 200, отрисованный HTML содержит основной контент, а каноническая страница, выбранная Google, совпадает с той, которую указали вы.
2. Сравните её с тем, что уже ранжируется. Выполните поиск по основной теме страницы и откройте первые три результата. Если ваша страница говорит меньше или говорит то же самое в том же порядке, у Google мало причин индексировать ещё одну версию.
3. Поищите дубли на своём же сайте. Выполните поиск site:yourdomain.com "характерное предложение со страницы". Несколько совпадений означают, что ваши собственные страницы конкурируют друг с другом.
4. Посчитайте внутренние ссылки. Страница, на которую можно попасть только из карты сайта или с глубокой страницы пагинации, выглядит неважной. Поставьте на неё ссылки как минимум с двух-трёх релевантных страниц, которые уже проиндексированы.
5. Задайтесь вопросом, зачем нужна эта страница. Архивы тегов, результаты внутреннего поиска, скудные комбинации фильтров и версии для печати зачастую лучше закрыть через noindex, чем исправлять.
6. Проверьте контент, зависящий от JavaScript. Если основной текст появляется только после выполнения скриптов, убедитесь, что он действительно присутствует в отрисованном HTML из проверки в реальном времени.

Как это выглядит на сайтах разного типа

• Блоги: короткие новостные заметки, пересказы широко освещённых тем, а также страницы категорий и тегов, на которых выводятся только анонсы.
• Интернет-магазины: варианты товара, отличающиеся лишь цветом или размером, страницы отсутствующих товаров со стандартным описанием от производителя и URL фильтров с почти одинаковыми сетками товаров.
• Программно генерируемые и региональные страницы: шаблоны, в которых меняется только название города или ключевое слово. Каждой странице нужны данные или контент, действительно отличающиеся от соседних страниц.
• SaaS и сайты документации: автоматически сгенерированные журналы изменений, страницы тегов или справочные заглушки, на которых всего одна-две строки текста.

Сколько ждать после исправления

После реального улучшения один раз запросите индексацию и дайте время. На небольших сайтах изменения часто видны в течение одной-трёх недель; на крупных сайтах с большим количеством затронутых URL это может занять больше времени, потому что Google переоценивает каждую страницу при повторном сканировании. Чтобы отслеживать группу страниц, используйте кнопку «Проверить исправление» в отчёте «Страницы» в Search Console или выборочно проверяйте отдельные URL с помощью нашей бесплатной проверки индексации в Google.