XML sitemap: найкращі практики індексації

Sitemap — це підказка, а не гарантія

Пошукові системи сприймають sitemap як сильний сигнал виявлення, а не команду. Він не змусить проіндексувати неякісні сторінки — він усуває будь-які сумніви щодо того, які URL-адреси ви вважаєте канонічними й вартими сканування, що найбільше важливо для великих або нових сайтів.

Що включати

• Лише канонічні URL-адреси — точну версію, яку ви хочете проіндексувати.
• Лише URL-адреси, що повертають статус 200 і справді доступні для індексації (без тегу noindex, не заблоковані robots.txt).
• Точну дату lastmod — оновлюйте її, лише коли контент сторінки суттєво змінюється, а не при кожному деплої.

Що виключати

• Сторінки з тегом noindex — включення такої сторінки в sitemap надсилає суперечливий сигнал.
• URL-адреси, що перенаправляють або повертають 404, — вони позначаються як помилки sitemap замість того, щоб допомагати виявленню.
• Дубльовані або параметризовані варіанти тієї самої сторінки (порядок сортування, ідентифікатори сесій, параметри відстеження) — вказуйте лише одну канонічну версію.
• Бідні, автоматично згенеровані сторінки з малою кількістю унікального контенту — вони поширена причина «Скановано, наразі не проіндексовано», і включення сотень таких сторінок розмиває сигнал sitemap для сторінок, які справді важливі.

Обмеження розміру

Один файл sitemap обмежено 50 000 URL-адресами та 50 МБ у нестиснутому вигляді. Більшим сайтам потрібен файл індексу sitemap — один файл, що перелічує кілька дочірніх sitemap, — замість одного гігантського файлу. Більшість фреймворків (включно з тим, що використовує цей сайт) генерують його автоматично, але варто це перевірити, якщо ви створюєте його вручну.

Подання та підтримка

Подайте його один раз як у Google Search Console, так і в Bing Webmaster Tools, і додайте рядок Sitemap: у ваш robots.txt, що вказує на нього, — так будь-який сканер, що знайде ваш сайт самостійно, без попереднього подання, теж зможе його знайти. Після цього sitemap має регенеруватися автоматично в міру зміни контенту; sitemap, що підтримується вручну, майже завжди застаріває.

Поширені помилки, що непомітно витрачають бюджет сканування

• Створення його один раз при запуску й ніколи не оновлення при додаванні чи видаленні сторінок.
• Встановлення поточної дати як lastmod для кожної URL-адреси при кожній збірці — це привчає сканери перестати довіряти цьому полю як реальному сигналу зміни.
• Забування повторно подати sitemap після масштабної реструктуризації URL-адрес (наприклад, міграції домену чи зміни постійних посилань) — Google зрештою помітить це сам, але повторне подання прискорює перехід.