第一步:查看真实状态
在开始排查之前,先确认该页面确实未被收录。在 Google 中搜索 site:yourdomain.com/your-page——如果没有任何结果,说明该页面未被收录。如需权威答案,可将该网址粘贴到 Google Search Console 的“网址检查”工具中,它会明确告诉您具体原因(已抓取但未收录 / 已发现但未抓取 / 被屏蔽等),而不用您自行猜测。
1. noindex 标签阻止了 Google 收录
查看页面源代码,搜索 <meta name="robots" content="noindex">。这是最常见的“自我误伤”原因——通常是遗留自测试环境的设置,或是某个 CMS/插件的默认设置,在上线生产环境时未被关闭。
2. robots.txt 屏蔽了爬虫
检查 yourdomain.com/robots.txt 中是否存在与该页面路径匹配的 Disallow 规则。原本只针对站点某一部分(如 /admin/)设定的规则,可能会意外匹配到超出预期的范围。
3. canonical 标签指向了别处
如果页面上的 <link rel="canonical"> 指向了另一个网址,Google 会转而收录那个网址,并将您的页面视为其重复内容。这在会自动生成 canonical 标签的 CMS 平台上非常容易被忽略。
4. 没有任何内部链接指向该页面
如果 Google 无法通过站内(或站外)其他地方的链接发现某个页面,即便已提交站点地图,该页面被爬取的速度也会大大放缓。请从您的首页、分类页面或最新文章列表中链接到新页面。
5. 内容看起来单薄或存在重复
Google 在决定将爬取预算花在哪些页面上收录时非常挑剔。独有文本非常少的页面,或与站内其他页面高度相似的页面,很常见地会在 Search Console 中被标记为“已抓取 - 尚未编入索引”——这是 Google 看过之后主动选择不收录。
6. 网站或页面本身就是全新的
全新的域名,或是没有提交站点地图、也没有任何爬取历史的页面,可能会在 Google 的发现队列中停留数天甚至数周,爬虫才会首次访问。这是唯一并非出错、而只是时间问题的原因——同时也是您唯一能够主动推动加快的原因(详见下文)。
在修复页面本身之后,如何加快被发现的速度
在排除以上所有原因之后,最有效的合规手段包括:在 Search Console 中重新提交更新后的站点地图,使用“网址检查”工具中针对单个页面的“请求编入索引”按钮,以及对于支持该功能的搜索引擎——Bing、Yandex、Seznam 和 Naver——在页面上线的瞬间就通过 IndexNow 推送,而不是等待它们下一次的例行爬取。Google 没有对应的批量提交 API;Search Console 是那里唯一可用的手段。
快速诊断的顺序
- 运行免费的可收录性检查,一次性排除状态码、noindex、robots.txt 和 canonical 方面的问题。
- 在 Search Console 中打开“网址检查”,查看确切的状态和原因。
- 如果显示“已发现 - 尚未编入索引”,请改善页面的可发现性:增加内部链接,并保持站点地图整洁。
- 如果显示“已抓取 - 尚未编入索引”,请改进内容:提供更多独特价值,减少重复。
- 修复后请求编入索引一次,然后耐心等待。
全站问题与单个页面问题
如果只是某一个页面缺失,原因通常出在该页面本身。如果网站的大部分页面都缺失,请先排查全站性原因:测试环境遗留的 noindex、屏蔽了所有内容的 robots.txt、拦截 Googlebot 的 CDN 或防火墙,或是指向首页的全站 canonical。Search Console 的“网页”报告可以显示您遇到的是哪种情况。
常见问题
我应该等多久才需要担心?
对于成熟网站上的新页面,一到两周。对于全新的网站,等上几周是正常的。如果一个月后重要页面仍未被收录,请逐一排查上述原因。
提交站点地图能保证被收录吗?
不能。站点地图有助于 Google 发现网址,但 Google 仍会根据页面的价值和网站的整体质量来决定抓取和收录哪些页面。
防火墙或 CDN 会阻止 Google 收录我的网站吗?
会。如果机器人防护对 Googlebot 进行质询或直接拦截,Google 就无法获取您的页面。请查看 Search Console 的“抓取统计信息”以及“网址检查”中的实时测试,确认是否存在获取错误。
页面速度会影响收录吗?
会间接影响。服务器非常缓慢或经常出错,会导致 Google 减少抓取,新页面也会更晚被发现。快速、稳定的服务器能让 Google 抓取您网站的更多内容。
为什么我的页面被收录后又被移除了?
Google 会随着时间推移重新评估页面。常见原因包括出现了新的重复内容、canonical 或 noindex 发生了变化、重新抓取时出现服务器错误,或者 Google 认为该页面价值不高。我们的“恢复被移出索引的页面”指南会逐一介绍每种情况。