クロール予算とは？気にすべきタイミング

クロール予算が実際に何であるか

クロール予算は2つの要素の組み合わせです。Googleのクローラーがサーバーに過負荷をかけずに行えるリクエスト数と、そのサイトの人気度やコンテンツの更新頻度に基づいてGoogleが実際にどれだけそのサイトをクロールしたいかです。これは、大規模サイトのどれだけの部分が、ある日にどれだけ速くクロールされるかを決めるものであり、特定のページがそもそもインデックス登録され得るかどうかを決めるものではありません。

ほとんどのサイトに必要な現実的な確認

URLが数千件以下のサイトであれば、クロール予算が実際のボトルネックになることはほぼありません — Googleは最適化なしでも、その規模のサイトなら通常1日以内で十分にクロールできます。小規模サイトのページがインデックス登録されない場合、はるかに可能性の高い原因はコンテンツ品質、技術的なブロック、あるいは発見の問題（内部リンクが張られていない）です。クロール予算が原因だと決めつける前にGoogleがサイトをインデックス登録しない理由をご覧ください。

実際に重要になるとき

• 数万件以上のURLを持つ大規模サイト — クローラーが望むほど頻繁にすべてのページに到達できない場合。
• 並び順、フィルター、セッションIDなど、少数の実ページを大量のほぼ重複したクロール可能URLに増殖させる、重いファセットナビゲーションやURLパラメータを持つサイト。
• 初回発見だけでなく再クロールの鮮度そのものが実際の目標になるほど頻繁にコンテンツを公開・更新するサイト。

実際にボトルネックかどうかを確認する方法

Search Consoleで設定 → クロールの統計情報を開き、1日あたりの平均クロールページ数を、インデックス登録可能なURLの総数と比較してください。サイトに20万件のURLがあり、Googleが1日2,000件しかクロールしていなければ、予算は本当の制約です。300件のURLしかないなら、クロール統計グラフがどう見えようと制約にはなりません。

実際に制約のあるサイトのための修正方法

• 低価値なパラメータの組み合わせや無限のフィルター/並び順URLをrobots.txtでブロックしてください。robots.txt vs noindexをご覧ください。
• Googleに各バリエーションを個別にクロール・評価させるのではなく、canonicalタグでほぼ重複するURLを統合してください。重複コンテンツとcanonicalタグをご覧ください。
• サーバーの応答が遅い問題を修正してください — サーバーが速くなれば、Googleが使用するクロールレート上限が直接引き上げられます。
• ランクインする価値が一度もないままクロールの注意を消費している、実質的に薄く低価値なページを整理するかnoindexにしてください。

クロール予算は新しいコンテンツのための唯一の手段ではない

クローラーが独自のスケジュールで新規または更新されたURLを優先するのを待つことこそ、クロール予算が説明している制約そのものです。IndexNowは、対応している検索エンジンに再クロールと再検討をそのタイムラインで待つのではなく、ページの準備が整った瞬間に直接通知することで、最も重要なURLについてこの制約を回避します。手順の詳細については新しい投稿を素早くインデックス登録する方法をご覧ください。