Googleのクローラーに巡回申請をする方法を解説!

こんにちは。SEO記事提供サービス「AIアナリストSEO」マーケティングチームの横山です。
今回紹介するテーマは、Googleのクローラーへの巡回申請方法です。

Web担当者のみなさまにとって、Webサイトの内容を更新したり、新しいWebページを作成する機会は少なくないかと思いますが、この新しいWebページを早く検索結果に表示させるためには、いくつか作業が必要です。
Googleのクローラーというロボットに新しいWebページを巡回してもらい(訪問してもらい)、インデックスと呼ばれる検索エンジンデータベースに登録してもらう必要があります。

そこで今回は、クローラーとは何か、そしてクローラーに新しいWebページを巡回してもらうための申請方法をご紹介します。

目次

• クローラーとは?
• Googleのクローラーへの巡回申請方法
  1. サーチコンソールを用いる方法
  2. XMLサイトマップを送信する方法
  3. Fetch as Googleを用いる方法
• Webサイトが登録・更新されたか確認する方法
  • 新しいWebサイトの「登録」を確認する
  • Webサイトの内容の「更新」を確認する
• まとめ

クローラーとは?

クローラーとは、Webサイトの情報を収集して検索データベースシステムに登録するロボットのことです。

クローラーはインターネット上のWebサイト・画像・動画を巡回し、インターネットに存在しているあらゆる情報を可能な限り収集しようとします。そして、これらの情報を検索データベースに登録していきます。
検索データベースに登録されたWebサイトの情報を「インデックス」と呼びます。インデックスが検索データベースに登録されて初めて、検索エンジンに表示されるようになります。

クローラーは自動的にインターネット上を巡回していますから、何もしなくともいつか自分のWebサイトを発見して検索データベースに登録してくれます。しかし、インターネットに日々上げられる情報量は膨大であるため、クローラーが自分のWebサイトを訪問してくれるまでにはかなりの時間を要します。

そこで、新しいWebページを早く検索結果に表示させるためにはこちらからクローラーの巡回を申請して、クローラーに来てもらわねばならないのです。

次章から、Googleクローラーをどのように自分のWebサイトに呼べば良いのか、巡回の申請方法を「新しくWebサイトを開設した場合」と「既存のWebサイトの内容を変更した場合」に分けて具体的にご説明します。

Googleのクローラーへの巡回申請方法

Webサイトの内容を更新したり、新しいWebページを追加した場合のGoogleのクローラーの巡回の仕方を、丁寧に説明していきます。

1) サーチコンソールを用いる方法

まず、Googleサーチコンソールを用いてWebサイトのURLを検索データベースに登録しましょう。

以下のリンクから新しいWebサイトの登録画面を開いて下さい。以下のような画面が表示されますから、URLを打ち込んでリクエストを送信をクリックします。

Googleサーチコンソールから新しいWebサイトを登録する

作業はこれで完了です。
Googleに新しいURLが送信されますから、しばらくすればクローラーが巡回してインデックスを登録してくれます。

最後に、確実にWebサイトが登録されたのか確認しましょう。確認方法は最後の章「Webサイトが登録・更新されたか確認する方法」をご参照下さい。

2) XMLサイトマップを送信する方法

次に、XMLサイトマップを用いる方法を説明します。
XMLサイトマップとは、Webサイトの各ページのURLとそれらの最終更新日や更新頻度、優先順位を記述したxmlファイルのことで、クローラーがWebサイトの情報を収集する際に用いるものです。
内容を変更したWebサイトのXMLファイルを作成して、Googleサーチコンソールを介してGoogleへ送信すれば、インデックスが登録されるのです。

具体的な作業を説明します。

まず、XMLサイトマップを作成します。
手動でも作成することは可能ですが、作業が煩雑なので無料ツール「sitemap.xml Editor」を使うのがおすすめです。
sitemap.xml EditorではWebサイトのURLを登録するだけで簡単にXMLサイトマップを作成することができます。今回はsitemap.xml Editorを用いたサイトマップ作成方法をご紹介します。

まず、「PCサイトマップ(sitemap.xml)を作成」の欄にWebページのURLを入力します。
次に以下のオプション設定を設定していきます。

最終更新日

「する」を選択すると、更新したページのURLを優先的にクロールしてくれます。「する」にしておきましょう。

サイトの更新頻度

Webサイトの更新頻度を選択しましょう。これによってクローラーの巡回頻度が変わる可能性があるため、適切な更新頻度を選びましょう。

優先度の自動設定

サイト内のページの優先順位を自動で設定するかどうかの選択です。
「する」を選択すると、トップページは1.0、下層ページはそれより小さい値が、サイトマップに自動で記載されます。
値は0.1~1.0まであり、大きいほど優先度が高くなります。

除外ディレクトリ

サイトマップに載せたくないページ(使っていないページなど)のURLを記入します。

同一タイトルURLの除外

「する」を選択すると、タイトルや内容が同一のページがある場合に、それらのURLが重複して表示されるのを防ぐことができます。

最後に「サイトマップ作成」を選択すると、XMLサイトマップのファイルの完成です。
以下のような画面が表示されますので、「sitemap.xml」をクリックしてダウンロードします。

次に、作成したXMLサイトマップをGoogleサーチコンソールにアップロードしましょう。
Googleサーチコンソールにログインしたら、クロールを開きサイトマップをクリックします。
以下のような画面が表示されますから、右上のサイトマップの追加/テストを開きます。
ここに、WebサイトのXMLサイトマップ”sitemap.xml”を打ち込んで送信します。

これで作業は完了です。

なお、サイトマップについては「サーチコンソール(Search Console)にサイトマップを登録する方法【サイト運営に必須!】」の記事で更に具体的に紹介しております。ぜひご参照下さい。

3) Fetch as Googleを用いる方法

次に、3つ目の方法、Fetch as Googleを用いる方法をご紹介します。

Fetch as GoogleとはGoogleサーチコンソールの1つの機能で、クローラーがどのようにWebサイトの情報を収集しているのか見たり、Webサイトのインデックスを検索データベースに登録することができるツールです。

Fetch as Googleは以下のように使います。
まずGoogleサーチコンソールにログインし、クロールからFetch as Googleを開きます。
すると以下のような画面が表示されます。ここにURLを打ち込んで、取得をクリックします。

作業はこれで完了です。

最後に、きちんとWebサイトの情報が更新されたか、以下の方法で確認しておきましょう。

Webサイトが登録・更新されたか確認する方法

Webサイトの新しいURLや内容の変更をGoogleサーチコンソールで登録したら、適切にインデックスが登録、更新されたかチェックしましょう。

新しいWebサイトの「登録」を確認する

新しく開設したWebサイトのインデックスがきちんと登録されたか確認するためには、実際に新しいWebサイトのURLを検索してみれば良いのです。

URLを検索してみて、その新しいWebサイトがヒットすれば、インデックスの登録が完了している証拠です。
検索結果に「http://~に一致する情報は見つかりませんでした」と表示されたら、インデックスが登録されていません。上記の作業をもう一度やり直してみましょう。

Webサイトの内容の「更新」を確認する

Webサイトの内容を変更し、その更新が検索データベースのインデックスで更新されているか確認するためには、Webサイトのキャッシュの日付を確認します。

GoogleではクローラーがWebサイトを訪問するとキャッシュします。キャッシュの日時を確認し、それがWebサイトの更新日時よりも最近であればインデックスが更新されていることがわかります。

キャッシュは、Google検索の結果表示から見ることができます。
以下のような検索結果画面で、各ページのURLの右に下向き三角形があります。これをクリックすればキャッシュを開くことができます。

キャッシュをクリックすると、以下のような表示が現れます。赤枠の日時を確認して、Webサイトの更新日時よりも後の日時であることを確認しましょう。

キャッシュ日時がWebサイト更新日時よりも前であれば、インデックスは更新できていません。上記の作業をもう一度やり直してみましょう。

まとめ

新しくWebサイトを立ち上げたり、既存のWebサイトの内容を更新・追加した時に行う、Googleのクローラーへの巡回申請方法を具体的にご紹介してきました。
GoogleサーチコンソールやXMLサイトマップを用いる方法で申請を行って、きちんとインデックスに登録されたか確認しましょう。

インデックスに登録されて集客数が増えたら、さらにコンテンツマーケティングでも集客を行い、CVを伸ばしていきましょう。

良質なコンテンツが増えるとサイト全体の評価が上がり、ビッグワードでの検索順位が上昇するため、確実に流入を増やすことができます。また、コンテンツから適切な誘導を行えばCVの増加にもつながります。

SEOに強い良質なコンテンツを作るためにおすすめなのが弊社のSEO記事提供サービス「AIアナリストSEO」です。
AIアナリストSEOは、CV数を獲得できるSEOコンテンツを低コストで企画・制作するサービスです。
適切なキーワード選定から作成した記事の効果検証まで、独自のノウハウを半自動化することで、成果の出るコンテンツマーケティングを低コストで支援します。

資料請求は無料ですので、まずはお気軽にお問い合わせください。

AIアナリストSEOの資料請求はこちら