クローキングとは？スパム判定の理由を詳しく解説

こんにちは。SEOコンサルティングサービス「AIアナリストSEO」ライターチームです。

今回紹介するテーマは、クローキングです。

クローキングとは、検索エンジンやユーザーごとに異なるページやコンテンツを出し分けることを言います。かつてはSEO施策の一つとして行われていましたが、現在はGoogleのガイドラインに違反しておりスパム認定されることもある危険な行為です。
そこで今回は、クローキングの意味や手法、なぜクローキングがスパムとして扱われるかについて、分かりやすく説明していきます。

クローキングとは？
クローキングの手法
なぜスパム扱いされるのか？
- クローキングにカウントされない例外
まとめ：クローキングは行ってはダメ！

クローキングとは？

クローキングとは、検索エンジンと人間のユーザーにそれぞれ異なるコンテンツを表示させることを言います。これによって、同じWebページでも、検索エンジンとユーザーに異なるコンテンツを見せることが可能となります。

分かりやすく説明しましょう。
例えば、「aaaa.com」というWebページがあったとします。人間のユーザーがこのWebページをクリックし閲覧すると、Aというコンテンツを見ることができました。しかし、検索エンジンにプログラムされたクローラーが「aaaa.com」をクリックするとBというコンテンツが表示されるのです。

クローキング

このように、ユーザーとクローラーに異なるコンテンツを表示することができます。

これは例えば、違法なアダルトサイトを運営している場合の規制逃れのために使われます。人間のユーザーの訪問時にはアダルトサイトを表示し、検索エンジンのクローラーが訪問してきた際は合法な動画サイトなどを表示するのです。そうすることで、検索エンジン側が違法なサイトに気付けず、アダルトサイトはペナルティを受けずにずっとサイト運営を続けることができるというわけです。

また、クローキングはかつてはSEO施策の一環としても行われていました。
SEO施策として行われる際は、人間のユーザーの訪問時にはFlashを多用して見栄えの良いページを見せ、検索エンジンの訪問時にはFlashを控えシンプルなページを見せます。

これは、検索エンジンがWebサイトを評価する際の独自の基準と関係しています。検索エンジンはキーワードの比率が高くなりやすいテキスト中心のWebページや、HTML構造がシンプルなWebページを評価する傾向にあります。逆にFlashなどを多用した、複雑な構造のWebページは好みません。

しかし反対に、ユーザーはFlashなどを使って派手に見やすくしたWebページを好みます。そこでSEO施策として、ユーザーと検索エンジンに別のWebページを見せるクローキングが使われたわけです。

クローキングの手法

クローキングには、二種類の手法があります。どちらもGoogleのガイドライン違反ではあるので絶対に行わないほうが良いですが、参考程度に手法を確認しておきましょう。

一つ目は、IPアドレス・ユーザーエージェントを用いた手法です。
IPアドレスやユーザーエージェントを手掛かりに、訪問してきたのが人間のユーザーか検索エンジンなのかを判定し、全く異なるWebサイトを表示させる方法です。
上述のアダルトサイトの例がこれにあたります。

二つ目は、画像・Flashの表示を変える手法です。
これは、人間のユーザーには画像やFlashの多い賑やかなWebページ、検索エンジンにはHTMLで構成されたテキストのみのWebページを見せる方法です。
SEO施策としてクローキングを行う際は、この手法がとられることがほとんどです。

なぜスパム扱いされるのか？

ではなぜ、クローキングはスパムとして扱われるのでしょうか。もちろん先ほどのアダルトサイトの例などは悪質ですが、SEO施策としては問題がないように見えます。

しかしGoogleは、クローキングはユーザーが予想した結果と異なる結果をユーザーに提供するものだという理由から、ウェブマスター向けガイドライン（品質に関するガイドライン違反としています。

Googleの公式ヘルプには、クローキングの例として以下の二つが挙がっています。

検索エンジンには HTML テキストのページを表示し、人間のユーザーには画像や Flash のページを表示する。
ページをリクエストした User-agent が人間のユーザーではなく検索エンジンである場合にのみ、ページにテキストやキーワードを挿入する。

一つ目はまさにSEOとして行われていたクローキングの例ですよね。SEOのためであったとしても、ユーザーが予想していないWebページを見せる可能性のあるクローキングは、ガイドライン違反だとGoogleは宣言しているわけです。
つまり、どんな事情があっても、検索エンジンやユーザーごとに表示するコンテンツを切り替えることはやってはならないこととされています。

クローキングにカウントされない例外

しかし、ユーザーの予想しないコンテンツを表示させる行為は絶対にしてはいけないと身構える必要はありません。実は、ユーザーごとに異なるコンテンツを表示するにもかかわらず、クローキングにカウントされない例もあります。これは、よく使うこともある例なので確認しておきましょう。

簡単に言うと、ユーザーにとって有益となるコンテンツ表示の変更はクローキングとみなされません。例えば、スマホ用サイトを別に作る、アクセスしてきた人の所在地（国など）によって適切なコンテンツを表示する、時間帯によって異なるコンテンツを表示するといったような変更が考えられます。

ユーザーのデバイスや所在地などをもとに、ユーザーが使いやすいWebサイトを表示することは、ユーザーにとって有益なことですよね。そのため、これはクローキングとされません。ユーザーごとにコンテンツ表示を変えるのはダメだと思い込むのではなく、ユーザーに本当に使いやすいWebサイトやコンテンツの制作をしていくことが重要なのです。

まとめ：クローキングは行ってはダメ！

ここまで、クローキングの意味や手法、なぜスパムと認定されるかについて解説してきました。

クローキングは、SEO施策としてもGoogleのガイドラインに違反するなどリスクが大きく、行わないほうが良いと言えるでしょう。

Googleは、ユーザーの予想しないWebページを表示してしまうことを理由にクローキングを禁止しています。しかし例外で述べたように、ユーザーにとって有益な変更であれば、ユーザーごとに表示するコンテンツを変えてもクローキングとはみなされません。何がクローキングなのかをしっかり把握し、ガイドラインに違反しないようなWebサイト作成を進めていきましょう。

良質なWebサイトには良質なコンテンツが欠かせません。そこでおススメなのが弊社が提供する「AIアナリストSEO」です。
「AIアナリストSEO」は、月額30万円で戦略から実行まで一貫サポートする「SEOコンサルティング」サービスです。本サービスは、貴社サイトデータだけでなく、競合サイトや弊社が保有するビックデータの分析に基づき、CV獲得に特化したSEO戦略を立案し、記事制作からCVR改善提案まで幅広くサポートいたします。SEOに関する情報収集をしている方や、現在のSEOにお悩みの方は、お気軽にご相談ください。

適切なキーワード選定から作成した記事の効果検証まで、独自のノウハウを半自動化することで、成果の出るコンテンツマーケティングを低コストで支援します。まずは無料の資料請求でお気軽にお問い合わせください。

SEOコンサルティングサービス「AIアナリストSEO」の資料請求はこちら