ABテストとは ― 成果につながるテスト設計の基本!

サイト改善|更新:2019.07.04|公開:2017.03.13

今回は、ABテスト(ウェブテスト)というWebマーケティング手法についてご紹介します。

「単語は知っているが、よく理解してない」
「具体的にどう行うのか分からない」

といった方を対象に、ABテストの基本を1から説明します。
ABテストとはどんな手法なのかをしっかりと理解して、効率的にサイト改善の成果を挙げていきましょう!

ABテストとは?

Webマーケティングにおいて、ABテストとは

WebページのUIや広告文について2つ以上のパターン(パターンA、パターンB)を用意し、どちらのパターンがより高いCVRやCTRを得ることができるか、訪問したユーザーをそれぞれに割り振ってテストすることです。

例えば以下の図のように、あるページについて、候補となるバナーボタンタイプが2つあるとします。

候補となるバナーボタンタイプ

特定の期間を設け、訪問したユーザーを半分ずつそれぞれのパターンに割り振ると、パターンAの方がより良い成果を挙げたことが分かりました。
このABテストの結果、バナーボタンにはパターンAを採用すべき、という判断が出来ます。

ABテストのメリットは、なんといってもその費用対効果の高さです。低価格なツールも充実しているため、低コストでサイト内改善に効果をあげることが出来ます。

たとえば、ユーザー調査(ユーザーがサイトを実際に使用する様子を観察する調査)も、効果の高いサイト改善手法です。しかしこのような定性的な調査は、被験者の募集に手間もお金もかかります。一方でビッグデータを用いた定量的な調査をするABテストは、簡単かつ廉価に実施することが出来ます。更に数値で具体的な結果を得ることができるため、目に見える成果を挙げやすいです。

ABテストを行う3ステップ

それでは、その実装方法と、事前に気を付けるべきポイントを見ていきましょう。

1) ABテストを行う前に:対象ページに十分な訪問数があるかチェック

まずABテストの実施には、適しているサイトと適していないサイトがあります。
ABテストを行うには、十分なサンプルサイズ(つまりテストを行うページの訪問数)が必要になります。

サンプルとなるページ別訪問数が与える影響はとても大きいです。なぜならABテストの結果は、統計的に意味のある差を生まなければ信頼性が薄くなってしまうからです。

どの程度のサイト訪問者数が必要?

Optimizelyというツールが提供する、サンプルサイズカリキュレーターを用いると、サンプルサイズの参考値を確認することが出来ます。
以下の数値をツールに入力してみましょう。

  • 基礎コンバージョン率:現在のCVR
  • 最小検出可能効果:現在のCVRから何%違いが生まれたところで優劣を判断するか

以下の画像は、CVRの20%で差とみなす場合、パターン毎に12,000のページ別訪問数が必要となることを表しています。現在のCVRが3%なので、テスト終了時には、テストパターンのCVRが「3×(1+0.2)=3.6%」あるいは「3×(1-0.2)=2.4%」に達している計算になります。

サンプルサイズカリキュレーター

2) サイトの課題を洗い出し、取り組む課題を決める

どのページでどのようなABテストを行うか決めるためには、サイトの課題を洗い出し、取り組む課題を決めることが重要です。サイト改善の課題は主に以下の手法で洗い出しましょう。

アクセス解析
アクセス解析データやヒートマップのログを分析し、課題のあるページを見つけだす方法です。
ツールとしては無料のGoogleアナリティクスを使うのが一般的です。

ちなみに弊社の提供するアクセス解析の人工知能「AIアナリスト」は、Googleアナリティクスと連携してデータ分析と課題提案を人工知能が自動で行うサービスです。Googleアナリティクスを使いこなしきれていなかったり、複雑な分析に時間を割くことのできないのない方でも、効率的な課題の洗い出しが可能になります。

サイトの課題を見つけてくれる「AIアナリスト」はこちら

ヒューリスティック分析
ユーザービリティ(使いやすさ)の専門コンサルタントに、サイトの課題を炙り出してもらう方法です。いわゆる「専門家のカン」に頼ることでサイトの課題を見つけます。あくまで経験則のため必ずしも正確とは限らず、またコンサル費用も掛かりますが、サイト改善のノウハウがない場合、また早期に課題を見つけたい場合に適しています。

ユーザー調査
一般の被験者を集め、サイトを実際に使用する様子を観察する方法です。新規ユーザーが該当するかもしれない潜在的な課題を発見することが出来ます。
ユーザーの目線を知ることが出来るため、課題の洗い出しにはもちろん、課題を解決するための仮説を考える際の参考にもなります。

課題の洗い出しが出来たら、その優先順位を決めましょう。
優先度の基準は、どれほどCVに直結する課題かです。
課題の選定ができたら、その課題を解決するために考えた仮説をもとに、テスト設計をします。

3) ABテストを実装する

課題の選定ができたら、いよいよABテストを実装する段階に入ります。しかし具体的に何を設定すればよいのか分からない人も多いと思います。
そこで、オススメのテスト設計と代表的なテストツールを紹介します。

3-1) 外部要因に左右されないテスト設計が重要

ABテストをサイト改善につなげるには、ABテストは、テストするパターン以外は同一の条件化で行うことが前提です。そのためには以下の2点に注意しましょう。

  • テスト箇所以外の設計を同一にそろえる
  • 流入するユーザーの属性を同一にそろえる

テスト箇所以外の設計を同一にそろえることは、ABテストが生んだ差の原因を特定するために重要です。
バナーのデザインの正解を知りたいテストをするはずだったのに、ページのテスト箇所以外のデザインも大きく変えてしまっていたらどうなるでしょう。テスト結果の差が本当にバナーの差によるものなのか分かりません。
そのため、極力テストページはシンプルな設計であることが望ましいです。シンプルな設計であれば、ABテストによって判明した差が生まれた原因を特定することが簡単になるからです。

同様にユーザーの属性も同一のものにしなければなりません
流入元(偶然クリックしたディスプレイ広告から来たのか、あるいは検索エンジンで自力で検索してきたのか)はそろえなければなりません。また、季節やトレンドも日々変化するため、同一の期間で計測することも必要です。

このように、外部要因に左右されないテスト設計が重要になります。

3-2) テストページに迷ったらランディングページがベスト

ABテストによって目に見える効果が出やすいページとしては、ランディングページ(LP)が挙げられます。
LPは、以下の点で今までに挙げたABテストの条件に適合しやすい特徴があります。

  • 大きくCTAボタンが設置されていることが多く、設計がシンプル
  • 申し込みや売り上げなどのCVに直結するページであるため、サイトの課題に近い
  • 元々比較短期間のうちに変更を加えやすい性質があるため、テスト実装のハードルが低い

特にシンプルな設計の、CVに直結するページでABテストを行うと、目に見える成果が挙げ易いでしょう。

※ランディングページには広義と狭義の2種類があります。
広義のランディングページとは、単にサイト訪問者が最初に着地したページのことで、入口ページとも言います。
一方で狭義のランディングページとは、「申し込みや売り上げを増やすことに特化してつくられた専用の1ページ」を指し、LPと称されることが多いです。
今回のランディングページは、狭義であるLPの方を意味します。

3-3) 専用ツールを利用して実装へ

実装には専用のABテストツールを使用します。
以下の3つのツールがメジャーです。

OptimizelyとKaizen Platformはともに長年実績のある有料ツールです。Optimizelyは1ヶ月の無料トライアル期間があります。(2017年1月現在)
またGoogleアナリティクスにもウェブテスト機能があり、もちろん無料で利用することができます。

サイトの課題を発見しCVR改善しよう

いかがでしたか?ABテストは比較的廉価でCVR改善を達成することのできる方法でした。

ABテストは、一度だけでなく、何度も行い続けることが重要です。初回のテストの結果を踏まえて、次回以降のテストを企画しましょう。

・別の案にすればもっと成果がでるのではないか?
・この部分の違いはさして重要ではないと分かったので、問題は別のところにあるのではないか?

このように、仮説の設定とABテストによる検証を繰り返すことで、サイトの本質的な課題をさらに洗練させていくことができます。浮かび上がったサイトの課題を解決することで、サイト改善のPDCAサイクルを回していくことが重要です。

ABテストを導入して繰り返ししていくために、サイトの課題を見つけていくことがとても重要です。
そこでお勧めしたいのが以下のリンク先から読めるe-bookです。
サイト改善のために必要なデータの見方や、改善方法がコンパクトにまとめてあります。
効率的な課題の洗い出しが可能になり、常に最新のサイトの課題と照らし合わせながらABテストを設計することが出来ます。
「データ分析をしてサイト改善したいけど何をしたらよいかわからない…」
「データ分析をする時間を短縮したい」
そんな方は必見です!
無料配布中ですので是非ご一読くださいね!

サイトの課題を見つけられるようになるe-book 無料ダウンロードはこちら


この記事を書いた人

佐久間 智大

東京大学在学中のインターン。Webに関する幅広い知識を持つ、期待の若手です。

閉じる

この先続行することで利用規約に同意したものとします。

法人・組織名必須

担当者名必須

メールアドレス必須

電話番号必須

パスワード必須