ECサイトでA/Bテストを行う際、注意しておくべき3つのポイント

ECサイトの施策の効果を最大化するために、ABテストを用いるケースがあります。ABテストとは、異なる2パターンのWebページを用意し、実際にユーザーにしてもらうことで、効果を比較するテストのことです。ページ全体のコンセプトを変えて、まったく違うパターンを戦わせたり、一部分にのみを変更したパターンを戦わせたりなど規模も大小様々です。

ABテストは、その単純さとわかりやすさで、手軽に始められる改善手法として多くの企業が行っていますが、失敗に陥りやすい落とし穴がいくつかあります。今回は、ABテストを行う上で注意すべきポイントをまとめてみたいと思います。

1・サンプルの規模が不十分

“AとBというパターンを戦わせるテストを行った結果、BパターンのほうがCVがAパターンの２倍もよかった！”
このような結果が出れば、Bページのほうが圧倒的に成果を上げたように見えますが、実際は何人のユーザーが訪問して、そのうちの何人がCVまでたどり着いたのでしょう？

統計的に十分なサンプル数を確保できているかを、しっかり確認する必要があります。しかし、どれくらいのサンプルがあれば統計的信頼性を得ることができるかわからないことが大半だと思います。そんな時はオンライン上に様々なサンプルサイズ計算機があるので、どれくらいの信頼度を目安にするかを加味しながら必要なサンプル数を算出してみましょう。

2・仮説を立てずにテストを行う。

テストを行う時に、ネット上の記事やどこかで読んだ内容をそのままテスト内容に組み込んでいませんか？感覚に頼ったテストでは、本来抱えている根本的な問題を改善するのに遠回りしてしまう可能性があります。

なにをどう改善したいのか、それがどういった想定で改善される見込みがあるのか、しっかり計画を立てて、仮説を元にテストを行う必要があります。テストの結果が出た時点で、よかった悪かっただけの判断で済ませず、なぜ良かったのか、なぜ悪かったのかを深堀することで、効果的な改善箇所を見つけることができます。

3・細部にこだわりすぎる

よく、ボタンの大きさや色を変えただけでCVRが○○％UP！！といった事例紹介があります。これらは、少ない変更で、大きな成果が得られた好例として紹介されているのであって、どのサイトにも当てはまる事象だとは言えません。このような成功事例に捕らわれてしまい、根本的な問題に気が付きにくいケースがあります。

小さなテストをやみくもに乱発するよりも、まずは大枠のコンセプトや仮説のテストを行い、そこから小さなテストへと絞り込む形で進行していくのが効率的だと考えます。

昨今は、様々なテストツールも開発され、より簡単にABテストをはじめることができるようになりました。せっかくABテストを行うのであれば、より効果的なテストになるよう、しっかりと計画を立てて、意味のあるテストを行いましょう。

「ECコンサルコラムサイト「ECコンサル」」掲載のオリジナル版はこちら：
意外と気付かずやっている⁉︎ABテストの落とし穴（2016/10/12）