ABテストは「どう使う」かがポイント!?

「テスト」という言葉を聞くと、試験を連想して憂鬱な気持ちが湧き起こる高橋です。でも、理科の実験はワクワクして楽しかった記憶が……笑。

ということで、同じテストでも試験より気がラクな「実験」としてのテスト、「ABテスト」についてのお話です。

マーケティングメールの開封率やクリック率、とにかく数字を伸ばしたい！　と思いますよね。
ABテストが簡単にできるAdobe Marketo Engage（以下、Marketo）。やってみよう！　と飛びついてはみたものの、「これってどう使うのがいいの？」「このテスト結果は本当に合ってる？」と悩んだことがあるのではないでしょうか。

問題点の分解と改善の仮説

配信しているメールには、新商品の案内やコンテンツへの誘導もあれば、ウェビナーやイベントの招待など、目的はさまざまです。その目的が何であれ、配信したメールのクリック率が低いとガッカリ。CTAの先のコンテンツを見てもらえなければ、そのメールの目的が成されず、関連している施策にも影響が出ます。

まずは、何をどう変えると良くなるかの仮説を立てましょう。さらにその仮説を立てるためには、全体像を考えた上で、どこがボトルネックになっているのか見つけるために問題を分解していく必要があります。

では、「メールクリック率が低い」場合、どのような状態が考えられるでしょうか。

どちらも、最終的な課題が「メールクリック率を上げたい」だとしても、そのパターンによって原因は異なるので、「どこをどう変えたらいいのか」の着眼点は変わります。それを見極めた上で、仮説を立てることが重要です。

ABテストをするときの注意点

仮説ができたら、実際にABテストの設定に進みます……が、ここでも注意！
仮説って、大体は1つではなく複数考えられるんですよね。原因はアレかもしれないし、コレかもしれない……。でも、2つ以上の要素を同時にテストすることはやめましょう！

せっかくABテストをするからと言って、例えば「メイン画像」を変え、さらに「CTA文言」も変え、なんてことをすると台無しです。どちらの点で改善に結びついたのか判断ができなくなってしまいます。

ABテストの際は、必ず1つの要素でテストをしましょう！

Marketo メールABテストの種類

MarketoでのメールのABテストは、プログラムの種類によって異なります。下記の2種類を用途に合わせて、使い分けしましょう。

ABテストの分析

ABテストの結果、数字が良かったメールを採用！　となりがちですが、実はテスト結果の数字だけを見ても簡単に判断はできません。全体母数からのパーセンテージなど、統計学的な判断をすることも必要です。

……なんだか難しそうに聞こえます？
でも大丈夫！　統計学大嫌いな私でも、これさえあればできる秘密兵器があるんです！　それについては、弊社ブログを参照してくださいw

また、ABテスト後も数字が改善されないことも多々あります。その場合は、施策自体を俯瞰的に捉えて別な問題が存在する可能性を考える必要があるかもしれません。「俯瞰力」についてはこちら！

とはいえ、全体像を捉えながら問題点を分解し、改善していくのはかなり労力が必要だったりもします。「必要性はわかってはいるんだけど、なかなか……」と感じている方は、いつでもルシダスへご相談ください！