A / Bテストの実行方法：ブックマークしたいチェックリスト

私たちのようなマーケティング担当者がランディングページを作成したり、メールコピーを作成したり、行動を促すフレーズのボタンをデザインしたりする場合は、私たちの直感を使って、人々がクリックしてコンバージョンを達成する理由を予測したいと思うでしょう。

しかし、マーケティングの決定を「感情」に基づいて行うことは、結果にかなり悪影響を与える可能性があります。 、「A / Bテストを実行する方がはるかに優れています—分割テストと呼ばれることもあります。

A / Bテスト視聴者が異なれば行動も異なるため、価値があります。ある会社で機能するものが、必ずしも別の会社で機能するとは限りません。実際、コンバージョン率最適化（CRO）の専門家は、「ベストプラクティス」という用語を嫌います。これは、実際にはベストプラクティスではない可能性があるためです。

ただし、A / Bテストも複雑になる可能性があります。 「注意しないと、人々が好きなものやクリックする理由について誤った想定をする可能性があります。これは、戦略の他の部分に簡単に誤解を与える可能性のある決定です。

A / Bの実行方法を学ぶために読み続けてください。データ収集の前、最中、後にテストして、結果から最良の決定を下せるようにします。

A / Bテストを実行するには、変更を加えた1つのコンテンツの2つの異なるバージョンを作成する必要があります。次に、これら2つのバージョンを2つの同じサイズのオーディエンスに表示し、特定の期間（結果について正確な結論を出すのに十分な長さ）でどちらがパフォーマンスが優れているかを分析します。

ソース

A / Bテストは、マーケティング担当者が1つのバージョンのマーケティングコンテンツは他のコンテンツと一緒に機能します。ウェブサイトのコンバージョン率を高めるために実施する可能性のある2種類のA / Bテストを次に示します。

例1：ユーザーエクスペリエンステスト

おそらく特定の行動を促すフレーズ（CTA）ボタンをサイドバーに表示するのではなく、ホームページの上部に移動すると、クリック率が向上します。

この理論をA / Bテストするには、次のようにします。」 dCTAの配置の変更を反映した別の代替Webページを作成します。既存の設計（または「コントロール」）はバージョンAです。バージョンBは「チャレンジャー」です。次に、これら2つのバージョンを、サイトの訪問者の所定の割合に表示してテストします。理想的には、どちらかのバージョンを表示する訪問者の割合が同じです。

簡単にA / Bテストを行う方法を学びます。 HubSpotのマーケティングハブを備えたウェブサイトのコンポーネント。

例2：デザインテスト

行動を促すフレーズ（CTA）の色を変更するかどうかを確認したい場合があります。 ）ボタンはクリック率を高めることができます。

この理論をA / Bテストするには、コントロールと同じランディングページにつながる異なるボタンの色で代替のCTAボタンを設計します。通常、マーケティングコンテンツでは赤い行動を促すフレーズのボタンを使用し、A / Bテスト後に緑のバリエーションでクリック数が増えるため、今後は行動を促すフレーズのボタンのデフォルトの色を緑に変更するメリットがあります。 。

A / Bテストの詳細については、こちらから無料の入門ガイドをダウンロードしてください。

A / Bテストのメリット

A / Bテストにはmaへの多くの利点あなたが何をテストすることに決めたかに応じて、rketingチーム。ただし、何よりも、これらのテストは「コストは低いが報酬は高い」ため、ビジネスにとって価値があります。

年収5万ドルのコンテンツクリエーターを雇用しているとします。このコンテンツクリエーターは、会社のブログに週に5つの記事を公開し、年間で合計260の記事を公開しています。会社のブログへの平均的な投稿で10件のリードが生成された場合、ビジネスで10件のリードを生成するには192ドル強かかると言えます（給与50,000ドル÷記事260件=記事あたり192ドル）。これは「確かな変化の塊です。

このコンテンツ作成者に、1つの記事のA / Bテストの開発に2日間を費やすように依頼すると、その期間に2つの記事を書く代わりに、公開する記事が1つ少なくなるため、192ドルを消費する可能性があります。 。しかし、そのA / Bテストで、各記事のコンバージョン率を10から20リードに増やすことができることがわかった場合は、192ドルを費やして、ブログから得られる顧客の数を2倍にする可能性があります。

もちろん、テストは失敗し、192ドルを失いましたが、次のA / Bテストをさらに教育することができます。その2番目のテストでブログのコンバージョン率が2倍になった場合、最終的には284ドルを費やして、会社の収益を2倍にする可能性があります。 A / Bテストが何度失敗しても、最終的な成功は、ほとんどの場合、テストを実施するためのコストを上回ります。

最終的に実験を価値あるものにするために実行できる分割テストには多くの種類があります。A / Bテストの際にマーケターがビジネスに抱く一般的な目標は次のとおりです。

• ウェブサイトのトラフィックの増加：さまざまなブログ投稿やウェブページのタイトルをテストすると、ハイパーリンクされたタイトルをクリックする人の数が変わる可能性があります。あなたのウェブサイトにアクセスしてください。これにより、結果としてウェブサイトのトラフィックが増加する可能性があります。
• コンバージョン率の向上：CTAでさまざまな場所、色、さらにはアンカーテキストをテストすると、これらのCTAをクリックしてランディングページにアクセスする人の数が変わる可能性があります。これにより、ウェブサイトのフォームに記入し、連絡先情報を送信して、リードに「変換」する人の数を増やすことができます。
• 直帰率の低下：ウェブサイトの訪問者が離れる（または「直帰する」場合） “）ウェブサイトにアクセスした直後に、さまざまなブログ投稿の紹介、フォント、または機能画像をテストすることで、直帰率を減らし、より多くの訪問者を維持できます。
• カートの放棄を減らす：eコマースビジネスでは、顧客の40％〜75％が見られますMightyCallによると、ショッピングカートに商品を入れたままウェブサイトを離れます。これは「ショッピングカートの放棄」として知られています。さまざまな製品写真、チェックアウトページのデザイン、さらには送料が表示されている場所をテストすることで、この放棄率を下げることができます。

では、設定、実行、チェックリストを見ていきましょう。 A / Bテストの測定と測定。

A / Bテストの実施方法

フォローする無料のA / Bテストキットには、テスト追跡テンプレート、指導とインスピレーションのハウツーガイド、テストが勝ち負けかどうかを確認するための統計的有意性計算機など、A / Bテストを実行するために必要なすべてのものが含まれています。決定的ではありません。

A / Bテストの前に

A / Bテストを開始する前に実行する手順について説明します。

1。テストする変数を1つ選択してください。

Webページと電子メールを最適化すると、テストしたい変数がいくつかあることに気付く場合があります。ただし、変更の効果を評価するには、「1つの「独立変数」を分離してそのパフォーマンスを測定する必要があります。そうしないと、どちらがパフォーマンスの変更の原因であるかを確認できません。

あなた1つのWebページまたは電子メールに対して複数の変数をテストできます。 「一度に1つずつテストする」ことを確認してください。

マーケティングリソースのさまざまな要素と、デザイン、表現、レイアウトの可能な代替案を確認してください。テストする可能性のあるその他の項目には、メールの件名が含まれます。 、送信者名、メールをパーソナライズするさまざまな方法。

メールの画像や行動を促すフレーズのボタンの単語を変更するなど、簡単な変更でも大きな改善をもたらす可能性があることに注意してください。 。実際、これらの種類の変更は通常、大きな変更よりも測定が簡単です。

注：単一の変数ではなく複数の変数をテストする方が理にかなっている場合があります。これはプロセスです。多変量テストと呼ばれます。「A / Bテストと多変量テストのどちらを実行する必要があるか疑問に思っている場合は、Optimizelyの役立つ記事で2つを比較してください。

2。目標を特定します。

1つのテストごとにいくつかの指標を測定しますが、焦点を当てる主要な指標を選択してください。 nテスト。実際、2番目のバリエーションを設定する前にそれを行ってください。これが「従属変数」です。

分割テストの最後にこの変数をどこに配置するかを考えてください。公式の仮説を述べ、この予測に基づいて結果を検討することができます。

その後まで待って、どの指標が自分にとって重要であるか、目標は何か、どのように変更を提案するかについて考える場合。ユーザーの行動に影響を与える可能性があり、最も効果的な方法でテストを設定できない可能性があります。

3。「コントロール」と「チャレンジャー」を作成します。

これで独立変数、従属変数、および望ましい結果。この情報を使用して、「コントロール」としてテストしているものの変更されていないバージョンを設定します。 「Webページをテストしている場合、これは既存の変更されていないWebページです。ランディングページをテストしている場合、これは通常使用するランディングページのデザインとコピーになります。

そこから、バリエーション、つまり「チャレンジャー」を作成します。これは、自分のコントロールに対してテストするWebサイト、ランディングページ、または電子メールです。たとえば、ランディングページに紹介文を含めることで違いが生じるかどうか疑問に思っている場合は、紹介文を含まないコントロールページを設定します。次に、紹介文を使用してバリエーションを作成します。

4。サンプルグループを均等かつランダムに。

メールのようにオーディエンスをより細かく制御できるテストの場合、最終的な結果を得るには、等しい2つ以上のオーディエンスでテストする必要があります。

これを行う方法は、使用するA / Bテストツールによって異なります。たとえば、メールでA / Bテストを実施するHubSpotEnterpriseのお客様の場合、HubSpotはトラフィックをバリエーションに自動的に分割します。各バリエーションが訪問者のランダムなサンプリングを取得するようにします。

5。サンプルサイズを決定します（該当する場合）。

サンプルサイズの決定方法は、A / Bテストツール、および実行しているA / Bテストのタイプによっても異なります。

電子メールのA / Bテストを行っている場合は、統計的に有意な結果を得るために、リストのより小さな部分にA / Bテストを送信することをお勧めします。最終的には、勝者を選択します。勝ったバリエーションをリストの残りの部分に送信します。 （サンプルサイズの計算の詳細については、この記事の最後にある「The Science of SplitTesting」の電子書籍を参照してください。）

HubSpot Enterpriseをご利用の場合は、サイズの決定に役立つ情報があります。スライダーを使用してサンプルグループの「任意のサンプルサイズの50 / 50A / Bテストを実行できますが、他のすべてのサンプル分割には少なくとも1,000人の受信者のリストが必要です。

Webページのように、限られたオーディエンスを持たないものをテストしている場合、テストを実行し続ける時間は直接影響します。サンプルサイズ。

かなりの数のビューを取得するのに十分な時間テストを実行する必要があります。そうしないと、2つのバリエーションの間に統計的に有意な差があったかどうかを判断するのが困難になります。

6。結果の重要性を決定します。

目標指標を選択したら、あるバリエーションを別のバリエーションよりも選択することを正当化するために、結果の重要性を検討します。統計的有意性は、A / Bテストプロセスの非常に重要な部分であり、誤解されることがよくあります。マーケティングの観点から統計的有意性について復習する必要がある場合は、このブログ投稿を読むことをお勧めします。

パーセンテージが高いほど信頼水準が高いほど、結果についてより確実になります。ほとんどの場合、特に設定に時間のかかる実験であった場合は、最低95％、できれば98％の信頼水準が必要になります。ただし、テストをそれほど厳密にする必要がない場合は、低い信頼率を使用することが理にかなっている場合があります。

HubSpotのシニアソフトウェアエンジニアであるMattRheaultは、配置などの統計的有意性について考えるのが好きです。賭けます。賭けをするのにどの程度の確率がありますか？「これが正しい設計であると80％確信しており、すべてを賭けても構わないと思っている」と言うことは、80％の有意性でA / Bテストを実行することに似ています。

Rheaultはまた、会話率をわずかに改善するだけの何かをテストする場合は、より高い信頼区間が必要になる可能性が高いと述べています。なぜですか？ランダム分散がより大きな役割を果たす可能性が高いためです。

「信頼区間を下げる方が安全だと感じる例は、再設計されたヒーローセクションなど、コンバージョン率が10％以上向上する可能性が高い実験です」と彼は説明しました。

「ここでのポイントは、変更が急進的であるほど、プロセスに関して科学的である必要が少なくなるということです。より具体的に変更（ボタンの色、マイクロコピーなど）が多いほど、コンバージョン率に大きく目立つ影響を与える可能性が低いため、より科学的にする必要があります。」

7。 「どのキャンペーンでも一度に1つのテストのみを実行するようにしてください。

同じ正確なアセットでなくても、1つのキャンペーンで複数のテストを実行すると結果が複雑になる可能性があります。たとえば、ランディングページをA / Bテストすると同時に、ランディングページに誘導するメールキャンペーンをA / Bテストする場合、どの変更がリードの増加を引き起こしたかをどのように知ることができますか？

A / Bテスト中

A / Bテスト中に実行する手順について説明します。

8.A / Bテストツールを使用します。

Webサイトまたは電子メールでA / Bテストを実行するには、A / Bテストツールを使用する必要があります。 HubSpot Enterpriseをご利用の場合、HubSpotソフトウェアには、メールのA / Bテスト（ここで方法を学ぶ）、アクションの呼び出し（ここで方法を学ぶ）、ランディングページ（ここで方法を学ぶ）を可能にする機能があります。

HubSpot Enterprise以外のお客様の場合、他のオプションにはGoogle Analytics “Experimentsがあります。これにより、単一のWebページの最大10のフルバージョンをA / Bテストし、ランダムなユーザーサンプルを使用してパフォーマンスを比較できます。

9。両方のバリエーションを同時にテストします。

タイミングは、時間帯、曜日、月など、マーケティングキャンペーンの結果に重要な役割を果たします。バージョンAを実行する場合1か月と1か月後のバージョンBで、パフォーマンスの変化が異なるデザインによるものなのか、異なる月によるものなのかをどのように知ることができますか？

A / Bテストを実行するときは、同時に2つのバリエーションがあります。そうしないと、結果を推測することになります。

ここでの唯一の例外は、メールの送信に最適な時間を見つけるなど、タイミング自体をテストする場合です。これはあなたのビジネスが提供するものとあなたの加入者が誰であるかに応じて、加入者エンゲージメントの最適な時間は業界とターゲット市場によって大幅に異なる可能性があるため、テストするのは素晴らしいことです。

10。 A / Bテストに、有用なデータを生成するのに十分な時間を与えます。

繰り返しになりますが、「かなりのサンプルサイズを取得するために、テストを十分に長く実行するようにしてください。そうでない場合は」 2つのバリエーションの間に統計的に有意な差があったかどうかを判断するのは難しいでしょう。

十分な長さはどれくらいですか？会社とA / Bテストの実行方法によっては、統計的に有意な結果が数時間…または数日…または数週間で発生する可能性があります。統計的に有意な結果を得るのにかかる時間の大部分は、取得するトラフィックの量です。したがって、ビジネスがWebサイトに多くのトラフィックを取得しない場合、A / Bを実行するのにはるかに長い時間がかかります。テスト。

理論的には、結果を収集する時間を制限するべきではありません。 （サンプルサイズとタイミングの詳細については、このブログ投稿をお読みください。）

11。実際のユーザーからのフィードバックを求めます。

A / Bテストは定量的データと多くの関係があります…しかし、それは必ずしも人々が他の人に対して特定の行動をとる理由を理解するのに役立つとは限りません。 A / Bテストを実行して、実際のユーザーから定性的なフィードバックを収集してみませんか？

人々に意見を求める最良の方法の1つは、調査または投票を行うことです。訪問者に特定のCTAをクリックしなかった理由を尋ねる出口調査をサイトに追加したり、訪問者にボタンをクリックしたりフォームに入力した理由を尋ねる感謝のページに追加したりできます。

たとえば、多くの人が行動を促すフレーズをクリックして電子書籍に誘導したが、価格を確認した後はコンバージョンに至らなかったことがわかります。この種の情報は、ユーザーが特定の方法で行動している理由について多くの洞察を提供します。

A / Bテストの後

最後に、次の手順について説明します。 A / Bテストの後に実施します。

12。目標指標に焦点を合わせます。

繰り返しますが、複数の指標を測定しますが、次の場合はその主要な目標指標に焦点を合わせ続けます。分析を行います。

たとえば、メールの2つのバリエーションをテストし、主要な指標としてリードを選択した場合、開封率やクリック率にとらわれないでください。クリック率が高く、コンバージョン率が低い場合があります。その場合、最終的にクリック率が低いバリエーションを選択することになります。

13。 A / Bテスト計算機を使用して結果の有意性を測定します。

「どのバリエーションが最も効果的かを判断したので、次に、結果が統計的に有意であるかどうかを判断します。言い換えれば、変更を正当化するのに十分ですか？

調べるには、統計的有意性の検定を実行する必要があります。手動で実行することも、プラグインすることもできます。実験の結果を無料のA / Bテスト計算機に入力します。

テストしたバリエーションごとに、送信されたメールや表示されたインプレッションなど、試行の総数を入力するよう求められます。次に、完了した目標の数を入力します。通常はクリック数を確認しますが、これは他の種類のコンバージョンの場合もあります。

計算機は、勝利のバリエーションに対してデータが生成する信頼水準を吐き出します。次に、統計的有意性を判断するために選択した値に対してその数値を測定します。

14。結果に基づいて行動を起こします。

一方のバリエーションが他方より統計的に優れている場合は、勝者がいます。A/ Bテストツールで失われたバリエーションを無効にして、テストを完了してください。

どちらの変動も統計的に優れていない場合は、テストした変数が結果に影響を与えないことを知ったばかりであり、テストを不確定としてマークする必要があります。この場合、元のバリエーションを使用するか、別のテストを実行してください。失敗したデータを使用して、新しいテストの新しい反復を把握するのに役立てることができます。

A / Bテストはケースバイケースで結果に影響を与えるのに役立ちますが、レッスンを適用することもできます。各テストから学び、それを将来の取り組みに適用します。

たとえば、メールマーケティングでA / Bテストを実施し、メールの件名に数字を使用するとクリック率が向上することが繰り返しわかった場合。 、より多くのメールでその戦術を使用することを検討することをお勧めします。

15。次のA / Bテストを計画します。

終了したばかりのA / Bテストが役立った可能性があります。マーケティングコンテンツをより効果的にするための新しい方法を発見しますが、それだけではありません。さらに最適化する余地は常にあります。

テストを行ったばかりの同じウェブページやメールの別の機能でA / Bテストを実施することもできます。たとえば、ランディングページで見出しをテストしたばかりの場合は、本文のコピーで新しいテストを行ってみませんか？または配色？または画像？コンバージョン率とリードを増やす機会に常に目を光らせてください。

今日からA / Bテストを開始

A / Bテストを使用すると、どのコンテンツとマーケティングの真実を知ることができます。あなたの聴衆は見たいと思っています。以下の無料の電子書籍を使用して、上記の手順のいくつかを最適に実行する方法を学びます。

編集者注：この投稿は2016年5月に最初に公開され、包括的に更新されました。

最初に公開された2020年4月13日8:00 ：00 AM、2020年9月8日更新