Jak provést testování A / B: Kontrolní seznam, který si chcete uložit do záložek

Když obchodníci jako my vytvářejí vstupní stránky, píší kopii e-mailu nebo navrhují tlačítka s výzvou k akci, může to být lákavé použít naši intuici k předpovědi toho, co přiměje lidi klikat a konvertovat.

Ale zakládat marketingová rozhodnutí na „pocitu“ může být pro výsledky docela škodlivé. Spíše než spoléhat se na odhady nebo předpoklady, aby tato rozhodnutí činila , je vám mnohem lépe spustit test A / B – někdy se tomu říká split test.

Testování A / B může být cenné, protože různé publikum se chová dobře, jinak. Něco, co funguje pro jednu společnost, nemusí nutně fungovat pro druhou. Odborníci na optimalizaci konverzního poměru (CRO) nenávidí pojem „osvědčené postupy“, protože pro vás nemusí být ve skutečnosti nejlepší praxí.

Ale A / B testy mohou být také složité. Pokud si nedáte pozor, můžete vytvořit nesprávné předpoklady o tom, co se lidem líbí a co je nutí klikat – rozhodnutí, která by mohla snadno dezinformovat ostatní části vaší strategie.

Pokračujte v čtení, abyste se naučili, jak postupovat A / B testování před, během a po sběru dat, abyste ze svých výsledků mohli činit nejlepší rozhodnutí.

Chcete-li spustit test A / B, musíte vytvořit dvě různé verze jednoho obsahu se změnami do jedné proměnné. Poté tyto dvě verze zobrazíte dvěma divákům s obdobnou velikostí a analyzujete, která z nich si po určitou dobu vedla lépe (dostatečně dlouho na to, abyste mohli vyvodit přesné závěry o svých výsledcích).

Zdroj

A / B testování pomáhá obchodníkům sledovat, jak jedna verze marketingový obsah funguje vedle jiného. Zde jsou dva typy testů A / B, které můžete provést ve snaze zvýšit míru konverze vašeho webu:

Příklad 1: Test uživatelského dojmu

Možná chcete zjistit, zda přesunutí určitého tlačítka výzvy k akci (CTA) do horní části domovské stránky namísto ponechání v postranním panelu zlepší jeho míru prokliku.

Chcete-li A / B otestovat tuto teorii, vy “ d vytvořit další alternativní webovou stránku, která odráží změnu umístění CTA. Stávající design – nebo „ovládací prvek“ – je verze A. Verze B je „vyzyvatel“. Poté tyto dvě verze otestujete tak, že každou z nich zobrazíte předem určenému procentu návštěvníků webu. V ideálním případě je procento návštěvníků, kteří uvidí obě verze, stejné.

Naučte se, jak snadno testovat A / B součást vašeho webu s marketingovým centrem společnosti HubSpot.

Příklad 2: Test designu

Možná byste chtěli zjistit, zda změna barvy vaší výzvy k akci (CTA) Tlačítko) může zvýšit míru prokliku.

Chcete-li A / B otestovat tuto teorii, navrhnete alternativní tlačítko CTA s jinou barvou tlačítka, která povede ke stejné vstupní stránce jako ovládací prvek. ve svém marketingovém obsahu obvykle používáte červené tlačítko s výzvou k akci a zelená variace získá více kliknutí po vašem testu A / B, mohlo by to od nynějška znamenat změnu výchozí barvy vašich tlačítek s výzvou k akci na zelenou .

Chcete-li se dozvědět více o testování A / B, stáhněte si našeho úvodního průvodce zdarma.

Výhody testování A / B

Testování A / B má množství výhod pro ma rketingový tým, podle toho, co jste se rozhodli otestovat. Především jsou však tyto testy pro podnik cenné, protože „mají nízké náklady, ale vysokou odměnu.

Řekněme, že zaměstnáváte tvůrce obsahu s platem 50 000 $ ročně. Tento tvůrce obsahu publikuje pět článků týdně pro firemní blog, celkem tedy 260 článků ročně. Pokud průměrný příspěvek na blogu společnosti vygeneruje 10 potenciálních zákazníků, dalo by se říci, že vygenerování 10 potenciálních zákazníků pro firmu stojí něco málo přes 192 $ (50 000 $ ÷ 260 článků = 192 $ za článek). To je spousta změn.

Pokud nyní požádáte tohoto tvůrce obsahu, aby strávil dva dny vývojem testu A / B u jednoho článku, namísto psaní dvou článků v tomto časovém období můžete spálit 192 $, protože publikujete o jeden článek méně . Pokud ale tento test A / B zjistí, že můžete zvýšit míru konverze každého článku z 10 na 20 potenciálních zákazníků, právě jste utratili 192 $ za potenciální zdvojnásobení počtu zákazníků, které vaše firma získá z vašeho blogu.

Pokud test samozřejmě selhal, ztratili jste 192 $ – ale nyní můžete svůj další A / B test ještě více vzdělávat. Pokud tento druhý test uspěje ve zdvojnásobení konverzního poměru vašeho blogu, nakonec jste utratili 284 $ za potenciální zdvojnásobení příjmů vaší společnosti. Bez ohledu na to, kolikrát váš test A / B selže, jeho případný úspěch téměř vždy převáží náklady na jeho provedení.

Existuje mnoho typů rozdělených testů, které můžete spustit, aby se experiment nakonec vyplatil.Zde jsou některé běžné cíle, které mají marketingoví pracovníci pro své podnikání při testování A / B:

• Zvýšený provoz na webu: Testování různých názvů blogových příspěvků nebo webových stránek může změnit počet lidí, kteří kliknou na tento hypertextový odkaz na přejděte na svůj web. Výsledkem může být vyšší provoz na webu.
• Vyšší míra konverze: Testování různých umístění, barev nebo dokonce ukotvení textu ve vašich CTA může změnit počet lidí, kteří kliknou na tyto CTA a dostanou se na vstupní stránku. Tím se může zvýšit počet lidí, kteří na vašem webu vyplňují formuláře, zadávají vám své kontaktní údaje a „konvertují“ na potenciálního zákazníka.
• Míra okamžitého opuštění: Pokud návštěvníci vašeho webu odejdou (nebo „opouštějí“ „) rychle po návštěvě vašeho webu může testování různých představení blogových příspěvků, písem nebo obrázků funkcí snížit tuto míru okamžitého opuštění a udržet si více návštěvníků.
• Opuštění spodního košíku: Podniky elektronického obchodu vidí 40% – 75% zákazníků podle MightyCall opustí svůj web s položkami v nákupním košíku. Toto se nazývá „opuštění nákupního košíku“. Testování různých fotografií produktů, návrhů stránek pokladen a dokonce i tam, kde se zobrazují náklady na dopravu, mohou snížit míru opuštění.

Nyní si projdeme kontrolní seznam pro nastavení, spuštění, a měření testu A / B.

Jak provádět testování A / B

Následovat s naší bezplatnou testovací sadou A / B se vším, co potřebujete k provedení testování A / B, včetně šablony pro sledování testů, příručky s pokyny pro instrukce a inspirace a kalkulačky statistické významnosti, abyste zjistili, zda vaše testy byly výhry, ztráty nebo neprůkazné.

Před testem A / B

Pojďme se seznámit s kroky, které je třeba podniknout před zahájením testu A / B.

1. Vyberte jednu proměnnou, kterou chcete otestovat.

Při optimalizaci webových stránek a e-mailů můžete zjistit, že existuje řada proměnných, které chcete otestovat. Chcete-li však vyhodnotit, jak efektivní je změna, budete chtít izolovat jednu „nezávislou proměnnou“ a měřit její výkon – jinak si nemůžete být jisti, která z nich byla zodpovědná za změny výkonu.

Vy může testovat více než jednu proměnnou pro jednu webovou stránku nebo e-mail; ujistěte se, že je testujete jeden po druhém.

Podívejte se na různé prvky ve vašich marketingových zdrojích a jejich možné alternativy designu, formulace a rozvržení. Mezi další věci, které můžete otestovat, patří řádky předmětu e-mailu , jména odesílatelů a různé způsoby personalizace e-mailů.

Nezapomeňte, že i jednoduché změny, jako je změna obrázku v e-mailu nebo slova na tlačítku výzvy k akci, mohou přinést velká vylepšení . Ve skutečnosti se tyto druhy změn obvykle měří snadněji než ty větší.

Poznámka: V některých případech má větší smysl testovat více proměnných než jednu proměnnou. Toto je proces tzv. multivariační testování. Pokud vás zajímá, zda byste měli spustit test A / B versus multivariační test, zde je užitečný článek Optimizely, který tyto dva porovnává.

2. Určete svůj cíl.

I když budete měřit několik metrik pro každý test, vyberte primární metriku, na kterou se zaměřte – než budete v testu. Ve skutečnosti to udělejte ještě předtím, než nastavíte druhou variantu. Toto je vaše „závislá proměnná“.

Na konci testu rozdělení se zamyslete nad tím, kde má být tato proměnná. Můžete uvést oficiální hypotézu a na základě této predikce prozkoumat své výsledky.

Pokud počkáte až poté, než se zamyslíte nad tím, které metriky jsou pro vás důležité, jaké jsou vaše cíle a jaké změny navrhujete může ovlivnit chování uživatelů, nemusí být test nastaven nejúčinnějším způsobem.

3. Vytvořte „ovládací prvek“ a „vyzyvatele“.

Nyní máte svůj nezávislá proměnná, vaše závislá proměnná a požadovaný výsledek. Tyto informace použijte k nastavení nezměněné verze všeho, co testujete jako svoji „kontrolu“. Pokud testujete webovou stránku, jedná se o nezměněnou webovou stránku, protože již existuje. Pokud testujete vstupní stránku, jedná se o návrh a kopii vstupní stránky, kterou byste normálně používali.

Odtud vytvořte variantu nebo „vyzyvatele“ – web, vstupní stránku nebo e-mail, který otestujete proti své kontrole. Pokud si například kladete otázku, zda by zahrnutí posudku na vstupní stránku mělo nějaký vliv, nastavte svou kontrolní stránku bez posudků. Poté vytvořte variantu s posudkem.

4. Rozdělte vzorkujte skupiny rovnoměrně a náhodně.

U testů, kde máte větší kontrolu nad publikem – jako u e-mailů – je třeba testovat se dvěma nebo více cílovými skupinami, které jsou si rovné, abyste dosáhli přesvědčivých výsledků.

Jak to uděláte, se bude lišit v závislosti na použitém testovacím nástroji A / B. Pokud jste například zákazníkem HubSpot Enterprise provádějícím test A / B na e-mail, HubSpot automaticky rozdělí provoz na vaše varianty takže každá varianta získá náhodný výběr návštěvníků.

5. Určete velikost vzorku (je-li k dispozici).

Způsob určení velikosti vzorku se bude lišit také v závislosti na vašem testovacím nástroji A / B a typu A / B testu, který právě používáte.

Pokud testujete A / B e-mail, pravděpodobně budete chtít poslat A / B test do menší části vašeho seznamu, abyste získali statisticky významné výsledky. Nakonec vyberete vítěze a pošlete vítěznou variantu na zbytek seznamu. (Další informace o výpočtu velikosti vzorku najdete v elektronické knize „The Science of Split Testing“ na konci tohoto článku.)

Pokud jste zákazníkem HubSpot Enterprise, budete mít pomoc s určením velikosti své skupiny vzorků pomocí posuvníku. Umožní vám to provést test 50/50 A / B jakékoli velikosti vzorku – i když všechny ostatní rozdělení vzorků vyžadují seznam alespoň 1 000 příjemců.

Pokud testujete něco, co nemá konečné publikum, například webovou stránku, pak to, jak dlouho test necháte běžet, přímo ovlivní váš velikost vzorku.

Budete muset nechat test běžet dostatečně dlouho, abyste získali značný počet zhlédnutí, jinak bude těžké určit, zda mezi oběma variantami existoval statisticky významný rozdíl.

6. Rozhodněte, jak důležité musí být vaše výsledky.

Jakmile si vyberete metriku cíle, přemýšlejte o tom, jak důležité musí být vaše výsledky, abyste ospravedlnili výběr jedné variace před druhou. Statistická významnost je velmi důležitou součástí procesu testování A / B, která je často nepochopena. Pokud potřebujete aktualizovat statistickou významnost z marketingového hlediska, doporučuji si přečíst tento příspěvek na blogu.

Čím vyšší procento vaší úrovně spolehlivosti, tím více si můžete být jisti svými výsledky. Ve většině případů budete chtít úroveň spolehlivosti minimálně 95% – nejlépe dokonce 98% – zejména pokud se jedná o časově náročný experiment. Někdy však má smysl použít nižší míru spolehlivosti, pokud nepotřebujete, aby byl test stejně přísný.

Matt Rheault, senior softwarový inženýr společnosti HubSpot, rád uvažuje o statistické významnosti, jako je umísťování sázka. Na jaké šance sázení vsadíte? Říkat „Jsem si 80% jistý, že toto je správný design a jsem„ ochoten na ni vsadit všechno “, je podobné provedení testu A / B s 80% významností a poté prohlásí vítěze.

Rheault také říká, že budete pravděpodobně chtít vyšší prahovou hodnotu spolehlivosti při testování na něco, co jen mírně zlepšuje rychlost konverzace. Proč? Protože náhodná odchylka pravděpodobně hraje větší roli.

„Příkladem, kde se můžeme cítit bezpečněji při snižování prahu spolehlivosti, je experiment, který pravděpodobně zlepší konverzní poměr o 10% nebo více, například přepracovaná sekce hrdinů,“ vysvětlil.

„Je zde taková cesta, že čím radikálnější je změna, tím méně vědecké musíme být procesní. Čím konkrétnější je změna (barva tlačítka, mikrokopie atd.), tím vědečtější bychom měli být, protože je méně pravděpodobné, že změna bude mít velký a znatelný dopad na míru konverze. “

7. Ujistěte se, že v libovolné kampani provádíte pouze jeden test najednou.

Testování více než jedné věci pro jednu kampaň – i když to není na stejném přesném podkladu – vám může výsledky zkomplikovat. Pokud například testujete A / B e-mailovou kampaň, která směřuje na vstupní stránku ve stejnou dobu, kdy A / B testujete tuto vstupní stránku … jak můžete vědět, která změna způsobila nárůst potenciálních zákazníků?

Během testu A / B

Pojďme popsat kroky, které je třeba provést během testu A / B.

8. Použijte nástroj pro testování A / B.

Chcete-li provést test A / B na svém webu nebo v e-mailu, budete muset použít testovací nástroj A / B. Pokud jste zákazníkem HubSpot Enterprise, má software HubSpot funkce, které vám umožní A / B testovat e-maily (zde se dozvíte, jak na to), výzvy k akci (zde se dozvíte) a vstupní stránky (zde se dozvíte).

U zákazníků jiných než HubSpot Enterprise patří mezi další možnosti experimenty Google Analytics, které vám umožní A / B otestovat až 10 plných verzí jedné webové stránky a porovnat jejich výkon pomocí náhodného vzorku uživatelů.

9. Vyzkoušejte obě varianty současně.

Načasování hraje významnou roli ve výsledcích vaší marketingové kampaně, ať už jde o denní dobu, den v týdnu nebo měsíc v roce. Pokud byste měli verzi A používat během o měsíc a verze B o měsíc později, jak byste věděli, zda byla změna výkonu způsobena odlišným designem nebo jiným měsícem?

Když provádíte testy A / B, budete muset spustit dvě varianty najednou, jinak byste mohli zůstat na druhém místě při hádání vašich výsledků.

Jedinou výjimkou zde je, pokud testujete samotné načasování, jako je hledání optimálních časů pro odesílání e-mailů. skvělá věc k testování, protože v závislosti na tom, co vaše firma nabízí a kdo jsou vaši předplatitelé, se optimální čas pro zapojení předplatitelů může výrazně lišit podle odvětví a cílového trhu.

10. Poskytněte A / B testu dostatek času na vytvoření užitečných dat.

Opět budete chtít zajistit, aby byl váš test spuštěn dostatečně dlouho, abyste získali podstatnou velikost vzorku. Jinak ano “ Bude těžké říct, zda mezi oběma variantami existoval statisticky významný rozdíl.

Jak dlouho je dostatečně dlouhý? V závislosti na vaší společnosti a na tom, jak provádíte test A / B, může dojít ke statisticky významným výsledkům za hodiny … nebo dny … nebo týdny. Velká část toho, jak dlouho trvá, než získáte statisticky významné výsledky, je to, jaký provoz získáte – takže pokud vaše firma nezíská na váš web hodně provozu, spuštění A / B vám bude trvat mnohem déle. test.

Teoreticky byste neměli omezovat čas, ve kterém shromažďujete výsledky. (Přečtěte si tento blogový příspěvek a dozvíte se více o velikosti a načasování vzorku.)

11. Požádejte o zpětnou vazbu od skutečných uživatelů.

Testování A / B má hodně co do činění s kvantitativními údaji … ale to vám nutně nepomůže pochopit, proč lidé dělají určité akce nad ostatními. po spuštění testu A / B, proč neshromáždit kvalitativní zpětnou vazbu od skutečných uživatelů?

Jedním z nejlepších způsobů, jak se lidí zeptat na jejich názor, je průzkum nebo průzkum veřejného mínění. Na svůj web můžete přidat průzkum opuštění, který se ptá návštěvníků, proč neklikli na určitou výzvu k akci, nebo dotaz na stránky s poděkováním, který se ptá návštěvníků, proč klikli na tlačítko nebo vyplnili formulář.

Možná zjistíte, že mnoho lidí kliklo na výzvu k akci, která je přivedla k ebooku, ale jakmile uviděli cenu, neprovedli konverzi. Tyto informace vám poskytnou mnoho informací o tom, proč se vaši uživatelé chovají určitými způsoby.

Po testu A / B

Nakonec pojďme popsat kroky absolvujte test A / B.

12. Zaměřte se na metriku cíle.

Opět platí, že i když budete měřit více metrik, soustřeďte se na tuto metriku primárního cíle, když provedete analýzu.

Pokud jste například otestovali dvě varianty e-mailu a jako primární metriku jste vybrali potenciální zákazníky, nenechte se zmást otevřenou sazbou nebo mírou prokliku. Může se vám zobrazit vysoká míra prokliku a špatná míra konverze. V takovém případě můžete nakonec zvolit variantu, která měla nakonec nižší míru prokliku.

13. Změřte význam svých výsledků pomocí naší kalkulačky pro testování A / B.

Nyní, když jste určili, která varianta má nejlepší výsledky, je na čase zjistit, zda jsou vaše výsledky statisticky významné. Jinými slovy, stačí k ospravedlnění změny?

Chcete-li to zjistit, budete muset provést test statistické významnosti. Můžete to udělat ručně … nebo stačí připojit výsledky z vašeho experimentu do naší bezplatné kalkulačky pro testování A / B.

U každé testované varianty budete vyzváni k zadání celkového počtu pokusů, například odeslaných e-mailů nebo viděných zobrazení. Poté zadejte počet cílů, které splnil – obvykle se podíváte na kliknutí, ale mohou to být i jiné typy konverzí.

Kalkulačka vyplivne úroveň spolehlivosti, kterou vaše data produkují pro vítěznou variantu. Poté změřte toto číslo proti hodnotě, kterou jste zvolili pro stanovení statistické významnosti.

14. Přijměte opatření na základě vašich výsledků.

Pokud je jedna varianta statisticky lepší než ta druhá, máte vítěze. Dokončete test deaktivací varianty ztráty v testovacím nástroji A / B.

Pokud ani jedna varianta není statisticky lepší, právě jste se dozvěděli, že testovaná proměnná neovlivnila výsledky a test budete muset označit za neprůkazný. V takovém případě se držte původní varianty – nebo proveďte další test. Neúspěšná data vám pomohou zjistit novou iteraci vašeho nového testu.

Zatímco testy A / B vám pomohou ovlivnit výsledky případ od případu, můžete také použít lekce z každého testu se poučíte a použijete jej v budoucím úsilí.

Pokud jste například v e-mailovém marketingu provedli testy A / B a opakovaně jste zjistili, že používání čísel v řádcích předmětu e-mailu generuje lepší míru prokliku , můžete zvážit použití této taktiky ve více e-mailech.

15. Naplánujte si svůj další test A / B.

Test A / B, který jste právě dokončili, vám možná pomohl objevíte nový způsob, jak zefektivnit svůj marketingový obsah – ale nezastavujte se. Vždy existuje prostor pro další optimalizaci.

Můžete dokonce zkusit provést test A / B na jiné funkci stejné webové stránky nebo e-mailem, na kterém jste právě provedli test. Například pokud jste právě otestovali nadpis na vstupní stránce, proč neprovést nový test na tělové kopii? Nebo barevné schéma? Nebo obrázky? Vždy dávejte pozor na příležitosti ke zvýšení konverzních poměrů a potenciálních zákazníků.

Spusťte testování A / B ještě dnes

Testování A / B vám umožní zjistit pravdu o tom, jaký obsah a marketing vaše publikum chce vidět.Naučte se, jak nejlépe provést některé z výše uvedených kroků, a to pomocí níže uvedené bezplatné elektronické knihy.

Poznámka editora: Tento příspěvek byl původně publikován v květnu 2016 a byl z důvodu srozumitelnosti aktualizován.

Původně publikováno 13. dubna 2020 8:00 : 00:00, aktualizováno 8. září 2020