Så här gör du A / B-testning: En checklista Du vill lägga till bokmärken

När marknadsförare som vi skapar målsidor, skriver e-postkopior eller utformar uppmaningsknappar kan det vara frestande att använda vår intuition för att förutsäga vad som får människor att klicka och konvertera.

Men att basera marknadsföringsbeslut av en ”känsla” kan vara ganska skadligt för resultaten. Snarare än att förlita sig på gissningar eller antaganden för att fatta dessa beslut , du är mycket bättre med att köra ett A / B-test – kallas ibland ett delat test.

A / B-test kan vara värdefullt eftersom olika målgrupper beter sig, annorlunda. Något som fungerar för ett företag kanske inte nödvändigtvis fungerar för ett annat. Faktum är att experter på omvandlingsfrekvensoptimering (CRO) hatar termen ”bästa metoder” eftersom det kanske inte är den bästa metoden för dig.

Men A / B-tester kan också vara komplicerade. Om du inte är försiktig kan du göra felaktiga antaganden om vad folk gillar och vad som får dem att klicka – beslut som lätt kan missinformera andra delar av din strategi.

Fortsätt läsa för att lära dig hur man gör A / B testa före, under och efter datainsamlingen så att du kan fatta de bästa besluten från dina resultat.

För att köra ett A / B-test måste du skapa två olika versioner av ett innehåll, med ändringar till en enda variabel. Sedan kommer du att visa dessa två versioner för två lika stora målgrupper och analysera vilken som presterade bättre under en viss tidsperiod (tillräckligt länge för att göra exakta slutsatser om dina resultat).

Källa

A / B-testning hjälper marknadsförare att observera hur en version av en bit av marknadsföringsinnehåll fungerar tillsammans med en annan. Här är två typer av A / B-tester som du kan göra för att öka din webbplats omvandlingsfrekvens:

Exempel 1: Test av användarupplevelse

Kanske du vill se om att flytta en viss uppmaningsknapp (CTA) till toppen av din hemsida istället för att hålla den i sidofältet förbättrar dess klickfrekvens.

För att A / B testa denna teori, du ” d skapa en annan, alternativ webbsida som speglar ändringen av CTA-placeringen. Den befintliga designen – eller ”kontrollen” – är version A. Version B är ”utmanaren”. Sedan skulle du testa dessa två versioner genom att visa var och en av dem för en förutbestämd procentandel av webbplatsbesökare. Helst är andelen besökare som ser endera versionen densamma.

Lär dig hur du enkelt A / B-testar en del av din webbplats med HubSpot Marketing Hub.

Exempel 2: Designtest

Du kanske vill ta reda på om du ändrar färgen på din uppmaning (CTA) ) -knappen kan öka klickfrekvensen.

För att A / B testa denna teori, skulle du utforma en alternativ CTA-knapp med en annan knappfärg som leder till samma målsida som kontrollen. du brukar använda en röd uppmaningsknapp i ditt marknadsföringsinnehåll, och den gröna varianten får fler klick efter ditt A / B-test, det kan förtjäna att ändra standardfärgen på dina uppmaningsknappar till grön från och med nu .

För att lära dig mer om A / B-testning, ladda ner vår kostnadsfria introduktionsguide här.

Fördelarna med A / B-testning

A / B-testning har en mängd fördelar för en mamma beroende på vad du bestämmer dig för att testa. Framför allt är dessa tester dock värdefulla för ett företag eftersom de är låga i kostnad men höga i belöning.

Låt oss säga att du använder en innehållsskapare med en lön på 50 000 USD / år. Denna innehållsskapare publicerar fem artiklar per vecka för företagets blogg, totalt 260 artiklar per år. Om det genomsnittliga inlägget på företagets blogg genererar 10 potentiella kunder kan du säga att det kostar drygt 192 dollar att generera 10 potentiella kunder för verksamheten (50 000 dollar lön ÷ 260 artiklar = 192 dollar per artikel). Det är en solid bit av förändring.

Om du frågar innehållsskaparen att spendera två dagar på att utveckla ett A / B-test på en artikel, istället för att skriva två artiklar under den tiden, kan du bränna $ 192 eftersom du publicerar en artikel mindre. Men om detta A / B-test visar att du kan öka konverteringsfrekvensen för varje artikel från 10 till 20 potentiella kunder, spenderade du bara 192 USD för att potentiellt fördubbla antalet kunder som ditt företag får från din blogg.

Om testet misslyckades naturligtvis, du förlorade 192 $ – men nu kan du göra ditt nästa A / B-test ännu mer utbildat. Om det andra testet lyckas fördubbla din bloggs omvandlingsfrekvens, tillbringade du slutligen 284 $ för att eventuellt fördubbla företagets intäkter. Oavsett hur många gånger ditt A / B-test misslyckas kommer dess eventuella framgång nästan alltid att uppväga kostnaden för att genomföra det.

Det finns många typer av delade tester du kan köra för att göra experimentet värt det till slut.Här är några vanliga mål som marknadsförare har för sin verksamhet när A / B-testning:

• Ökad webbplatstrafik: Att testa olika blogginlägg eller webbtitlar kan ändra antalet personer som klickar på den hyperlänkade titeln till komma till din webbplats. Detta kan öka webbplatstrafiken som ett resultat.
• Högre omvandlingsfrekvens: Att testa olika platser, färger eller till och med ankra text på dina uppmaningar kan ändra antalet personer som klickar på dessa uppmaningar för att komma till en målsida. Detta kan öka antalet personer som fyller i formulär på din webbplats, skickar sin kontaktinformation till dig och ”konverterar” till en lead.
• Lägre avvisningsfrekvens: Om besökarna på din webbplats lämnar (eller ”studsar” ”) snabbt efter att ha besökt din webbplats kan testning av olika introduktioner, teckensnitt eller funktionsbilder av blogginlägg minska den här avvisningsfrekvensen och behålla fler besökare.
• Nedre kundvagn: E-handelsföretag ser 40-75% av kunder lämna sin webbplats med föremål i sin kundvagn, enligt MightyCall. Detta kallas ”övergivande av kundvagn”. Att testa olika produktfoton, utcheckningsdesigner och även där fraktkostnader visas kan sänka denna övergivningsgrad.

Låt oss nu gå igenom checklistan för att ställa in, köra, och mäta ett A / B-test.

Hur man utför A / B-test

Följ med med vårt kostnadsfria A / B-testpaket med allt du behöver för att köra A / B-test, inklusive en testspårningsmall, en instruktionsguide för instruktion och inspiration och en statistisk signifikansräknare för att se om dina test var vinster, förluster eller otillräcklig.

Innan A / B-testet

Låt oss täcka de steg som ska vidtas innan du börjar ditt A / B-test.

1. Välj en variabel för att testa.

När du optimerar dina webbsidor och e-postmeddelanden kan det hända att det finns ett antal variabler du vill testa. Men för att utvärdera hur effektiv en förändring är vill du isolera en ”oberoende variabel” och mäta dess prestanda – annars kan du inte vara säker på vilken som var ansvarig för förändringar i prestanda.

Du kan testa mer än en variabel för en enda webbsida eller e-post; se bara till att du testar dem en i taget.

Titta på de olika elementen i dina marknadsföringsresurser och deras möjliga alternativ för design, formulering och layout. Andra saker du kan testa inkluderar ämnesrader via e-post , avsändarnamn och olika sätt att anpassa dina e-postmeddelanden.

Tänk på att även enkla ändringar, som att ändra bilden i din e-post eller orden på din uppmaningsknapp, kan leda till stora förbättringar Faktum är att dessa typer av ändringar vanligtvis är lättare att mäta än de större.

Obs: Det finns vissa tillfällen när det är vettigare att testa flera variabler snarare än en enda variabel. Detta är en process kallas multivariat test. Om du undrar om du ska köra ett A / B-test kontra ett multivariat test, här är en hjälpsam artikel från Optimizely som jämför de två.

2. Identifiera ditt mål.

Även om du kommer att mäta ett antal mätvärden för varje test, välj ett primärt mätvärde att fokusera på – innan du ru n testet. I själva verket gör det innan du ens konfigurerar den andra varianten. Detta är din ”beroende variabel”.

Tänk på var du vill att den här variabeln ska vara i slutet av delningstestet. Du kan ange en officiell hypotes och undersöka dina resultat utifrån denna förutsägelse.

Om du väntar tills efteråt för att fundera över vilka mätvärden som är viktiga för dig, vad dina mål är och hur de ändringar du föreslår kan påverka användarnas beteende, då kanske du inte ställer in testet på det mest effektiva sättet.

3. Skapa en ”kontroll” och en ”utmanare.”

Nu har du din oberoende variabel, din beroende variabel och önskat resultat. Använd den här informationen för att ställa in den oförändrade versionen av vad du än testar som din ”kontroll”. Om du testar en webbsida är detta den oförändrade webbsidan eftersom den redan finns. Om du testar en målsida är det målsidans design och kopia som du normalt skulle använda.

Bygg därifrån en variant eller en ”utmanare” – webbplatsen, målsidan eller e-postmeddelandet som du testar mot din kontroll. Om du till exempel undrar om att inkludera en vittnesmål på en målsida skulle göra skillnad, ställ in din kontrollsida utan vittnesmål. Skapa sedan din variant med ett vittnesmål.

4. Dela upp din provgrupper lika och slumpmässigt.

För tester där du har mer kontroll över publiken – som med e-post – måste du testa med två eller flera målgrupper som är lika för att få avgörande resultat.

Hur du gör detta varierar beroende på A / B-testverktyget du använder. Om du till exempel är en HubSpot Enterprise-kund som utför ett A / B-test i ett e-postmeddelande, delar HubSpot automatiskt trafiken till dina variationer så att varje variant får ett slumpmässigt urval av besökare.

5. Bestäm din provstorlek (om tillämpligt).

Hur du bestämmer din provstorlek varierar också beroende på ditt A / B-testverktyg, liksom vilken typ av A / B-test du kör.

Om du A / B testar ett e-postmeddelande, kommer du troligen att skicka ett A / B-test till en mindre del av din lista för att få statistiskt signifikanta resultat. Så småningom väljer du en vinnare och skicka den vinnande variationen vidare till resten av listan. (Se ”Vetenskapen om delad testning” i slutet av den här artikeln för mer information om hur du beräknar din provstorlek.)

Om du är en HubSpot Enterprise-kund kan du få hjälp med att bestämma storleken. i din provgrupp med hjälp av en skjutreglage. Det låter dig göra ett 50/50 A / B-test av valfri provstorlek – även om alla andra provdelningar kräver en lista med minst 1000 mottagare.

Om du testar något som inte har en begränsad målgrupp, som en webbsida, kommer hur länge du håller ditt test igång direkt att påverka din provstorlek.

Du måste låta ditt test gå tillräckligt länge för att få ett stort antal visningar, annars är det svårt att avgöra om det fanns en statistiskt signifikant skillnad mellan de två variationerna. / p>

6. Bestäm hur viktigt dina resultat måste vara.

När du väl har valt ditt mål, tänk på hur viktigt dina resultat måste vara för att motivera att välja en variant framför en annan. Statistisk signifikans är en mycket viktig del av A / B-testprocessen som ofta missförstås. Om du behöver en uppdatering av statistisk signifikans ur marknadsföringssynpunkt rekommenderar jag att du läser detta blogginlägg.

Ju högre procentandel desto mer säker kan du vara på dina resultat. I de flesta fall vill du ha en konfidensnivå på minst 95% – helst 98% – speciellt om det var ett tidskrävande experiment att sätta upp. Ibland är det dock vettigt att använda en lägre konfidensgrad om du inte behöver testet vara så strängt.

Matt Rheault, senior programvaruutvecklare på HubSpot, tycker om att tänka på statistisk betydelse som att placera en satsning. Vilka odds är du bekväma med att satsa? Att säga ”Jag” är 80% säker på att det här är rätt design och jag är villig att satsa allt på det liknar att köra ett A / B-test till 80% betydelse och sedan utropa en vinnare.

Rheault säger också att du sannolikt vill ha en högre konfidensgräns när du testar för något som bara förbättrar konversationsfrekvensen något. Varför? Eftersom det är mer troligt att slumpmässig varians spelar en större roll.

”Ett exempel där vi kan känna oss säkrare när vi sänker vår förtroendetröskel är ett experiment som sannolikt kommer att förbättra konverteringsfrekvensen med 10% eller mer, till exempel en redesignad hjälteavdelning”, förklarade han.

”Takeaway här är att ju mer radikal förändringen är, desto mindre vetenskaplig behöver vi vara processmässiga. Ju mer specifika förändringen (knappfärg, mikrokopia, etc.), desto mer vetenskaplig borde vi vara eftersom förändringen mindre sannolikt kommer att ha en stor och märkbar inverkan på omvandlingsfrekvensen. ”

7. Se till att du bara kör ett test åt gången i vilken kampanj som helst.

Att testa mer än en sak för en enda kampanj – även om det inte finns på samma exakta tillgång – kan komplicera dina resultat. Till exempel, om du A / B testar en e-postkampanj som leder till en målsida samtidigt som du A / B testar den målsidan … hur kan du veta vilken förändring som orsakade ökningen av potentiella kunder?

Under A / B-testet

Låt oss täcka de steg som ska tas under ditt A / B-test.

8. Använd ett A / B-testverktyg.

För att göra ett A / B-test på din webbplats eller i ett e-postmeddelande måste du använda ett A / B-testverktyg. Om du är en HubSpot Enterprise-kund har HubSpot-programvaran funktioner som låter dig A / B-testa e-postmeddelanden (lära dig hur här), uppmaningar till handling (lära dig hur här) och målsidor (lära dig hur här).

För icke-HubSpot Enterprise-kunder inkluderar andra alternativ Google Analytics ”Experiment, som låter dig A / B testa upp till tio fullständiga versioner av en enda webbsida och jämföra deras prestanda med ett slumpmässigt urval av användare.

9. Testa båda variationerna samtidigt.

Timing spelar en viktig roll i din marknadsföringskampanjs resultat, oavsett om det är tid på dagen, veckodagen eller året på året. Om du skulle köra version A under en månad och version B en månad senare, hur skulle du veta om prestandaförändringen berodde på en annan design eller en annan månad?

När du kör A / B-tester måste du köra två varianter samtidigt, annars kan du låta andra gissa dina resultat.

Det enda undantaget här är om du testar själva timing, som att hitta de bästa tiderna för att skicka ut e-post. Detta är en bra sak att testa, för beroende på vad ditt företag erbjuder och vem dina prenumeranter är kan den optimala tiden för abonnentengagemang variera kraftigt beroende på bransch och målmarknad.

10. Ge A / B-testet tillräckligt med tid för att producera användbara data.

Återigen vill du se till att du låter testet gå tillräckligt länge för att få en betydande provstorlek. Annars är det ” Det är svårt att avgöra om det fanns en statistiskt signifikant skillnad mellan de två variationerna.

Hur lång är tillräckligt lång? Beroende på ditt företag och hur du utför A / B-testet kan det hända att statistiskt signifikanta resultat händer i timmar … eller dagar … eller veckor. En stor del av hur lång tid det tar för att få statistiskt signifikanta resultat är hur mycket trafik du får – så om ditt företag inte får mycket trafik till din webbplats, tar det mycket längre tid för dig att driva en A / B test.

I teorin bör du inte begränsa den tid då du samlar in resultat. (Läs det här blogginlägget för att lära dig mer om provstorlek och timing.)

11. Be om feedback från riktiga användare.

A / B-test har mycket att göra med kvantitativa data … men det hjälper dig inte nödvändigtvis att förstå varför människor vidtar vissa åtgärder framför andra. Medan du är kör ditt A / B-test, varför inte samla in kvalitativ feedback från riktiga användare?

Ett av de bästa sätten att fråga människor om deras åsikter är genom en undersökning eller enkät. Du kan lägga till en exitundersökning på din webbplats som frågar besökarna varför de inte klickade på en viss uppmaning, eller en på dina tacksidor som frågar besökarna varför de klickade på en knapp eller fyllde i ett formulär.

Du kan till exempel upptäcka att många klickade på en uppmaning till handling som ledde dem till en e-bok, men när de såg priset konverterade de inte. Den typen av information kommer att ge dig mycket insikt i varför dina användare beter sig på vissa sätt.

Efter A / B-testet

Slutligen, låt oss täcka stegen till ta efter ditt A / B-test.

12. Fokusera på ditt målvärde.

Återigen, även om du kommer att mäta flera mått, behåll ditt fokus på det primära målvärdet när du gör din analys.

Om du till exempel testade två varianter av ett e-postmeddelande och valde potentiella kunder som ditt primära mått får du inte fastna på öppen hastighet eller klickfrekvens. Du kan se en hög klickfrekvens och dåliga omvandlingsfrekvenser, i vilket fall du kanske väljer den variant som till slut hade en lägre klickfrekvens.

13. Mät betydelsen av dina resultat med vår A / B-testkalkylator.

Nu när du har bestämt vilken variant som fungerar bäst är det dags att avgöra om dina resultat är statistiskt signifikanta. Är det med andra ord tillräckligt för att motivera en förändring?

För att ta reda på det måste du göra ett test av statistisk signifikans. Du kan göra det manuellt … eller så kan du bara ansluta resultat från ditt experiment till vår kostnadsfria A / B-testkalkylator.

För varje variant du testade uppmanas du att ange det totala antalet försök, som skickade e-postmeddelanden eller visningar. Ange sedan antalet mål det har slutfört – i allmänhet kommer du att titta på klick, men det kan också vara andra typer av omvandlingar.

Kalkylatorn kommer att spotta ut den konfidensnivå som dina data ger för den vinnande variationen. Mät sedan det talet mot det värde du valde för att bestämma statistisk signifikans.

14. Åtgärd baserat på dina resultat.

Om en variant är statistiskt bättre än den andra har du en vinnare. Slutför testet genom att inaktivera den förlorande variationen i ditt A / B-testverktyg.

Om ingen av variationerna är statistiskt bättre, har du just lärt dig att variabeln du testade inte påverkade resultaten, och du måste markera testet som ofullständigt. I det här fallet, håll dig till den ursprungliga versionen – eller kör ett nytt test. Du kan använda de misslyckade uppgifterna för att hjälpa dig att räkna ut en ny iteration på ditt nya test.

Medan A / B-tester hjälper dig att påverka resultaten från fall till fall kan du också använda lektionerna du lär dig av varje test och använder det för framtida ansträngningar.

Till exempel om du har genomfört A / B-tester i din e-postmarknadsföring och har upprepade gånger funnit att användning av siffror i e-postämnens rader ger bättre klickfrekvenser , kanske du vill överväga att använda den taktiken i fler av dina e-postmeddelanden.

15. Planera ditt nästa A / B-test.

A / B-testet som du just avslutat kan ha hjälpt du upptäcker ett nytt sätt att göra ditt marknadsföringsinnehåll mer effektivt – men sluta inte där. Det finns alltid utrymme för mer optimering.

Du kan till och med prova att genomföra ett A / B-test på en annan funktion på samma webbsida eller e-post som du just testat på. Till exempel, om du precis testat en rubrik på en målsida, varför inte göra ett nytt test på body copy? Eller färgschema? Eller bilder? Håll alltid ett öga på möjligheter att öka omvandlingsfrekvenser och potentiella kunder.

Starta A / B-testning idag

A / B-testning gör att du kan ta reda på sanningen om vilket innehåll och marknadsföring din publik vill se.Lär dig hur du bäst utför några av stegen ovan med hjälp av gratis e-boken nedan.

Redaktörens anmärkning: Det här inlägget publicerades ursprungligen i maj 2016 och har uppdaterats för att göra det mer omfattande.

Ursprungligen publicerad 13 april 2020 8:00 : 00:00, uppdaterad 8 september 2020