Jak przeprowadzić testy A / B: lista kontrolna, którą będziesz chciał dodać do zakładek

Gdy marketerzy tacy jak my tworzą strony docelowe, piszą kopie wiadomości e-mail lub projektują przyciski wezwania do działania, może to być kusi nas, by wykorzystać naszą intuicję do przewidywania, co sprawi, że ludzie klikną i dokonają konwersji.

Jednak opieranie się przy decyzjach marketingowych na „odczuciu” może być bardzo szkodliwe dla wyników. Zamiast polegać na domysłach lub założeniach przy podejmowaniu tych decyzji , „znacznie lepiej jest przeprowadzić test A / B – czasami nazywany testem dzielonym.

Testy A / B może być cenne, ponieważ różni odbiorcy zachowują się inaczej. Coś, co działa w jednej firmie, niekoniecznie musi działać w innej. W rzeczywistości eksperci od optymalizacji współczynnika konwersji (CRO) nienawidzą terminu „sprawdzone metody”, ponieważ może to nie być dla Ciebie najlepszym rozwiązaniem.

Ale testy A / B mogą być również skomplikowane. Jeśli nie jesteś ostrożny, możesz przyjąć błędne założenia dotyczące tego, co lubią ludzie i co sprawia, że klikają – decyzje, które mogą łatwo wprowadzić w błąd inne części Twojej strategii.

Czytaj dalej, aby dowiedzieć się, jak zrobić A / B testowanie przed, w trakcie i po zebraniu danych, aby móc podejmować najlepsze decyzje na podstawie wyników.

Aby przeprowadzić test A / B, musisz utworzyć dwie różne wersje jednej treści, ze zmianami do jednej zmiennej. Następnie pokażesz te dwie wersje dwóm odbiorcom o podobnej wielkości i przeanalizujesz, która z nich była lepsza w określonym czasie (wystarczająco długim, aby wyciągnąć dokładne wnioski na temat wyników).

Źródło

Testy A / B pomagają marketerom obserwować, jak jedna wersja fragmentu treści marketingowe działają razem z innymi. Oto dwa rodzaje testów A / B, które możesz przeprowadzić, aby zwiększyć współczynnik konwersji w witrynie:

Przykład 1: Test wrażeń użytkownika

Może chcesz sprawdzić, czy przeniesienie określonego przycisku wezwania do działania (CTA) na górę strony głównej zamiast pozostawiania go na pasku bocznym poprawi jego współczynnik klikalności.

Aby przetestować tę teorię A / B, „ d utworzyć inną, alternatywną stronę internetową, która odzwierciedla tę zmianę miejsca wezwania do działania. Istniejący projekt – lub „kontrola” – to Wersja A. Wersja B to „wyzwanie”. Następnie przetestujesz te dwie wersje, pokazując każdą z nich z góry określonemu odsetkowi użytkowników witryny. Najlepiej byłoby, gdyby odsetek użytkowników, którzy zobaczyli obie wersje, był taki sam.

Dowiedz się, jak łatwo przeprowadzić test A / B komponent Twojej witryny z Centrum Marketingowym HubSpot.

Przykład 2: Test projektu

Być może chcesz się dowiedzieć, czy zmiana koloru wezwania do działania (CTA ) może zwiększyć współczynnik klikalności.

Aby A / B przetestować tę teorię, należy zaprojektować alternatywny przycisk wezwania do działania z innym kolorem, który prowadzi do tej samej strony docelowej co kontrolka. Jeśli zazwyczaj używasz czerwonego przycisku wezwania do działania w swoich treściach marketingowych, a zielona odmiana uzyskuje więcej kliknięć po teście A / B, może to wymagać zmiany od teraz domyślnego koloru przycisków wezwania do działania na zielony .

Aby dowiedzieć się więcej o testach A / B, pobierz nasz bezpłatny przewodnik wprowadzający tutaj.

Zalety testów A / B

Testy A / B mają wiele korzyści dla matki zespół rketingowy, w zależności od tego, co zdecydujesz się przetestować. Przede wszystkim jednak testy te są cenne dla firmy, ponieważ „są tanie, ale dają wysokie wynagrodzenie.

Załóżmy, że zatrudniasz twórcę treści z pensją 50 000 USD rocznie. Ten twórca treści publikuje pięć artykułów tygodniowo na blogu firmowym, w sumie 260 artykułów rocznie. Jeśli przeciętny post na firmowym blogu generuje 10 potencjalnych klientów, można powiedzieć, że wygenerowanie 10 potencjalnych klientów dla firmy kosztuje nieco ponad 192 USD (50 000 USD wynagrodzenia ÷ 260 artykułów = 192 USD za artykuł). To solidna porcja zmiany.

Teraz, jeśli poprosisz twórcę treści o spędzenie dwóch dni na opracowaniu testu A / B na jednym artykule, zamiast pisać dwa artykuły w tym okresie, możesz spalić 192 USD, ponieważ „ponownie publikujesz o jeden artykuł mniej . Ale jeśli test A / B wykaże, że możesz zwiększyć współczynnik konwersji każdego artykułu z 10 do 20 potencjalnych klientów, właśnie wydałeś 192 USD, aby potencjalnie podwoić liczbę klientów, których Twoja firma pozyskuje z bloga.

Jeśli test się nie powiódł, oczywiście straciłeś 192 $ – ale teraz możesz uczynić kolejny test A / B jeszcze bardziej wyuczonym. Jeśli drugi test powiedzie się i podwoi współczynnik konwersji Twojego bloga, ostatecznie wydasz 284 USD, aby potencjalnie podwoić przychody firmy. Bez względu na to, ile razy test A / B zakończy się niepowodzeniem, jego ostateczny sukces prawie zawsze przeważy koszty jego przeprowadzenia.

Istnieje wiele rodzajów testów podziału, które można przeprowadzić, aby ostatecznie eksperyment był tego warty.Oto kilka typowych celów, jakie marketerzy mają dla swojej firmy podczas testów A / B:

• Zwiększony ruch w witrynie: testowanie różnych postów na blogu lub tytułów stron internetowych może zmienić liczbę osób, które klikają ten tytuł, na dostać się do Twojej witryny. W rezultacie może to zwiększyć ruch w witrynie.
• Wyższy współczynnik konwersji: testowanie różnych lokalizacji, kolorów, a nawet tekstu kotwicy w wezwaniach do działania może zmienić liczbę osób, które klikają te wezwania do działania, aby przejść do strony docelowej. Może to zwiększyć liczbę osób, które wypełniają formularze w Twojej witrynie, przesyłają Ci swoje dane kontaktowe i „zamieniają się” w potencjalnego klienta.
• Niższy współczynnik odrzuceń: jeśli użytkownicy opuszczają witrynę (lub „odrzucają” ”) szybko po odwiedzeniu Twojej witryny, przetestowanie różnych wpisów na blogu, czcionek lub obrazów funkcji może zmniejszyć współczynnik odrzuceń i zatrzymać więcej odwiedzających.
• Mniejsze porzucanie koszyka: firmy e-commerce widzą 40% – 75% klientów opuścić stronę internetową z produktami w koszyku, zgodnie z MightyCall. Nazywa się to „porzuceniem koszyka”. Testowanie różnych zdjęć produktów, projektów stron płatności, a nawet kosztów wysyłki może obniżyć współczynnik porzuceń.

Przejdźmy teraz przez listę kontrolną konfigurowania, uruchamiania, i mierzenie testu A / B.

Jak przeprowadzić testy A / B

Kontynuuj dzięki naszemu bezpłatnemu zestawowi testów A / B zawierającym wszystko, czego potrzebujesz do przeprowadzania testów A / B, w tym szablon śledzenia testów, przewodnik po instrukcjach i inspiracjach oraz kalkulator istotności statystycznej, aby sprawdzić, czy Twoje testy były wygrane, przegrane lub nierozstrzygające.

Przed testem A / B

Omówmy kroki, które należy wykonać przed rozpoczęciem testu A / B.

1. Wybierz jedną zmienną do przetestowania.

Podczas optymalizacji stron internetowych i wiadomości e-mail może się okazać, że istnieje wiele zmiennych, które chcesz przetestować. Ale aby ocenić, jak skuteczna jest zmiana, będziesz chciał wyodrębnić jedną „zmienną niezależną” i zmierzyć jej wydajność – w przeciwnym razie nie możesz być pewien, która z nich była odpowiedzialna za zmiany wydajności.

może testować więcej niż jedną zmienną dla jednej strony internetowej lub e-maila; po prostu upewnij się, że testujesz je pojedynczo.

Przyjrzyj się różnym elementom w swoich zasobach marketingowych i ich możliwym alternatywom w zakresie projektu, brzmienia i układu. Inne rzeczy, które możesz przetestować, obejmują tematy wiadomości e-mail , nazwy nadawców i różne sposoby personalizacji wiadomości e-mail.

Pamiętaj, że nawet proste zmiany, takie jak zmiana obrazu w wiadomości e-mail lub słów na przycisku wezwania do działania, mogą przynieść duże ulepszenia . W rzeczywistości tego rodzaju zmiany są zwykle łatwiejsze do zmierzenia niż większe.

Uwaga: Czasami bardziej sensowne jest testowanie wielu zmiennych niż jednej zmiennej. Jest to proces nazywane testami na wielu odmianach. Jeśli „zastanawiasz się, czy należy przeprowadzić test A / B, czy test na wielu odmianach”, oto pomocny artykuł z Optimizely, w którym porównuje się te dwa zadania.

2. Określ swój cel. h4>

Chociaż w każdym teście będziesz mierzyć pewną liczbę wskaźników, wybierz podstawowe dane, na których chcesz się skupić – zanim zaczniesz w teście. W rzeczywistości zrób to, zanim jeszcze skonfigurujesz drugą odmianę. To jest twoja „zmienna zależna”.

Zastanów się, gdzie ta zmienna ma się znajdować na końcu testu podziału. Możesz sformułować oficjalną hipotezę i przeanalizować wyniki w oparciu o tę prognozę.

Jeśli zaczekasz do później, aby przemyśleć, które dane są dla Ciebie ważne, jakie są Twoje cele i jakie zmiany proponujesz może wpłynąć na zachowanie użytkownika, wtedy możesz nie skonfigurować testu w najbardziej efektywny sposób.

3. Utwórz „kontrolę” i „rywala”.

Masz teraz swój zmienna niezależna, zmienna zależna i pożądany wynik. Użyj tych informacji, aby ustawić niezmienioną wersję tego, co „testujesz” jako „kontrolę”. Jeśli testujesz stronę internetową, jest to niezmieniona strona internetowa w takiej postaci, w jakiej już istnieje. Jeśli testujesz stronę docelową, będzie to projekt strony docelowej i kopia, z której normalnie korzystasz.

Stamtąd stwórz odmianę lub „wyzwanie” – witrynę internetową, stronę docelową lub e-mail, które przetestujesz pod Twoją kontrolą. Na przykład, jeśli „zastanawiasz się, czy umieszczenie opinii na stronie docelowej może coś zmienić, skonfiguruj stronę kontrolną bez referencji. Następnie utwórz odmianę za pomocą referencji.

4. Podziel przykładowe grupy równo i losowo.

W przypadku testów, w których masz większą kontrolę nad odbiorcami – na przykład w przypadku e-maili – musisz przeprowadzić testy z dwoma lub więcej równymi odbiorcami, aby uzyskać rozstrzygające wyniki.

Sposób, w jaki to zrobisz, będzie się różnił w zależności od używanego narzędzia do testów A / B. Jeśli na przykład jesteś klientem HubSpot Enterprise przeprowadzającym test A / B wiadomości e-mail, HubSpot automatycznie podzieli ruch na Twoje odmiany tak, aby każda odmiana otrzymywała losową próbkę odwiedzających.

5. Określ wielkość próbki (jeśli ma to zastosowanie).

Sposób określania wielkości próbki będzie się również różnił w zależności od narzędzia do testów A / B, a także typu przeprowadzanego testu A / B.

Jeśli przeprowadzasz testy A / B wiadomości e-mail, prawdopodobnie będziesz chciał wysłać test A / B do mniejszej części listy, aby uzyskać statystycznie istotne wyniki. Ostatecznie wybierzesz zwycięzcę i wyślij zwycięską wersję do pozostałej części listy. (Więcej informacji na temat obliczania rozmiaru próbki można znaleźć w e-booku „The Science of Split Testing” na końcu tego artykułu).

Jeśli jesteś klientem HubSpot Enterprise, będziesz mieć pomoc w określeniu rozmiaru grupy próbek za pomocą suwaka. Pozwoli ci to wykonać test A / B 50/50 dla dowolnej wielkości próby – chociaż wszystkie inne podziały próbki wymagają listy co najmniej 1000 odbiorców.

Jeśli testujesz coś, co nie ma ograniczonej liczby odbiorców, na przykład stronę internetową, to czas trwania testu wpłynie bezpośrednio na wielkość próbki.

Będziesz musiał pozwolić testowi działać wystarczająco długo, aby uzyskać znaczną liczbę wyświetleń, w przeciwnym razie trudno będzie stwierdzić, czy istnieje statystycznie istotna różnica między dwiema odmianami.

6. Zdecyduj, jak istotne powinny być Twoje wyniki.

Po wybraniu wskaźnika celu zastanów się, jak istotne muszą być Twoje wyniki, aby uzasadnić wybór jednej odmiany względem drugiej. Istotność statystyczna jest bardzo ważną częścią procesu testowania A / B, który jest często źle rozumiany. Jeśli potrzebujesz przypomnienia sobie o istotności statystycznej z marketingowego punktu widzenia, polecam przeczytanie tego posta na blogu.

Im wyższy procent poziomu pewności, tym bardziej będziesz mieć pewność co do wyników. W większości przypadków będziesz potrzebować poziomu ufności minimum 95% – najlepiej nawet 98% – zwłaszcza jeśli konfiguracja była czasochłonna. Czasami jednak sensowne jest użycie niższego współczynnika ufności, jeśli nie potrzebujesz, aby test był tak rygorystyczny.

Matt Rheault, starszy inżynier oprogramowania w HubSpot, lubi myśleć o znaczeniu statystycznym, takim jak umieszczanie zakład. Jakie kursy są dla Ciebie wygodne, stawiając zakład? Powiedzenie „Jestem w 80% pewien, że to jest właściwy projekt i jestem skłonny postawić wszystko na ten temat” jest podobne do przeprowadzenia testu A / B z 80% wagą a następnie ogłaszanie zwycięzcy.

Rheault twierdzi również, że prawdopodobnie będziesz potrzebować wyższego progu pewności podczas testowania czegoś, co tylko nieznacznie poprawia współczynnik konwersacji. Dlaczego? Ponieważ bardziej prawdopodobne jest, że przypadkowa wariancja będzie odgrywać większą rolę.

„Przykładem, w którym moglibyśmy czuć się bezpieczniej, obniżając nasz próg pewności, jest eksperyment, który prawdopodobnie poprawi współczynnik konwersji o 10% lub więcej, taki jak przeprojektowana sekcja bohaterów” – wyjaśnił.

„Wniosek jest taki, że im bardziej radykalna zmiana, tym mniej naukowi musimy kierować się procesami. Im bardziej szczegółowe zmiana (kolor przycisku, mikro kopia itp.), tym bardziej powinniśmy być naukowi, ponieważ jest mniej prawdopodobne, że zmiana będzie miała duży i zauważalny wpływ na współczynnik konwersji. ”

7. Upewnij się, że w danej kampanii przeprowadzasz tylko jeden test na raz.

Testowanie więcej niż jednej rzeczy w ramach jednej kampanii – nawet jeśli nie dotyczy tego samego zasobu – może skomplikować wyniki. Na przykład, jeśli testujesz A / B kampanię e-mailową, która kieruje na stronę docelową w tym samym czasie, w którym testujesz A / B tę stronę docelową … skąd możesz wiedzieć, która zmiana spowodowała wzrost liczby potencjalnych klientów?

Podczas testu A / B

Omówmy kroki, które należy wykonać podczas testu A / B.

8. Użyj narzędzia do testów A / B.

Aby przeprowadzić test A / B na swojej stronie internetowej lub w wiadomości e-mail, będziesz potrzebować narzędzia do testów A / B. Jeśli jesteś klientem HubSpot Enterprise, oprogramowanie HubSpot ma funkcje, które pozwalają testować wiadomości e-mail A / B (dowiedz się, jak to zrobić), wezwania do działania (dowiedz się, jak tutaj) i strony docelowe (dowiedz się, jak to zrobić).

W przypadku klientów spoza HubSpot Enterprise inne opcje obejmują „Eksperymenty Google Analytics”, które pozwalają przetestować A / B do 10 pełnych wersji jednej strony internetowej i porównać ich wydajność na losowej próbie użytkowników.

9. Przetestuj obie odmiany jednocześnie.

Czas odgrywa znaczącą rolę w wynikach kampanii marketingowej, niezależnie od tego, czy jest to pora dnia, dzień tygodnia czy miesiąc w roku. Gdybyś miał uruchomić wersję A w miesiąc później, a wersja B miesiąc później, skąd będziesz wiedzieć, czy zmiana wydajności została spowodowana przez inny projekt, czy przez inny miesiąc?

Kiedy przeprowadzasz testy A / B, musisz uruchomić dwie odmiany w tym samym czasie, w przeciwnym razie możesz zostać pozostawiony na drugim odgadywaniu wyników.

Jedynym wyjątkiem jest to, że sam testujesz czas, na przykład znajdując optymalne czasy wysyłania e-maili. świetna rzecz do przetestowania, ponieważ w zależności od tego, co oferuje Twoja firma i kim są Twoi subskrybenci, optymalny czas zaangażowania subskrybentów może się znacznie różnić w zależności od branży i rynku docelowego.

10. Daj testowi A / B wystarczająco dużo czasu na wygenerowanie przydatnych danych.

Znowu „będziesz chciał się upewnić, że pozwolisz testowi działać wystarczająco długo, aby uzyskać znaczną wielkość próby. W przeciwnym razie” Trudno będzie stwierdzić, czy między tymi dwiema odmianami istniała statystycznie istotna różnica.

Jak długo jest wystarczająco długa? W zależności od Twojej firmy i sposobu wykonania testu A / B uzyskanie statystycznie istotnych wyników może nastąpić w ciągu kilku godzin … lub dni … lub tygodni. Dużą część czasu potrzebnego do uzyskania statystycznie istotnych wyników jest uzyskiwany ruch – więc jeśli Twoja firma nie generuje dużego ruchu w witrynie, uruchomienie testu A / B zajmie znacznie więcej czasu test.

Teoretycznie nie należy ograniczać czasu gromadzenia wyników. (Przeczytaj ten wpis na blogu, aby dowiedzieć się więcej na temat rozmiaru i czasu próby).

11. Poproś o opinie prawdziwych użytkowników.

Testy A / B mają wiele wspólnego z danymi ilościowymi … ale to niekoniecznie pomoże ci zrozumieć, dlaczego ludzie podejmują określone działania zamiast innych. przeprowadzając test A / B, dlaczego nie zebrać jakościowych opinii od prawdziwych użytkowników?

Jednym z najlepszych sposobów, aby zapytać ludzi o ich opinie, jest ankieta lub ankieta. Możesz dodać do swojej witryny ankietę wyjściową, która pyta odwiedzających, dlaczego nie kliknęli określonego wezwania do działania, lub jedną na stronach z podziękowaniami, w której użytkownicy pytają, dlaczego kliknęli przycisk lub wypełnili formularz.

Może się na przykład okazać, że wiele osób kliknęło wezwanie do działania kierujące ich do e-booka, ale gdy zobaczyły cenę, nie dokonały konwersji. Tego rodzaju informacje pozwolą Ci zrozumieć, dlaczego Twoi użytkownicy zachowują się w określony sposób.

Po teście A / B

Na koniec omówmy kroki prowadzące do wykonać po teście A / B.

12. Skoncentruj się na danych celu.

Ponownie, chociaż będziesz mierzyć wiele wskaźników, skup się na tych głównych metrykach, gdy wykonujesz analizę.

Na przykład, jeśli przetestowałeś dwie odmiany e-maili i wybrałeś potencjalną sprzedaż jako podstawowe dane, nie daj się złapać na współczynniku otwarć lub współczynniku klikalności. Możesz zaobserwować wysoki współczynnik klikalności i słabe współczynniki konwersji, w takim przypadku możesz ostatecznie wybrać odmianę o niższym współczynniku klikalności.

13. Zmierz znaczenie swoich wyników za pomocą naszego kalkulatora testów A / B.

Po określeniu, która odmiana daje najlepsze wyniki, czas określić, czy wyniki są istotne statystycznie. Innymi słowy, czy są one wystarczające, aby uzasadnić zmianę?

Aby się tego dowiedzieć, musisz przeprowadzić test istotności statystycznej. Możesz to zrobić ręcznie … lub po prostu podłączyć wyniki eksperymentu do naszego bezpłatnego kalkulatora testów A / B.

W przypadku każdej testowanej odmiany pojawi się monit o wprowadzenie całkowitej liczby prób, np. wysłanych e-maili lub wyświetlonych wyświetleń. Następnie wprowadź liczbę zrealizowanych celów – zwykle będziesz brać pod uwagę kliknięcia, ale mogą to być również inne typy konwersji.

Kalkulator wypluje poziom ufności twoich danych dla zwycięskiej odmiany. Następnie porównaj tę liczbę z wartością wybraną do określenia istotności statystycznej.

14. Podejmij działania w oparciu o swoje wyniki.

Jeśli jedna odmiana jest statystycznie lepsza od drugiej, masz zwycięzcę. Ukończ swój test, wyłączając przegrywającą odmianę w narzędziu do testów A / B.

Jeśli żadna z odmian nie jest statystycznie lepsza, to właśnie dowiedziałeś się, że testowana zmienna nie wpłynęła na wyniki i będziesz musiał oznaczyć test jako niejednoznaczny. W takim przypadku trzymaj się oryginalnej odmiany – lub przeprowadź kolejny test. Możesz wykorzystać dane, które się nie powiodły, aby pomóc sobie w ustaleniu nowej iteracji w nowym teście.

Chociaż testy A / B pomagają wpływać na wyniki w poszczególnych przypadkach, możesz również zastosować lekcje uczysz się z każdego testu i stosujesz go w przyszłych działaniach.

Na przykład, jeśli przeprowadziłeś testy A / B w swoim marketingu e-mailowym i wielokrotnie odkryłeś, że użycie liczb w wierszach tematów wiadomości e-mail generuje lepsze współczynniki klikalności , możesz rozważyć użycie tej taktyki w większej liczbie swoich e-maili.

15. Zaplanuj następny test A / B.

Test A / B, który właśnie zakończyłeś, mógł pomóc odkrywasz nowy sposób na zwiększenie skuteczności treści marketingowych – ale nie poprzestawaj na tym. Zawsze jest miejsce na dalszą optymalizację.

Możesz nawet spróbować przeprowadzić test A / B na innej funkcji tej samej strony internetowej lub e-maila, na którym właśnie przeprowadziłeś test. Na przykład, jeśli właśnie przetestowałeś nagłówek na stronie docelowej, dlaczego nie przeprowadzić nowego testu treści? Albo schemat kolorów? Lub obrazy? Zawsze miej oko na możliwości zwiększenia współczynników konwersji i potencjalnych klientów.

Rozpocznij testy A / B już dziś

Testy A / B pozwalają poznać prawdę o tym, jakie treści i marketing Twoi odbiorcy chcą to zobaczyć.Dowiedz się, jak najlepiej wykonać niektóre z powyższych kroków, korzystając z bezpłatnego e-booka poniżej.

Uwaga redaktora: ten post został pierwotnie opublikowany w maju 2016 r. I został zaktualizowany, aby był zrozumiały.

Pierwotnie opublikowany 13 kwietnia 2020 8:00 : 00:00, aktualizacja 08 września 2020 r.