Como fazer testes A / B: uma lista de verificação que você desejará adicionar aos favoritos

Quando profissionais de marketing como nós criam páginas de destino, escrevem cópias de e-mail ou projetam botões de call to action, pode ser tentador usar nossa intuição para prever o que fará as pessoas clicarem e converterem.

Mas basear as decisões de marketing em um “sentimento” pode ser muito prejudicial para os resultados. Em vez de depender de suposições ou suposições para tomar essas decisões , você está muito melhor executando um teste A / B – às vezes chamado de teste de divisão.

Teste A / B pode ser valioso porque públicos diferentes se comportam, bem, de maneira diferente. Algo que funciona para uma empresa pode não funcionar necessariamente para outra. Na verdade, os especialistas em otimização de taxa de conversão (CRO) odeiam o termo “melhores práticas” porque pode não ser a melhor prática para você.

Mas os testes A / B também podem ser complexos. Se você não for cuidadoso, pode fazer suposições incorretas sobre o que as pessoas gostam e o que as faz clicar – decisões que podem facilmente desinformar outras partes de sua estratégia.

Continue lendo para aprender como fazer A / B teste antes, durante e depois da coleta de dados para que você possa tomar as melhores decisões a partir de seus resultados.

Para executar um teste A / B, você precisa criar duas versões diferentes de uma parte do conteúdo, com alterações a uma única variável. Em seguida, você “mostrará essas duas versões a dois públicos de tamanhos semelhantes e analisará qual teve melhor desempenho em um período específico (tempo suficiente para tirar conclusões precisas sobre seus resultados).

Fonte

Os testes A / B ajudam os profissionais de marketing a observar como uma versão de um pedaço de o conteúdo de marketing atua junto com o outro. Aqui estão dois tipos de testes A / B que você pode realizar em um esforço para aumentar a taxa de conversão de seu site:

Exemplo 1: Teste de experiência do usuário

Talvez você queira ver se mover um determinado botão de call to action (CTA) para o topo da sua página inicial em vez de mantê-lo na barra lateral melhorará sua taxa de cliques.

Para testar A / B essa teoria, você ” d criar outra página da web alternativa que reflita essa mudança de posicionamento do CTA. O design existente – ou o “controle” – é a Versão A. A Versão B é o “desafiador”. Em seguida, você testa essas duas versões, mostrando cada uma delas a uma porcentagem predeterminada de visitantes do site. O ideal é que a porcentagem de visitantes que veem uma das versões seja a mesma.

Aprenda como fazer o teste A / B facilmente um componente do seu site com Marketing Hub da HubSpot.

Exemplo 2: Teste de design

Talvez você queira descobrir se está mudando a cor da sua frase de chamariz (CTA ) pode aumentar sua taxa de cliques.

Para testar A / B essa teoria, você “d criaria um botão CTA alternativo com uma cor de botão diferente que levasse à mesma página de destino do controle. Se você geralmente usa um botão de call to action vermelho em seu conteúdo de marketing, e a variação verde recebe mais cliques após seu teste A / B, isso pode merecer a mudança da cor padrão de seus botões de call to action para verde a partir de agora .

Para saber mais sobre o teste A / B, baixe nosso guia introdutório gratuito aqui.

Os benefícios do teste A / B

O teste A / B tem uma infinidade de benefícios para uma mãe equipe de marketing, dependendo do que você decidir testar. Acima de tudo, porém, esses testes são valiosos para uma empresa porque têm baixo custo, mas alta recompensa.

Digamos que você contrate um criador de conteúdo com um salário de $ 50.000 / ano. Este criador de conteúdo publica cinco artigos por semana para o blog da empresa, totalizando 260 artigos por ano. Se uma postagem média no blog da empresa gera 10 leads, você pode dizer que custa pouco mais de $ 192 para gerar 10 leads para a empresa ($ 50.000 de salário ÷ 260 artigos = $ 192 por artigo). Essa é uma grande mudança.

Agora, se você pedir a este criador de conteúdo para passar dois dias desenvolvendo um teste A / B em um artigo, em vez de escrever dois artigos nesse período de tempo, você pode queimar $ 192 porque está publicando um artigo a menos . Mas se esse teste A / B descobrir que você pode aumentar a taxa de conversão de cada artigo de 10 para 20 leads, você acabou de gastar US $ 192 para potencialmente dobrar o número de clientes que sua empresa obtém de seu blog.

Se Se o teste falhar, é claro, você perdeu $ 192 – mas agora você pode tornar seu próximo teste A / B ainda mais educado. Se o segundo teste conseguir dobrar a taxa de conversão do seu blog, você acabou gastando US $ 284 para potencialmente dobrar a receita da sua empresa. Não importa quantas vezes seu teste A / B falhe, seu sucesso final quase sempre superará o custo de conduzi-lo.

Existem muitos tipos de testes de divisão que você pode executar para fazer com que o experimento valha a pena no final.Aqui estão alguns objetivos comuns que os profissionais de marketing têm para seus negócios ao realizar o teste A / B:

• Aumento do tráfego do site: Testar diferentes postagens de blog ou títulos de páginas da web pode alterar o número de pessoas que clicam nesse título com hiperlink chegar ao seu site. Como resultado, isso pode aumentar o tráfego do site.
• Maior taxa de conversão: testar diferentes locais, cores ou até mesmo texto âncora em seus CTAs pode alterar o número de pessoas que clicam nesses CTAs para chegar a uma página de destino. Isso pode aumentar o número de pessoas que preenchem formulários em seu site, enviam suas informações de contato para você e “se convertem” em um cliente potencial.
• Taxa de rejeição mais baixa: se os visitantes de seu site saem (ou “rejeitam “) rapidamente depois de visitar seu site, testar diferentes introduções de postagens de blog, fontes ou imagens de recursos pode reduzir essa taxa de rejeição e reter mais visitantes.
• Abandono de carrinho menor: empresas de comércio eletrônico têm 40% a 75% dos clientes deixar seu site com itens em seu carrinho de compras, de acordo com MightyCall. Isso é conhecido como “abandono do carrinho de compras”. Testar diferentes fotos de produtos, designs de página de check-out e até mesmo onde os custos de envio são exibidos pode reduzir essa taxa de abandono.

Agora, vamos examinar a lista de verificação para configurar, executar, e medir um teste A / B.

Como realizar testes A / B

Acompanhe com nosso kit de teste A / B gratuito com tudo que você precisa para executar o teste A / B, incluindo um modelo de rastreamento de teste, um guia de instruções para instrução e inspiração e uma calculadora de significância estatística para ver se seus testes foram ganhos, perdas ou inconclusivo.

Antes do teste A / B

Vamos cobrir as etapas a serem executadas antes de iniciar o teste A / B.

1. Escolha uma variável para testar.

À medida que otimiza suas páginas da web e e-mails, você pode descobrir que há várias variáveis que deseja testar. Mas, para avaliar a eficácia de uma mudança, você “desejará isolar uma” variável independente “e medir seu desempenho – caso contrário, não poderá ter certeza de qual foi a responsável pelas mudanças no desempenho.

Você pode testar mais de uma variável para uma única página da web ou e-mail; apenas certifique-se de testá-los um de cada vez.

Observe os vários elementos em seus recursos de marketing e suas possíveis alternativas de design, redação e layout. Outras coisas que você pode testar incluem linhas de assunto de e-mail , nomes de remetentes e diferentes maneiras de personalizar seus e-mails.

Lembre-se de que até mesmo alterações simples, como alterar a imagem em seu e-mail ou as palavras em seu botão de call to action, podem gerar grandes melhorias . Na verdade, esses tipos de alterações são geralmente mais fáceis de medir do que as maiores.

Observação: há momentos em que faz mais sentido testar várias variáveis em vez de uma única variável. Este é um processo chamado de teste multivariado. Se você está se perguntando se deve executar um teste A / B em vez de um teste multivariável, aqui está um artigo útil da Optimizely que compara os dois.

2. Identifique sua meta.

Embora você avalie várias métricas para cada teste, escolha uma métrica principal na qual se concentrar – antes de no teste. Na verdade, faça isso antes mesmo de configurar a segunda variação. Esta é a sua “variável dependente”.

Pense sobre onde você deseja que esta variável esteja no final do teste de divisão. Você pode estabelecer uma hipótese oficial e examinar seus resultados com base nessa previsão.

Se você esperar até depois para pensar sobre quais métricas são importantes para você, quais são seus objetivos e como as mudanças que você está propondo pode afetar o comportamento do usuário, então você pode não configurar o teste da maneira mais eficaz.

3. Crie um “controle” e um “desafiador”.

Agora você tem o seu variável independente, sua variável dependente e seu resultado desejado. Use essas informações para configurar a versão inalterada de tudo o que você “está testando como seu” controle “. Se você estiver testando uma página da web, esta é a página da web inalterada como já existe. Se você estiver testando uma página de destino, este seria o design e a cópia da página de destino que você normalmente usaria.

A partir daí, construa uma variação ou um “desafiante” – o site, a página de destino ou o e-mail que você testará em relação ao seu controle. Por exemplo, se você está se perguntando se incluir um depoimento em uma página de destino faria diferença, configure sua página de controle sem depoimentos. Em seguida, crie sua variação com um depoimento.

4. Divida seu amostrar grupos de maneira igual e aleatória.

Para testes em que você tem mais controle sobre o público – como com e-mails – você precisa testar com dois ou mais públicos iguais para ter resultados conclusivos.

Como você faz isso varia de acordo com a ferramenta de teste A / B que você usa. Se você for um cliente HubSpot Enterprise conduzindo um teste A / B em um e-mail, por exemplo, a HubSpot dividirá automaticamente o tráfego de acordo com suas variações para que cada variação obtenha uma amostra aleatória de visitantes.

5. Determine o tamanho da amostra (se aplicável).

A maneira como você determina o tamanho da amostra também varia de acordo com a ferramenta de teste A / B e também com o tipo de teste A / B que você está executando.

Se você estiver fazendo um teste A / B de um e-mail, provavelmente desejará enviar um teste A / B para uma parte menor da sua lista para obter resultados estatisticamente significativos. Eventualmente, você escolherá um vencedor e enviar a variação vencedora para o resto da lista. (Consulte o e-book “The Science of Split Testing” no final deste artigo para obter mais informações sobre como calcular o tamanho da amostra.)

Se você for um cliente da HubSpot Enterprise, terá alguma ajuda para determinar o tamanho de seu grupo de amostra usando um controle deslizante. Ele permitirá que você faça um teste A / B 50/50 de qualquer tamanho de amostra – embora todas as outras divisões de amostra exijam uma lista de pelo menos 1.000 destinatários.

Se você “estiver testando algo que não tem um público finito, como uma página da web, por quanto tempo você mantém o teste em execução afetará diretamente o seu tamanho da amostra.

Você precisará deixar o teste ser executado por tempo suficiente para obter um número substancial de visualizações, caso contrário, será difícil dizer se houve uma diferença estatisticamente significativa entre as duas variações.

6. Decida quão significativos seus resultados precisam ser.

Depois de escolher sua métrica de meta, pense em quão significativos seus resultados precisam ser para justificar a escolha de uma variação em vez de outra. A significância estatística é uma parte superimportante do processo de teste A / B que geralmente é mal interpretada. Se você precisar se atualizar sobre a significância estatística do ponto de vista de marketing, recomendo a leitura desta postagem do blog.

Quanto maior a porcentagem de seu nível de confiança, mais certeza você pode ter sobre seus resultados. Na maioria dos casos, você desejará um nível de confiança mínimo de 95% – de preferência até 98% – especialmente se a configuração da experiência exigir muito tempo. No entanto, às vezes faz sentido usar uma taxa de confiança mais baixa se você não precisar que o teste seja tão rigoroso.

Matt Rheault, um engenheiro de software sênior da HubSpot, gosta de pensar em significância estatística como colocação uma aposta. Com que chances você se sente confortável em apostar? Dizer “Tenho 80% de certeza que este é o design certo e” estou disposto a apostar tudo nele “é semelhante a executar um teste A / B com 80% de significância e, em seguida, declarando um vencedor.

Rheault também diz que você provavelmente desejará um limite de confiança mais alto ao testar algo que melhora apenas ligeiramente a taxa de conversação. Por quê? Porque a variação aleatória tem mais probabilidade de desempenhar um papel maior.

“Um exemplo em que poderíamos nos sentir mais seguros reduzindo nosso limite de confiança é um experimento que provavelmente aumentará a taxa de conversão em 10% ou mais, como uma seção de heróis redesenhada”, explicou ele.

“A conclusão aqui é que quanto mais radical a mudança, menos científicos precisamos ser sábios em relação ao processo. Quanto mais específico a mudança (cor do botão, micro cópia, etc.), mais científicos devemos ser porque a mudança tem menos probabilidade de ter um impacto grande e perceptível na taxa de conversão. “

7. Certifique-se de estar executando apenas um teste por vez em qualquer campanha.

Testar mais de uma coisa para uma única campanha – mesmo que não seja exatamente no mesmo ativo – pode complicar seus resultados. Por exemplo, se você fizer um teste A / B de uma campanha de e-mail que direciona para uma página de destino ao mesmo tempo em que está testando A / B dessa página de destino … como saber qual alteração causou o aumento nos leads?

Durante o teste A / B

Vamos cobrir as etapas a serem executadas durante o teste A / B.

8. Use uma ferramenta de teste A / B.

Para fazer um teste A / B em seu site ou por e-mail, você precisará usar uma ferramenta de teste A / B. Se você for um cliente HubSpot Enterprise, o software HubSpot tem recursos que permitem que você teste A / B e-mails (saiba como aqui), frases de chamariz (saiba como aqui) e páginas de destino (saiba como aqui).

Para clientes que não são da HubSpot Enterprise, outras opções incluem os experimentos do Google Analytics, que permitem que você teste A / B até 10 versões completas de uma única página da web e compare seu desempenho usando uma amostra aleatória de usuários.

9. Teste as duas variações simultaneamente.

O tempo desempenha um papel significativo nos resultados da sua campanha de marketing, seja na hora do dia, no dia da semana ou no mês do ano. Se você executasse a versão A durante um mês e a versão B um mês depois, como você saberia se a mudança de desempenho foi causada pelo design diferente ou pelo mês diferente?

Quando você executa os testes A / B, você precisa executar o duas variações ao mesmo tempo, caso contrário, você pode ficar tentando adivinhar seus resultados.

A única exceção aqui é se você estiver testando o próprio tempo, como encontrar os horários ideais para enviar e-mails. uma ótima coisa para testar porque dependendo do que sua empresa oferece e de quem são seus assinantes, o momento ideal para o envolvimento do assinante pode variar significativamente de acordo com a indústria e o mercado-alvo.

10. Dê ao teste A / B tempo suficiente para produzir dados úteis.

Novamente, você “desejará ter certeza de que deixou o teste ser executado por tempo suficiente para obter um tamanho de amostra substancial. Caso contrário,” Será difícil dizer se houve uma diferença estatisticamente significativa entre as duas variações.

Quanto tempo é longo o suficiente? Dependendo da sua empresa e de como você executa o teste A / B, a obtenção de resultados estatisticamente significativos pode acontecer em horas … ou dias … ou semanas. Grande parte do tempo que leva para obter resultados estatisticamente significativos é a quantidade de tráfego que você obtém – então, se sua empresa não recebe muito tráfego para seu site, vai demorar muito mais para você executar um A / B teste.

Em teoria, você não deve restringir o tempo em que está coletando resultados. (Leia esta postagem do blog para saber mais sobre o tamanho e o tempo da amostra.)

11. Peça feedback de usuários reais.

O teste A / B tem muito a ver com dados quantitativos … mas isso não ajudará necessariamente a entender por que as pessoas realizam certas ações em detrimento de outras. Enquanto você está executando seu teste A / B, por que não coletar feedback qualitativo de usuários reais?

Uma das melhores maneiras de pedir a opinião das pessoas é por meio de uma pesquisa ou votação. Você pode adicionar uma pesquisa de saída em seu site que pergunte aos visitantes por que eles não clicaram em um determinado CTA, ou uma em suas páginas de agradecimento que pergunte aos visitantes por que eles clicaram em um botão ou preencheram um formulário.

Você pode descobrir, por exemplo, que muitas pessoas clicaram em uma frase de chamariz que as conduzia a um e-book, mas assim que viram o preço, não converteram. Esse tipo de informação lhe dará muitos insights sobre por que seus usuários estão se comportando de certas maneiras.

Após o teste A / B

Finalmente, vamos cobrir as etapas para faça depois do teste A / B.

12. Concentre-se na métrica de sua meta.

Mais uma vez, embora você esteja medindo várias métricas, mantenha o foco nessa métrica de meta principal quando você faz sua análise.

Por exemplo, se você testou duas variações de um e-mail e escolheu leads como sua métrica principal, não se preocupe com a taxa de abertura ou taxa de cliques. Você pode ver uma alta taxa de cliques e taxas de conversão baixas; nesse caso, você pode acabar escolhendo a variação que teve uma taxa de cliques mais baixa no final.

13. Avalie a importância de seus resultados usando nossa calculadora de teste A / B.

Agora que você determinou qual variação tem o melhor desempenho, é hora de determinar se seus resultados são estatisticamente significativos ou não. Em outras palavras, eles são suficientes para justificar uma mudança?

Para descobrir, você precisará realizar um teste de significância estatística. Você pode fazer isso manualmente … ou pode apenas conectar o resultados de sua experiência para nossa calculadora de teste A / B gratuita.

Para cada variação testada, você será solicitado a inserir o número total de tentativas, como e-mails enviados ou impressões vistas. Em seguida, insira o número de metas concluídas – geralmente, você verá os cliques, mas também podem ser outros tipos de conversão.

A calculadora mostrará o nível de confiança que seus dados produzem para a variação vencedora. Em seguida, compare esse número com o valor que você escolheu para determinar a significância estatística.

14. Aja com base em seus resultados.

Se uma variação for estatisticamente melhor do que a outra, você tem um vencedor. Conclua seu teste desativando a variação perdedora em sua ferramenta de teste A / B.

Se nenhuma das variações for estatisticamente melhor, você acabou de aprender que a variável testada não afetou os resultados e terá que marcar o teste como inconclusivo. Nesse caso, continue com a variação original – ou execute outro teste. Você pode usar os dados com falha para ajudá-lo a descobrir uma nova iteração em seu novo teste.

Embora os testes A / B ajudem a impactar os resultados caso a caso, você também pode aplicar as lições você aprende com cada teste e o aplica a esforços futuros.

Por exemplo, se você conduziu testes A / B em seu marketing por e-mail e descobriu repetidamente que usar números nas linhas de assunto do e-mail gera melhores taxas de cliques , você pode querer usar essa tática em mais de seus e-mails.

15. Planeje seu próximo teste A / B.

O teste A / B que você acabou de terminar pode ter ajudado você descobre uma nova maneira de tornar seu conteúdo de marketing mais eficaz – mas não para por aí. Sempre há espaço para mais otimização.

Você pode até tentar conduzir um teste A / B em outro recurso da mesma página da web ou e-mail no qual acabou de testar. Por exemplo, se você acabou de testar um título em uma página de destino, por que não fazer um novo teste no texto do corpo? Ou esquema de cores? Ou imagens? Sempre fique de olho nas oportunidades de aumentar as taxas de conversão e leads.

Comece o teste A / B hoje

O teste A / B permite que você descubra a verdade sobre qual conteúdo e marketing seu público quer ver.Aprenda como executar melhor algumas das etapas acima usando o e-book gratuito abaixo.

Nota do editor: esta postagem foi publicada originalmente em maio de 2016 e foi atualizada para ser abrangente.

Originalmente publicado em 13 de abril de 2020 8:00 : 00 AM, atualizado em 8 de setembro de 2020