A / B 테스트를 수행하는 방법 : 북마크 할 체크리스트

우리와 같은 마케팅 담당자가 랜딩 페이지를 작성하거나 이메일 사본을 작성하거나 클릭 유도 문안 버튼을 디자인 할 때 사람들이 클릭하고 전환하게 만드는 요소를 예측하기 위해 직감을 사용하려는 유혹이 있습니다.

그러나 “느낌”을 기반으로 마케팅 결정을 내리는 것은 결과에 상당히 해로울 수 있습니다. 이러한 결정을 내리기 위해 추측이나 가정에 의존하는 것보다 , “분할 테스트라고도하는 A / B 테스트를 실행하는 것이 훨씬 좋습니다.

A / B 테스트 서로 다른 청중이 다르게 행동하기 때문에 가치가있을 수 있습니다. 한 회사에서 작동하는 것이 반드시 다른 회사에서 작동하는 것은 아닙니다. 실제로 전환율 최적화 (CRO) 전문가는 “모범 사례”라는 용어를 싫어합니다. 실제로는 귀하에게 모범 사례가 아닐 수 있기 때문입니다.

하지만 A / B 테스트도 복잡 할 수 있습니다. 주의하지 않으면 사람들이 좋아하는 것과 클릭하게 만드는 요소에 대해 잘못된 가정을 할 수 있습니다. 이는 전략의 다른 부분을 쉽게 잘못 이해할 수있는 결정입니다.

A / B를 수행하는 방법을 알아 보려면 계속 읽으십시오. 데이터 수집 전, 도중 및 후에 테스트를 수행하여 결과에서 최상의 결정을 내릴 수 있습니다.

A / B 테스트를 실행하려면 한 콘텐츠의 두 가지 버전을 변경하여 만들어야합니다. 그런 다음 “이 두 가지 버전을 비슷한 규모의 두 잠재 고객에게 보여주고 특정 기간 (결과에 대한 정확한 결론을 내릴 수있을만큼 충분히 긴 시간) 동안 실적이 더 좋은 버전을 분석합니다.

소스

A / B 테스트는 마케팅 담당자가 마케팅 콘텐츠는 다른 콘텐츠와 함께 수행됩니다. 다음은 웹 사이트의 전환율을 높이기 위해 수행 할 수있는 두 가지 유형의 A / B 테스트입니다.

예 1 : 사용자 경험 테스트

특정 클릭 유도 문안 (CTA) 버튼을 사이드 바에 유지하는 대신 홈페이지 상단으로 이동하면 클릭률이 향상됩니다.

이 이론을 A / B 테스트하려면 ” d CTA 배치 변경 사항을 반영한 다른 대체 웹 페이지를 만듭니다. 기존 설계 또는 “제어”는 버전 A입니다. 버전 B는 “도전자”입니다. 그런 다음 두 버전을 각각 미리 정해진 사이트 방문자 비율에게 보여줌으로써 테스트합니다. 이상적으로는 두 버전을 보는 방문자의 비율이 동일합니다.

쉽게 A / B 테스트하는 방법 알아보기 HubSpot의 마케팅 허브가있는 웹 사이트의 구성 요소입니다.

예 2 : 디자인 테스트

클릭 유도 문안 (CTA)의 색상을 변경하는지 알아보고 싶을 수 있습니다. ) 버튼은 클릭률을 높일 수 있습니다.

이 이론을 A / B 테스트하려면 컨트롤과 동일한 방문 페이지로 연결되는 다른 버튼 색상으로 대체 CTA 버튼을 디자인해야합니다. 일반적으로 마케팅 콘텐츠에 빨간색 클릭 유도 문안 버튼을 사용하고 녹색 변형은 A / B 테스트 후 더 많은 클릭을받습니다. 이렇게하면 지금부터 클릭 유도 문안 버튼의 기본 색상을 녹색으로 변경할 수 있습니다. .

A / B 테스트에 대해 자세히 알아 보려면 여기에서 무료 소개 가이드를 다운로드하세요.

A / B 테스트의 이점

A / B 테스트에는 엄마에게 많은 혜택 테스트하기로 결정한 것이 무엇인지에 따라 rketing 팀. 무엇보다도 이러한 테스트는 “비용은 저렴하지만 보상은 높기 때문에 비즈니스에 가치가 있습니다.

연봉이 $ 50,000 인 콘텐츠 제작자를 고용한다고 가정 해 보겠습니다. 이 콘텐츠 제작자는 회사 블로그에 매주 5 개의 기사를 게시하며 연간 총 260 개의 기사를 게시합니다. 회사 블로그의 평균 게시물이 10 개의 리드를 생성하는 경우 비즈니스를위한 10 개의 리드를 생성하는 데 $ 192가 약간 넘는 비용이들 수 있습니다 ($ 50,000 급여 ÷ 260 개의 기사 = 기사당 $ 192). 이것은 “확실한 변화 덩어리입니다.

이제이 콘텐츠 제작자에게 한 기사에 대해 A / B 테스트를 개발하는 데 이틀을 보내도록 요청하면 해당 기간에 기사를 두 개 작성하는 대신 기사를 하나 더 적게 게시하므로 $ 192를 소모 할 수 있습니다. .하지만 A / B 테스트에서 각 기사의 전환율을 10 개에서 20 개의 리드로 높일 수있는 것으로 확인되면 192 달러를 지출하여 귀하의 블로그에서 얻는 고객 수를 두 배로 늘릴 수 있습니다.

물론 테스트에 실패하면 192 달러를 잃었지만 이제 다음 A / B 테스트를 더욱 교육적으로 만들 수 있습니다. 두 번째 테스트가 블로그의 전환율을 두 배로 늘리는 데 성공하면 궁극적으로 회사 수익을 두 배로 늘리기 위해 284 달러를 지출하게됩니다. A / B 테스트가 몇 번 실패하더라도 최종 성공은 거의 항상 수행 비용보다 중요합니다.

실험 결과를 가치있게 만들기 위해 실행할 수있는 여러 유형의 분할 테스트가 있습니다.다음은 마케팅 담당자가 A / B 테스트를 할 때 비즈니스에 대한 몇 가지 일반적인 목표입니다.

• 웹 사이트 트래픽 증가 : 다른 블로그 게시물 또는 웹 페이지 제목을 테스트하면 하이퍼 링크로 연결된 제목을 클릭하는 사람들의 수가 귀하의 웹 사이트로 이동하십시오. 결과적으로 웹 사이트 트래픽이 증가 할 수 있습니다.
• 더 높은 전환율 : CTA에서 다양한 위치, 색상 또는 앵커 텍스트를 테스트하면 방문 페이지로 이동하기 위해 이러한 CTA를 클릭하는 사람들의 수를 변경할 수 있습니다. 이렇게하면 웹 사이트에서 양식을 작성하고 연락처 정보를 제출하여 리드로 “전환”하는 사람들의 수가 늘어날 수 있습니다.
• 낮은 이탈률 : 웹 사이트 방문자가 이탈 (또는 “이탈”하는 경우) “) 웹 사이트를 방문한 후 신속하게 다양한 블로그 게시물 소개, 글꼴 또는 기능 이미지를 테스트하면 이탈률을 줄이고 더 많은 방문자를 유지할 수 있습니다.
• 장바구니 이탈률 감소 : 전자 상거래 비즈니스는 고객의 40 ~ 75 %를 봅니다. MightyCall에 따르면 장바구니에 항목이있는 웹 사이트를 떠납니다. 이를 “장바구니 이탈”이라고합니다. 다양한 제품 사진, 체크 아웃 페이지 디자인 및 배송비가 표시되는 위치를 테스트하면이 포기 율을 낮출 수 있습니다.

이제 설정, 실행, 실행을위한 체크리스트를 살펴 보겠습니다. 및 A / B 테스트 측정.

A / B 테스트 수행 방법

따라 무료 A / B 테스트 키트에는 테스트 추적 템플릿, 지침 및 영감을위한 방법 가이드, 테스트의 성공 여부를 확인하는 통계적 유의성 계산기 등 A / B 테스트를 실행하는 데 필요한 모든 것이 포함되어 있습니다. 결론이 없습니다.

A / B 테스트 전

A / B 테스트를 시작하기 전에 취해야 할 단계를 설명하겠습니다.

1. 테스트 할 변수를 하나 선택하세요.

웹 페이지와 이메일을 최적화 할 때 테스트하고 싶은 변수가 많이있을 수 있습니다. 그러나 변경이 얼마나 효과적인지 평가하려면 “독립 변수”하나를 분리하고 성능을 측정해야합니다. 그렇지 않으면 성능 변경에 어떤 것이 원인인지 확신 할 수 없습니다.

귀하 단일 웹 페이지 또는 이메일에 대해 둘 이상의 변수를 테스트 할 수 있습니다. “한 번에 하나씩 테스트해야합니다.

마케팅 리소스의 다양한 요소와 디자인, 문구 및 레이아웃에 대한 가능한 대안을 살펴보세요. 테스트 할 수있는 다른 항목에는 이메일 제목이 포함됩니다. , 발신자 이름 및 이메일을 개인화하는 다양한 방법.

이메일의 이미지 또는 클릭 유도 문안 버튼의 단어를 변경하는 것과 같은 간단한 변경도 큰 개선을 가져올 수 있습니다. . 사실, 이러한 종류의 변경은 일반적으로 큰 변경보다 측정하기가 더 쉽습니다.

참고 : 단일 변수가 아닌 여러 변수를 테스트하는 것이 더 합리적 일 때가 있습니다. 이것은 프로세스입니다. 다 변수 테스트라고합니다. A / B 테스트를 실행해야하는지 다 변수 테스트를 실행해야하는지 궁금하다면 두 가지를 비교하는 Optimizely의 유용한 도움말을 참조하세요.

2. 목표 확인

2. h4>

테스트마다 여러 가지 측정 항목을 측정 할 것이지만, 먼저 집중할 기본 측정 항목을 선택하세요. n 테스트. 실제로 두 번째 변형을 설정하기 전에 수행하십시오. 이것이 “종속 변수”입니다.

분할 테스트가 끝날 때이 변수를 원하는 위치에 대해 생각해보십시오. 공식 가설을 진술하고이 예측을 기반으로 결과를 검토 할 수 있습니다.

나중에 어떤 측정 항목이 중요한지, 목표가 무엇인지, 제안하는 변경 사항이 무엇인지 생각할 때까지 기다리면 사용자 행동에 영향을 미칠 수 있으며 가장 효과적인 방법으로 테스트를 설정하지 못할 수 있습니다.

3. “컨트롤”과 “도전자”를 만듭니다.

이제 독립 변수, 종속 변수 및 원하는 결과.이 정보를 사용하여 “대조군”으로 테스트하는 모든 항목의 변경되지 않은 버전을 설정하십시오. 웹 페이지를 테스트하는 경우 이미 존재하는 그대로 변경되지 않은 웹 페이지입니다. 방문 페이지를 테스트하는 경우 일반적으로 사용하는 방문 페이지 디자인 및 카피가됩니다.

여기에서 웹 사이트, 랜딩 페이지 또는 이메일과 같은 변형 또는 “도전자”를 구축하여 제어에 대해 테스트 할 수 있습니다. 예를 들어 방문 페이지에 평가를 포함하는 것이 효과가 있는지 궁금하다면 평가가없는 제어 페이지를 설정 한 다음 평가를 사용하여 유사 콘텐츠를 만드십시오.

4. 샘플 그룹을 동등하고 무작위로 선택합니다.

이메일과 같이 청중을 더 많이 제어하는 테스트의 경우 결정적인 결과를 얻으려면 동일한 청중을 두 명 이상 대상으로 테스트해야합니다.

사용하는 방법은 사용하는 A / B 테스트 도구에 따라 다릅니다. 예를 들어 “이메일로 A / B 테스트를 수행하는 HubSpot Enterprise 고객 인 경우 HubSpot은 트래픽을 귀하의 유사 콘텐츠로 자동 분할합니다. 각 유사 콘텐츠가 무작위로 방문자를 샘플링하도록합니다.

5. 샘플 크기를 결정합니다 (해당하는 경우).

샘플 크기를 결정하는 방법은 A / B 테스트 도구와 실행중인 A / B 테스트 유형에 따라 다릅니다.

이메일을 A / B 테스트하는 경우 통계적으로 유의미한 결과를 얻기 위해 목록의 더 작은 부분에 A / B 테스트를 보내고 싶을 것입니다. 결국 우승자를 선택하게됩니다. 우승 한 변형을 나머지 목록으로 보냅니다. (샘플 크기 계산에 대한 자세한 내용은이 문서 끝에있는 “분할 테스트의 과학”ebook을 참조하십시오.)

HubSpot Enterprise 고객 인 경우 크기를 결정하는 데 도움이 될 것입니다. 슬라이더를 사용하여 샘플 그룹의. 다른 모든 샘플 분할에는 최소 1,000 명의 수신자 목록이 필요하지만 모든 샘플 크기에 대해 50/50 A / B 테스트를 수행 할 수 있습니다.

웹 페이지와 같이 한정된 대상이없는 것을 “테스트하는 경우”테스트를 실행하는 기간이 샘플 크기입니다.

많은 조회수를 확보 할 수있을만큼 충분히 긴 시간 동안 테스트를 실행해야합니다. 그렇지 않으면 두 유사 콘텐츠간에 통계적으로 유의미한 차이가 있는지 여부를 알기가 어렵습니다.

6. 결과가 얼마나 중요해야하는지 결정합니다.

목표 측정 항목을 선택했으면 하나의 대안을 선택하는 것을 정당화하기 위해 결과가 얼마나 중요한지 생각해보십시오. 통계적 중요성은 종종 오해되는 A / B 테스트 프로세스에서 매우 중요한 부분입니다. 마케팅 관점에서 통계적 중요성에 대한 재교육이 필요한 경우이 블로그 게시물을 읽어 보는 것이 좋습니다.

비율이 높을수록 신뢰 수준이 높을수록 결과에 대해 더 확신 할 수 있습니다. 대부분의 경우 특히 설정하는 데 시간이 많이 걸리는 실험 인 경우 최소 95 % (가급적이면 98 %)의 신뢰 수준을 원할 것입니다. 그러나 때로는 테스트가 엄격 할 필요가없는 경우 낮은 신뢰도를 사용하는 것이 합리적입니다.

HubSpot의 선임 소프트웨어 엔지니어 인 Matt Rheault는 배치와 같은 통계적 중요성을 생각하는 것을 좋아합니다. 베팅을하는 것이 편할 확률은 어느 정도입니까? “나는 이것이 올바른 디자인이라고 확신하고”모든 것에 대해 기꺼이 베팅 할 것 “이라고 말하는 것은 A / B 테스트를 80 %의 중요성으로 실행하는 것과 유사합니다. 그런 다음 승자를 선언합니다.

Rheault는 또한 대화 속도를 약간만 향상시키는 무언가를 테스트 할 때 더 높은 신뢰도 임계 값을 원할 것이라고 말합니다. 그 이유는 무작위 분산이 더 큰 역할을 할 가능성이 높기 때문입니다.

“신뢰도 임계 값을 낮추는 것이 더 안전하다고 느낄 수있는 예는 새롭게 디자인 된 히어로 섹션과 같이 전환율을 10 % 이상 향상시킬 수있는 실험입니다.”라고 그는 설명했습니다.

“여기서 요점은 변화가 급진적 일수록 프로세스에 대해 덜 과학적이어야한다는 것입니다. 변경 사항 (버튼 색상, 마이크로 카피 등)은 변경이 전환율에 크고 눈에 띄는 영향을 줄 가능성이 적기 때문에 더 과학적이어야합니다. “

7. “모든 캠페인에서 한 번에 하나의 테스트 만 실행하고 있는지 확인하십시오.

동일한 자산에 있지 않더라도 단일 캠페인에 대해 둘 이상의 테스트를 수행하면 결과가 복잡해질 수 있습니다. 예를 들어 랜딩 페이지로 연결되는 이메일 캠페인을 A / B 테스트하는 동시에 해당 랜딩 페이지를 A / B 테스트하는 경우 … 어떤 변경으로 인해 리드가 증가했는지 어떻게 알 수 있습니까?

A / B 테스트 중

A / B 테스트 중 취해야 할 단계를 다룹니다.

8. A / B 테스트 도구를 사용합니다.

웹 사이트 또는 이메일에서 A / B 테스트를 수행하려면 A / B 테스트 도구를 사용해야합니다. HubSpot Enterprise 고객 인 경우 HubSpot 소프트웨어에는 A / B 테스트 이메일 (방법 알아보기), 클릭 유도 문안 (방법 알아보기) 및 랜딩 페이지 (여기에서 알아보기)를 수행 할 수있는 기능이 있습니다.

HubSpot Enterprise가 아닌 고객의 경우 다른 옵션에는 단일 웹 페이지의 전체 버전을 최대 10 개까지 A / B 테스트하고 무작위 사용자 샘플을 사용하여 성능을 비교할 수있는 Google Analytics 실험이 있습니다.

9. 두 변형을 동시에 테스트하세요.

시간, 요일, 월 등 마케팅 캠페인 결과에 중요한 역할을합니다. 한 달 후 버전 B를 사용하는 경우 성능 변화가 다른 디자인 때문인지 아니면 다른 달인지 어떻게 알 수 있습니까?

A / B 테스트를 실행할 때 두 가지 변형이 동시에 발생하지 않으면 결과를 추측하게 될 수 있습니다.

여기서 유일한 예외는 이메일 발송을위한 최적의 시간을 찾는 것과 같이 타이밍 자체를 테스트하는 경우입니다. 비즈니스에서 제공하는 내용과 구독자가 누구인지에 따라 구독자 참여를위한 최적의 시간이 업계 및 대상 시장에 따라 크게 달라질 수 있으므로 테스트하는 것이 좋습니다.

10. A / B 테스트에 유용한 데이터를 생성 할 수있는 충분한 시간을 제공합니다.

다시 말하지만, “실질적인 샘플 크기를 얻기 위해 테스트를 충분히 오래 실행해야합니다. 그렇지 않은 경우에는” 두 변형 사이에 통계적으로 유의 한 차이가 있는지 여부를 알기가 어렵습니다.

얼마나 오래 걸리나요? 회사와 A / B 테스트를 실행하는 방법에 따라 통계적으로 유의미한 결과를 얻을 수있는 시간은 몇 시간 또는 며칠 또는 몇 주일 수 있습니다. 통계적으로 유의미한 결과를 얻는 데 걸리는 시간의 큰 부분은 발생하는 트래픽의 양입니다. 따라서 비즈니스에서 웹 사이트에 트래픽이 많이 발생하지 않으면 A / B를 실행하는 데 훨씬 더 오래 걸립니다. 테스트.

이론적으로 결과를 수집하는 시간을 “제한해서는 안됩니다.” (샘플 크기와 타이밍에 대해 자세히 알아 보려면이 블로그 게시물을 읽어보십시오.)

11. 실제 사용자에게 피드백을 요청하세요.

A / B 테스트는 정량적 데이터와 많은 관련이 있습니다.하지만 그렇다고 사람들이 다른 사람보다 특정 행동을 취하는 이유를 이해하는 데 반드시 도움이되는 것은 아닙니다. A / B 테스트를 실행하면서 실제 사용자로부터 정성적인 피드백을 수집하는 것은 어떨까요?

사람들에게 의견을 묻는 가장 좋은 방법 중 하나는 설문 조사 나 설문 조사를 이용하는 것입니다. 방문자가 특정 CTA를 클릭하지 않은 이유를 묻는 이탈 설문 조사를 사이트에 추가하거나 방문자가 버튼을 클릭하거나 양식을 작성한 이유를 묻는 감사 페이지를 추가 할 수 있습니다.

예를 들어 많은 사람들이 클릭 유도 문안을 클릭하여 eBook으로 이동했지만 가격을 확인한 후에는 전환하지 않았습니다. 이러한 정보를 통해 사용자가 특정 방식으로 행동하는 이유에 대한 많은 통찰력을 얻을 수 있습니다.

A / B 테스트 후

마지막으로 다음 단계를 다루겠습니다. A / B 테스트를 마친 후 확인하세요.

12. 목표 측정 항목에 집중하세요.

다시 말하지만 여러 측정 항목을 측정 하겠지만 다음과 같은 경우에는 기본 목표 측정 항목에 계속 집중하세요. 분석을 수행합니다.

예를 들어 이메일의 두 가지 변형을 테스트하고 리드를 기본 측정 항목으로 선택한 경우 오픈 율이나 클릭률에 얽매이지 마십시오. 클릭률이 높고 전환율이 낮아서 결국 클릭률이 더 낮은 대안을 선택할 수 있습니다.

13. A / B 테스트 계산기를 사용하여 결과의 중요성을 측정하세요.

이제 실적이 가장 좋은 대안 페이지를 결정 했으므로 이제 결과가 통계적으로 유의한지 여부를 결정할 차례입니다. 즉, 변경을 정당화하기에 충분합니까?

알 으려면 “통계적 유의성 테스트를 수행해야합니다. 수동으로 수행하거나 … 실험 결과를 무료 A / B 테스트 계산기로 변환했습니다.

테스트 한 각 변형에 대해 전송 된 이메일 또는 본 노출과 같은 총 시도 횟수를 입력하라는 메시지가 표시됩니다. 그런 다음 완료 한 목표의 수를 입력합니다. 일반적으로 클릭 수를 확인하지만 다른 유형의 전환 일 수도 있습니다.

계산기가 선정 된 변동에 대해 데이터가 생성하는 신뢰 수준을 계산합니다. 그런 다음 통계적 유의성을 결정하기 위해 선택한 값과 비교하여 해당 숫자를 측정합니다.

14. 결과에 따라 조치를 취하세요.

한 변형이 다른 변형보다 통계적으로 더 나은 경우 승자가됩니다. A / B 테스트 도구에서 손실 변형을 비활성화하여 테스트를 완료하세요.

p>

두 변동이 통계적으로 더 나을 경우 테스트 한 변수가 결과에 영향을 미치지 않는다는 것을 방금 알게되었으며 테스트를 결정적이지 않은 것으로 표시해야합니다. 이 경우 원래 변형을 그대로 사용하거나 다른 테스트를 실행하세요. 실패한 데이터를 사용하여 새 테스트에서 새로운 반복을 파악할 수 있습니다.

A / B 테스트는 사례별로 결과에 영향을주는 데 도움이되지만 강의를 적용 할 수도 있습니다. 각 테스트에서 배우고이를 향후 노력에 적용합니다.

예를 들어 “이메일 마케팅에서 A / B 테스트를 수행하고 이메일 제목 줄에 숫자를 사용하면 클릭률이 더 높다는 것을 반복적으로 발견 한 경우 , 더 많은 이메일에이 전략을 사용하는 것이 좋습니다.

15. 다음 A / B 테스트를 계획하세요.

방금 완료 한 A / B 테스트가 도움이되었을 수 있습니다. 마케팅 콘텐츠를보다 효과적으로 만들 수있는 새로운 방법을 찾았지만 여기서 멈추지 마십시오. 항상 더 많은 최적화의 여지가 있습니다.

동일한 웹 페이지의 다른 기능이나 방금 테스트 한 이메일에 대해 A / B 테스트를 시도해 볼 수도 있습니다. 예를 들어, 랜딩 페이지의 헤드 라인을 방금 테스트했다면 본문 카피에 대한 새로운 테스트를 해보는 것은 어떨까요? 아니면 색 구성표? 아니면 이미지? 전환율과 리드를 높일 수있는 기회를 항상 주시하십시오.

오늘 A / B 테스트 시작

A / B 테스트를 통해 어떤 콘텐츠와 마케팅의 진실을 알 수 있습니다. 청중이보고 싶어합니다.아래의 무료 전자 책을 사용하여 위 단계 중 일부를 가장 잘 수행하는 방법을 알아보세요.

편집자 주 :이 게시물은 원래 2016 년 5 월에 게시되었으며 포괄적 인 업데이트가되었습니다.

원래 게시일 : 2020 년 4 월 13 일 8:00 : 00 AM, 2020 년 9 월 8 일 업데이트 됨