[유저 리서치 방법론⑧] A/B 테스트

안녕하세요 릴로 마케터 신디입니다.

이전 글에서는 에스노그라피에 대해 정리해 보았는데요.
이번에는 리서치 중 활발하게 사용되고 있는 A/B 테스트에 대해 정리해 보도록 하겠습니다.

 

📌 A/B 테스트란?

스플릿 테스트로도 알려진 A/B 테스트는 하나의 웹 페이지를 두 가지 버전으로 나누어 사용자들에게 동시에 보여주며 어떤 웹 페이지가 더 잘 작동하는지 비교하는 방식입니다. 사용자 의견을 바탕으로 선택하지 않고, 데이터와 웹 사이트 전환율로 걸 정합니다.

출처 :  http://medi-hi.com/

 

 

A/B 테스트 단점

• A/B 테스트는 아이템이 한 가지 또는 두 가지 버전으로 제한되어 있으므로 다양한 변수들을 평가하기에 덜 적합합니다.
• A/B 테스트는 두 옵션 중 어떤 것이 더 잘 작동하는지는 보여줄 수 있지만, 그 이유에 대해서는 설명하지 못합니다. 왜 특정한 것이 더 잘 작동하는지에 관심이 있다면 다른 리서치 방법론과 함께 사용하여 알아낼 수 있습니다.

 

A/B 테스트하는 법

테스트 프로세스

1. 데이터 수집하기 애널리틱스를 인사이트에 사용합니다. 낮은 전환율이나 높은 이탈률이 있는 페이지들을 살펴보고 새로운 콘텐츠, 디자인 또는 콘셉트를 연구하거나 새로운 기능을 추가해야 할 수도 있습니다.
2. 목표 파악하기 전환율 목표는 변형이 오리지널보다 더 성공적인지 아닌지 결정할 때 사용할 수 있는 지표입니다. 목표는 버튼 클릭에서부터 제품 구입으로 이어지는 링크, 이메일 구독 하기까지 다양합니다.
3. 가정 생성하기 목표를 파악했다면 이제는 왜 A가 B보다 낫다고 생각하는지에 대한 A/B 테스트 아이디어와 가정을 생성해야 합니다.
4. 변형하기 A/B 테스트 소프트웨어를 이용해 제품 및 서비스의 요소들을 변경할 수 있습니다. 각각의 실험 군에서 변경한 부분들은 반드시 기록으로 남겨두어야 합니다.
5. 테스트 수행하기 가장 정확한 결과를 위해서는 한 번에 하나씩만 수행 하는 것이 좋고 테스트에 시간을 충빈히 들이는 게 좋습니다. 이때 테스트를 너무 오랫동안 수행하게 되면 이것 또한 결과를 왜곡하게 되는데, 오랜 기간 동안 통제할 수 없는 변수들이 더 많아지기 때문에 테스트는 몇 주 정도 투자하는 것이 좋습니다.
6. 결과 해석하기 테스트가 종료되면 결과를 분석해야 합니다. 누가 봐도 실험 군이 이긴 것 같다면 그 버전으로 변경해야 하며, 그렇지 않다면 프로세스를 처음부터 다시 시작해야 합니다.

 

A/B 테스트 시 주의점

• 두 변형은 항상 동시에 테스트한다.
  • 만약에 한 버전은 이번 주에 테스트하고 다른 버전은 그다음 주에 테스트할 경우, 변형들을 각기 다른 상황에서 테스트하기 때문에 정확한 데이터를 수집할 수 없습니다.
• 통계적 유의성을 얻을 때까지 기다린다.
• 재방문자에게 동일한 변형을 보여준다.
• A/B 테스트는 웹 사이트 전반에 걸쳐 일관성을 유지한다
  • 여러 구역에 나타나는 구독하기 버튼을 테스트할 때는 사용자에게 항상 같은 변형을 제공해야 합니다.

 

A/B 테스트할 때 꼭 지켜야 할 5가지

1. 테스트를 통해 얻고자 하는 가설 설정

'A'보다 이벤트적인 지점을 강조한 'B'의 전환율이 높을 것이다. 등 테스트를 통해 확인하고자 하는 가설이 없다면, 테스트에 대한 원인과 결과를 명확히 분석할 수 없으며 지속적인 테스트에 대한 디벨롭이 불가능합니다.

2. A/B 테스트는 동기간에 진행

유저의 성향은 그 주의 사회적 이슈에 따라 계절에 따라, 또 트렌드에 따라 바뀝니다. 이런 성향을 과거에는 'A'를 선택했지만 미래에는 'B'를 선택할 수도 있습니다. 그렇기 때문에 한'A/B 테스트'는 동기간에 진행되어야 합니다.

3.1개의 변수에 대해서만 테스트 진행

테스트하고자 하는 변수를 2개 이상으로 둘 경우, 성과가 향상되었을 때 2개 중 어떤 변수 때문인지를 확인하기가 어려워 실제 적용까지에 어려움이 있습니다.

4. 충분한 모수 확보를 위한 테스트 기간 설정

모수가 10명인 테스트보다 1000명인 테스트 중 결과를 더욱 신뢰할 수 있는 것은 후자일 것입니다. 테스트에 대한 충분한 신뢰도를 얻기 위해서 충분한 모수를 확보해야 하며 그 모수를 확보할 수 있을 만큼의 테스트 기간 혹은 예산이 필요합니다.

5. 지속적인 A/B 테스트 진행

한 번의 테스트는 절대적인 결과라고 할 수 없습니다. 앞선 2번에서 말씀드린 것처럼 유저의 성향과 사회의 트렌드는 계속 달라지기 때문입니다. 한 번 진행한 테스트는 모두 아카이빙해두고 정기적으로 디벨롭을 해주는 과정이 필요합니다.

 

 

 

출처

유저 리서치 UX를 위한 사용자 조사의 모든 것

---

 

기분 좋은 푸시 알림, 릴로 더 알아보기 ⤵️