AB 테스트
필요성
예를 들어, 우리 사이트에 디자인 개선 작업을 했는데 매출이 증가했다고 치자.
여기서 원인은 디자인 개선 작업이고 매출이 증가한것을 결과로 볼 수 있겠다.
만약 내가 사장님이라면 디자인 개선 작업이 매출에 정말로 영향을 미쳤을지가 궁금할 것이다.
- (비슷한 시기에 다른 요인으로 매출이 증가했을 수도 있으니까)
이 때 아래의 방법으로 해당 궁금증을 확인해볼 수 있다.
-
방문자를 임의로 A / B 집단으로 나눈다.
-
A 집단의 방문자에게는 기존 디자인을, B 집단의 방문자에게는 개선된 디자인을 보여준다.
-
B 집단(개선된 디자인을 노출한)의 방문자들이 매출을 많이 일으킨다면, 디자인 개선 작업은 효과가 있었다고 볼 수 있겠다.
AB Test란?
나는 AB Test를 이렇게 이해하고 있다.
인과관계일 가능성이 높은 것을 찾아내기 위해, 서로 다른 시안을 비슷한 사용자군에게 "동시에"노출해서 성과를 측정하는 일종의 통계 테스트
위키백과에는 AB Test를 아래와 같이 정의한다.
마케팅과 웹 분석에서, A/B 테스트는 두 개의 변형 A와 B를 사용하는 종합 대조 실험이다. 통계 영역에서 사용되는 것과 같은 통계적 가설 검정 또는 "2-표본 가설 검정"의 한 형태
주의점
- A / B 두 집단을 "임의적"으로 나누어야 한다. 그렇지 않으면 두 집단의 차이가 무엇 때문에 발생하는지 정확하게 가려낼 수 없게 된다.
- 예를 들어 아래처럼 나누면 안 된다.
- 남성은 A 집단, 여성은 B 집단
- 예를 들어 아래처럼 나누면 안 된다.
다변수(Multivariate) 테스트
필요성
위에서 다룬 A/B테스트는 비교군이 2가지였다. (디자인 개선 전 / 후)
그러나 이보다 더 복합적인 변화에 대한 테스트가 필요하다면?
다변수 테스트란?
위와 같은 상황에 테스트할 페이지의 여러 요소를 동시에 바꿔 테스트하는 것이 다변수(Multivariate) 테스트라고 한다. (이하 MVT)
예시
- 주문서의 주문 버튼과 색상, 문구가 각각 3가지 타입이 있다면 총 27가지 경우의 수( 3 * 3 * 3)를 테스트한다.
주의
- 많은 비용이 든다.
- 폭발적으로 늘어나는 변수 (경우의 수) + 설계, 준비, 분석작업 필요
- 변수가 너무 많으면 유의미한 결과를 분석하기 어려움
리디렉션(Redirection) 테스트
필요성
What is Redirection Test
A/B 테스트의 한 유형이며 구분된 여러 웹페이지를 서로 테스트 해서 비교
페이지상의 요소가 아닌 URL 또는 경로로 확인
활용 : 전혀 다른 두 방문 페이지를 테스트하거나, 페이지 디자인을 완전히 변경하려는 경우 리디렉션 테스트가 유용함
예시
URL이 서로 다른 두 개의 페이지 테스트
- 원본 - www.example.com/landing1
- 대안 - www.example.com/landing2
하위 도메인에서 호스팅되는 두 개의 페이지 테스트
- 원본 - www.example.com
- 대안 - new.example.com