A/B 테스트 툴

A/B 테스트 툴

• 보통 IT 서비스를 제공하는 회사는 목표를 달성하기 위해 다양한 방법들을 시도함
  • 여기서 목표는 결제 횟수가 될 수도 있고 회원가입 횟수가 될 수도 있음
  • 목표 수치를 달성하기 위해 보통 회사에선 가설을 세우고 이를 검증하려고 함
• A/B 테스트: 가설을 검증하는 대표적인 방법으로 유저에게 같은 페이지에서 다른 경험을 주는 실험을 의미
  • 기존에 잘 동작하는 페이지는 대조군이라고 하며 새롭게 실험해보고 싶은 페이지는 실험군이라고 부름

• 예를 들어 회사에서 회원가입을 늘리는 걸 목표로 세웠다고 가정
  • 목표를 달성하기 위한 여러 아이디어 중 상품페이지에 회원가입 이벤트를 강조하자는 아이디어 채택
  • 그래서 상품페이지의 결제하기 버튼 위에 회원가입 이벤트 배너를 넣기로 결정
  • 이 때 대조군은 아무것도 넣지 않은 기본 상품페이지, 실험군은 회원가입 배너를 추가한 화면으로 설정
  • A/B 테스트를 진행한 후 결과적으로 어떤 화면에서 더 많은 회원가입 수가 일어났는지를 확인
  • 실험군(배너를 넣은 화면)에서 더 많은 사람이 회원가입을 했다면, '상품페이지에 회원가입 배너를 넣으면 회원가입을 더 많이 할 것이다' 라는 가설이 검증됨
  • 결국 목표(회원가입, 결제 등)로 전환되는 횟수를 서로 비교해서 가설을 검증
• A/B 테스트라고 해서 꼭 A와 B로 테스트하진 않으며 대조군(원본)과 실험군을 2개로 해서 총 3개의 화면을 실험으로 돌릴 수도 있음

 

Google Optimize

• Google Optimize는 구글에서 지원하는 서비스로 Google 시리즈(Google Analytics, GTM 등)와 마찬가지로 무료임
  
  • 기본적으로 A/B 테스트를 할 수 있는 에디터와 테스트 환경(실제 적용하기 전 환경) 제공
  • 실험보고서 또한 받을 수 있음
• Google Optimize는 A/B 테스트 뿐만 아니라 Redirect test(한 페이지로 들어갔을 때 서로 다른 페이지로 랜딩시켜주는 테스트), Multivariate test(A/B 테스트처럼 페이지를 기준으로 실험을 하는게 아닌 화면 요소들을 조합해서 실험하는 방식)를 제공함

• Google Optimize의 장점은 Google Analytics와 연동이 가능하다는 점
  • Google Analytics에서 목표를 설정할 수 있으므로 Google Optimize에서 Google Analytics의 목표를 설정할 수 있고, 또 Google Optimize의 실험 결과를 Google Analytics에서 확인이 가능함

• 보통 A/B 테스트를 만들 때는 원본(실험이 들어가지 않은) 페이지를 기본으로 하고 디자인(CSS), 간단한 기능(Javascript) 등을 추가하거나 수정하는 방향으로 실험을 만듬
  • 이때 Google Optimize는 CSS 혹은 Javascript를 어느정도 알고 있어야 이용이 가능함
  • 반면 Opimizely같은 경우는 비개발자도 충분히 실험을 세팅할 수 있는 에디터를 제공함
• A/B 테스트를 가볍게 사용해보기엔 Google Optimzie이 적합

 

Optimizely

• Optimizely는 전세계적으로 많은 IT 기업들이 사용하는 A/B 테스트 툴로 Google Optimize처럼 무료 플랜도 있지만 제대로 사용하려면 유료 플랜을 사용해야 함

• Optimizely는 비개발자도 A/B 테스트 설정을 쉽게 할 수 있는 에디터를 제공
  • 대부분 A/B 테스트를 설정할 때는 복잡한 코딩이 필요하지 않고 HTML, CSS, 간단한 javascript가 필요한데, Optimizely에서는 코딩없이 작업할 수 있도록 에디터를 지원해줌

• Optimizely는 웹 뿐만 아니라 모바일도 실험을 지원
  • 요새같은 모바일 퍼스트(Mobile-First) 시대에서 대부분 A/B 테스트 툴이 웹만 제공하는 걸 고려하면 굉장히 매력적인 부분
• 이 외에도 타겟 오디언스(실험 대상)들을 정교하게 설정할 수 있음
  • 예를 들어 '장바구니에 상품이 2개 이상 들어있는 모바일 유저'에게는 A 화면을, 그 외 유저에겐 B 화면을 제공할 수 있음
• Optimizely는 다양한 분석 툴(Google Analytics도 가능)과 연동이 가능하고 풍부한 분석 결과를 제공하는등 좋은 기능이 많지만 비용이 만만치 않음

 

Reference

https://www.inflearn.com/course/it-%EA%B0%9C%EB%B0%9C%EC%A7%80%EC%8B%9D#

IT 회사에서 비개발자가 살아남기 위한 모든 개발 지식 A to Z - 인프런 | 강의

https://www.grabbing.me/IT-A-to-Z-By-1e1fbc981b7c4c03ac44943085ac8304

[IT 개발자와 일할 때 필요한 모든 개발지식] A to Z 자료 모음집 By 그랩