무료로 사용이 가능한 A/B 테스트 플랫폼 모음

Google Optimize가 2023년 9월 30일로 서비스가 종료되면서, 많은 사람들이 유료 A/B 테스트 플랫폼을 사용하기 시작했습니다. 물론, A/B 테스트를 제대로 진행하려면 Google Optimize는 적합하지 않았습니다. 그렇기에 Google Optimze가 서비스하는 시절에도 유료 A/B 테스트 플랫폼을 많은 기업에서 사용하고 있었죠.

 

Google Optimize가 좋지 못했던 이유.
Google Optimize는 손쉽게 A/B 테스트를 진행할 수 있는 도구였지만, 치명적인 단점이 있었습니다. 바로 깜빡임(Flickering) 현상이죠. 깜빡임 현상은 유저가 웹페이지에 방문했을 때, 잠깐 원본 페이지가 보인 후 하얀 화면으로 변경된 다음 대안 페이지가 노출되는 현상이었습니다.
즉, 테스트군 유저는 길게는 사이트 접속 후 2~3초 정도가 지나야 페이지를 볼 수 있었고, 이는 곧 실험 대상의 이탈을 야기합니다. Google Optimize는 손쉬운 A/B 테스트가 가능했지만, 신뢰도 있는 데이터를 만들기 어려웠으며, 고객 경험을 해칠 수 있기에 좋지 못했습니다.

 

하지만 소규모 비즈니스는 A/B 테스트를 위해 Optimizely와 같은 플랫폼을 이용하기는 어렵죠. 오히려 소규모 비즈니스라면 무료 플랜이 존재하는 A/B 테스트 플랫폼으로 실험 설계와 리뷰, 재실험 프로세스를 정립한 후 유료 플랫폼을 이용하는 것이 좋습니다. 

 

VWO (Visual Website Optimizer)

cc. VWO

 

• 장점 비주얼 편집기 기능으로 프로그래밍을 몰라도 A/B 테스트를 진행할 수 있다.
• 단점 누적 레이아웃 시프트(CLS) 및 깜빡임(Flickering) 이슈가 존재한다.

 

A/B 테스트 플랫폼 중 VWO는 제한적인 무료 플랜을 제공합니다. 월간 추적 사용자가 5만 명 이내라면 Starter 플랜을 이용해서 무료로 A/B 테스트를 할 수 있습니다. 그리고 VWO는 Google Optimize와 같이 시각 편집 기능이 존재합니다. 즉, 프로그래밍 지식이 없는 마케터도 A/B 테스트를 진행할 수 있죠.

 

하지만 VWO도 단점이 존재하는데, 누적 레이아웃 시프트(CLS) 문제가 있습니다. 사용자가 페이지를 보는 동안 텍스트나, 이미지, 버튼 등 홈페이지 구성 요소가 갑자기 위치가 변동되는 경우가 존재합니다. 이 경우 사용자가 원치 않는 요소를 클릭하게 될 수도 있습니다. 그리고 VWO도 깜빡임 문제가 발생할 수 있습니다.

 

 

PostHog

cc. posthog

 

• 장점 A/B 테스트 외로 분석툴로 좋은 기능을 가지고 있다.
• 단점 학습 시간이 필요하며, 깜빡임(Flickering) 이슈가 발생할 수 있다.

 

PostHog는 오픈소스 분석 플랫폼입니다. 즉, Google Analytics4와 같은 분석툴입니다. 하지만 플랫폼 안에 A/B 테스트 기능(experiments)이 존재합니다. PostHog의 A/B 테스트 기능은 매 월 100만 건까지의 테스팅 요청까지 무료로 사용이 가능합니다. 그리고 기본적으로 분석툴이기 때문에 세그먼트에 대한 타겟팅 (지역/ 유저 속성 등)이 가능합니다.

 

하지만 Google Optimize보다 사용이 어려워 학습하는 시간이 필요합니다. 그리고 PostHog 또한 깜빡임 현상이 존재합니다. 즉, Google Analytics4에 조금 더 어려운 Google Optimize가 탑재된 것과 같습니다.

 

저는 PostHog를 분석툴로 사용하는데, 이유는 A/B 테스트 외로도 설문 등 기능이 포함된 점과 이렇게 투명해도 되는 건가 싶을 정도로 투명한 오픈소스 플랫폼이기 때문입니다.

 

GrowthBook

cc. growthbook

 

• 장점 오픈소스 중 훌륭한 A/B 테스트 서비스를 제공한다.
• 단점 개발자 혹은 개발지식을 반드시 필요로 한다.

 

GrowthBook도 Posthog와 같은 오픈소스 플랫폼입니다. GrowthBook은 무료 플랜에도 무제한 트래픽과 무제한 플래그, 무제한 실험을 제공하고 있기에 굉장히 합리적인 플랫폼입니다. 게다가 cloud plan과 self-host plan으로 A/B 테스트의 적용 방식도 선택이 가능하죠. 다만, 무료 플랜은 시각 편집 기능이 없으며, 고급 기능 (커스텀 실험 필드나 스케줄링 기능 플래그 등)을 사용할 수 없습니다. 

 

GrwothBook도 깜빡임이나 지연 로딩이 발생할 수 있습니다. 하지만 VWO나 Posthog보다는 덜 심하며, 서버 사이드 A/B 테스트를 지원하기 때문에 이러한 문제도 해결할 수 있죠. 다만, 시각 편집 기능이 없기 때문에 원활한 사용에는 프로그래밍 지식이 필요합니다.

 

 

결론

• Google Optimize처럼 시각 편집 기능으로 누구나 쉽게 A/B 테스트를 진행하는 것이 필요하다 👉 VWO
• 프로덕트 분석과 A/B 테스트를 한 번에 해결하고 싶다 👉 PostHog
• 개발자(혹은 개발 지식)가 있으며, 안정적인 A/B 테스트를 진행하고 싶다. 👉 GrowthBook

 

개인적으로는 분석을 위해 PostHog를 사용하지만, 만약 A/B 테스트에 집중한다면 GrowthBook을 쓸 것 같습니다. 하지만 이제 제 블로그는 Wordpress가 아닌, Tistory라서 A/B 테스트를 진행 시 분명 깜빡임(Flickering)이 발생하겠죠.

 

만약 한국어 지원을 하는 서비스로 A/B 테스트 플랫폼을 사용하고 싶다면, 개인적으로 핵클(Hackle)을 추천합니다. 합리적인 가격에 서버 사이드로 지연 로딩도 없었죠. 다만, 개발자분이 있어야 합니다.