과거 TVCM이나 신문 지면 광고, 라디오 등 ATL 위주의 매체 세상에서는 데이터 분석이라는 것이 크게 존재하지 않았습니다. 데이터 분석은 라는 직감적인 부분이었고, 사실 잘 맞았습니다. 당시에는 고객들의 보는 매체가 비슷했기 때문이죠. 실제로 어릴 때만 해도 저녁에 온 가족이 TV 앞에 모여 있었습니다. 남녀노소 모두가 같은 매체를 보고, 같인 광고를 보게 됩니다. 그리고 대부분의 사람들이 TV를 보거나, 라디오를 듣거나, 신문을 읽었죠.  즉, 과거 ATL 광고는 굉장히 높은 도달률을 가지고 있었고, 성공적인 마케팅 캠페인이 나올 수 있는 기초가 있었습니다. 하지만 지금은 다릅니다. 사람들은 같은 공간에 있어도 스마트폰으로 다른 매체를 보고, 매체에서도 개인에 맞춘 콘텐츠와 광고를 제공하죠. 매체에..

해적지표라는 AARRR 퍼널은 PayPal과 Simplyhired에서 마케팅을 담당한 데이브 맥클루어(Dave McClure)가 2007년 Ignite Seattle 행사에서 "Startup Metrics for Pirates: AARRR!”이라는 제목으로 처음 이 개념을 발표했습니다.   AARRR 지표는 오랫동안 스타트업 및 여러 비즈니스에서 활용되고 있고, 마케터 및 PM의 기초지식으로 여겨집니다. 하지만 최근 소비자의 구매 여정이 복잡해지면서 AARRR은 시대에 맞지 않다는 의견도 존재하죠. 그럼에도 AARRR 퍼널은 비즈니스에서 반드시 필요합니다. AARRR 퍼널(해적지표)는 무엇이고 왜 필요한가AARRR 퍼널이 있으면, 데이터 측정과 개선, 그리고 전략 설정의 기준이 됩니다. AARRR은 소비..

Google Optimize가 2023년 9월 30일로 서비스가 종료되면서, 많은 사람들이 유료 A/B 테스트 플랫폼을 사용하기 시작했습니다. 물론, A/B 테스트를 제대로 진행하려면 Google Optimize는 적합하지 않았습니다. 그렇기에 Google Optimze가 서비스하는 시절에도 유료 A/B 테스트 플랫폼을 많은 기업에서 사용하고 있었죠. Google Optimize가 좋지 못했던 이유.Google Optimize는 손쉽게 A/B 테스트를 진행할 수 있는 도구였지만, 치명적인 단점이 있었습니다. 바로 깜빡임(Flickering) 현상이죠. 깜빡임 현상은 유저가 웹페이지에 방문했을 때, 잠깐 원본 페이지가 보인 후 하얀 화면으로 변경된 다음 대안 페이지가 노출되는 현상이었습니다.즉, 테스트군 ..

A/B 테스트를 진행하면 기본적으로 t-검정을 진행하게 됩니다. P-value를 기반으로 실험이 통계적 유의성을 달성했는지 확인하는 과정을 갖죠. 하지만 A/B 테스트의 결과를 도출하는 과정에서 P-value 외에도 베이지안 Bayesian을 채택할 상황도 존재합니다. A/B 테스트 결과 해석에 있어 P-value와 베이지안 접근법은 각각 장단점을 가지고 있습니다. 두 방법론은 데이터를 바라보는 철학적 관점부터 실제 적용 방식까지 상당한 차이를 보입니다. 따라서 테스트의 목적, 데이터의 특성, 그리고 의사 결정의 맥락에 따라 적절한 방법을 선택하는 것이 중요합니다. 모수가 충분하거나, 객관적인 실험 진행이 중요하다면 t-검정 장점 객관적인 실험 결과를 얻을 수 있습니다.장점 모수가 충분하다면 작은 실험을..

AB테스트란 서비스의 일부분 혹은 전체를 교체하기 전, 랜덤한 특정 모수를 대상으로 개선안을 먼저 보여줘 의도된 효율을 만들 수 있는지 확인하는 실험을 말합니다. 보통은 랜딩페이지를 수정하거나, 서비스의 UX/UI를 수정하는 등 다양한 방면에서 AB테스트가 사용되고 있죠. 그리고 AB테스트의 사례를 보면 굉장히 매력적입니다. 글자나 배너의 색상을 바꿨는데 매출이 늘었거나, CTA 텍스트를 바꾸니 가입자가 증가하는 등의 사례를 확인할 수 있습니다. 하지만 우리 비즈니스에서 동일하게 색상을 교체하거나, 텍스트를 바꾼 경우 실험의 결과값(p-value 달성)을 얻기 힘듭니다. 왜냐면 위 사례는 대체로 빅테크 기업의 사례이기 때문이죠. 그렇다면 우리는 왜 AB테스트로 효과적인 결과값을 얻지 못할까요? 우리 A/..