AB테스트란 서비스의 일부분 혹은 전체를 교체하기 전, 랜덤한 특정 모수를 대상으로 개선안을 먼저 보여줘 의도된 효율을 만들 수 있는지 확인하는 실험을 말합니다. 보통은 랜딩페이지를 수정하거나, 서비스의 UX/UI를 수정하는 등 다양한 방면에서 AB테스트가 사용되고 있죠. 그리고 AB테스트의 사례를 보면 굉장히 매력적입니다. 글자나 배너의 색상을 바꿨는데 매출이 늘었거나, CTA 텍스트를 바꾸니 가입자가 증가하는 등의 사례를 확인할 수 있습니다. 하지만 우리 비즈니스에서 동일하게 색상을 교체하거나, 텍스트를 바꾼 경우 실험의 결과값(p-value 달성)을 얻기 힘듭니다. 왜냐면 위 사례는 대체로 빅테크 기업의 사례이기 때문이죠. 그렇다면 우리는 왜 AB테스트로 효과적인 결과값을 얻지 못할까요? 우리 A/..