A/B 테스트에서 t-검정과 베이지안 중 무엇이 중요할까?

A/B 테스트를 진행하면 기본적으로 t-검정을 진행하게 됩니다. P-value를 기반으로 실험이 통계적 유의성을 달성했는지 확인하는 과정을 갖죠. 하지만 A/B 테스트의 결과를 도출하는 과정에서 P-value 외에도 베이지안 Bayesian을 채택할 상황도 존재합니다.

 

A/B 테스트 결과 해석에 있어 P-value와 베이지안 접근법은 각각 장단점을 가지고 있습니다. 두 방법론은 데이터를 바라보는 철학적 관점부터 실제 적용 방식까지 상당한 차이를 보입니다. 따라서 테스트의 목적, 데이터의 특성, 그리고 의사 결정의 맥락에 따라 적절한 방법을 선택하는 것이 중요합니다.

 

모수가 충분하거나, 객관적인 실험 진행이 중요하다면 t-검정

 

• 장점 객관적인 실험 결과를 얻을 수 있습니다.
• 장점 모수가 충분하다면 작은 실험을 진행해도 결과를 얻을 수 있습니다.
• 단점 모수가 부족하다면 실험 진행이 불가능합니다.
• 단점 표본 분산의 실패 시, 실험의 신뢰성을 잃으며, 이분법적인 형태로 결과의 단순화를 만들 수  있습니다.

 

일반적으로 A/B 테스트는 t-검정으로 P-value를 채택하는 실험을 진행하게 됩니다. 일반적인 A/B 테스트는 빈도주의적 접근으로 진행됩니다. 이는 곧, 사전의 정보나 지식을 활용하는 것이 아니라 실험에서 발생한 수치로 결과를 해석하기에 객관적인 실험이 가능합니다. 게다가 t-검정을 진행할 경우, 모수가 충분히 크다면 작은 변화로도 유의미한 결과를 확인할 수 있죠.

빈도주의적으로 진행되는 t-검정에서 확률은 실험에서 일어나는 일의 빈도수를 의미하게 됩니다.

 

cc. design by freepik.com

 

t-검정의 장점은 객관적인 실험 결과를 얻는 점입니다. 하지만 그에 반대로 단점도 존재하는데, 모수가 충분하지 못하다면 통계적 유의성 P-value을 달성하지 못할 수 있습니다. 이 경우에는 실험을 진행해도 결과를 얻지 못하는 것이죠. 그 외에도 몇 가지 단점이 존재합니다. 만약 두 표본의 분산이 동일하지 못할 경우 실험의 신뢰성을 잃습니다. 그리고 t-검정은 통계적 유의성 달성/미달성으로 실험을 판단하는 결과의 단순화를 불러올 수도 있습니다.

 

즉, A/B 테스트를 진행할 때에는 표본의 특성이 최대한 유사한지, 환경의 유사성, 표본의 수 등을 고려해야 하며, 실험을 완료한 후에는 후속 실험으로 실험 결과를 다시금 검증하거나, 세부적인 리뷰로 결과에 대한 요류를 줄여야 합니다.

그럼에도 A/B 테스트는 대체로 이분법적인 결괏값을 나타내기에 우리는 t-검정을 많이 이용하게 됩니다.

 

모수가 적거나, 사전 정보를 활용한다면 베이지안

 

• 장점 사전정보를 활용하기에 적은 모수로도 실험의 결과를 얻을 수 있다.
• 장점 빈도주의 실험에 대립 가설 증거 제시로 활용될 수 있다.
• 단점 주관적인 영향으로 잘못된 실험 결과를 채택할 수 있다.
• 단점 사전 정보가 실제 실험에 적합하지 않은 경우, 잘못된 결과를 만들 수 있다.

 

A/B 테스트에는 사실 t-검정이 적합합니다. 하지만 t-검정만 A/B 테스트의 결과를 말할 수 있는 건 아닙니다. 베이지안은 빈도주의와 달리 사건의 확률을 믿음이나 의지에 기반하는 것으로 생각합니다. 즉, 사전의 정보 데이터를 기반으로 이후 사후 확률이 어떻게 업데이트되는지 볼 수 있습니다. 그리고 사정 정보를 활용하기에 모수가 적어도 실험의 결과를 도출할 수 있습니다. 그 외로도 t-검정의 대립 가설 증거를 제시하는 것으로 베이지안을 사용할 수도 있죠.

 

cc. design by freepik.com

 

베이지안의 가장 큰 장점은 어떤 상황이라도 확률로 수치화 시킬 수 있는 점에 있습니다. 물론, 베이지안도 단점이 존재합니다. 사전 정보를 채택하는 만큼 객관적이지 못하고 주관적인 결과 선택이 이뤄질 수 있습니다. 그리고 사전 정보 데이터가 실제 실험 모델에서는 적합하지 않다면 실험의 결과 해석 자체가 잘못될 수 있죠. 

 

즉, 적은 모수로 실험을 진행하게 된다면 사전 정보를 잘 취합해서 베이지안을 계산하면 t-검정으로 못한 결과 도출을 진행할 수 있습니다. 하지만 사전 정보가 실제 실험과 어느 정도 일치할 수 있는지, 주관적인 바람이 개입된 것은 아닌지 주의할 필요가 있습니다.

베이지안 또한 사전 정보를 바탕으로 사후 확률의 변화를 보는 것이기에 재실험으로 타당성을 볼 수도 있습니다.

 

t-검정과 베이지안은 같이 검토해야 합니다.

사실 t-검정과 베이지안은 같이 고려해서 검토해야 합니다. t-검정은 실험 자체의 유효성을 검증할 수 있으며, 베이지안은 실험 전후를 기반으로 유효성을 검증할 수 있죠. 만약 실험에서는 통계적 유의성이 달성됐으나, 사전 데이터에 실험 데이터를 추가할 경우, 더 안 좋은 결괏값이 나타난다면 실험을 다시금 계획해 볼 필요가 있죠.

 

하지만 단순히 하나의 실험만 진행한다면 확실한 사전정보가 존재하는가, 모수는 충분한가 등을 기반으로 어떤 방법론의 실험이 진행될 것인지 선택해도 좋습니다. 중요한 것은 하나의 실험을 완료하는게 아닌, 실험의 결과를 반복 실험해 신뢰성을 확보하는 것입니다.