A/B 테스트를 진행하면 기본적으로 t-검정을 진행하게 됩니다. P-value를 기반으로 실험이 통계적 유의성을 달성했는지 확인하는 과정을 갖죠. 하지만 A/B 테스트의 결과를 도출하는 과정에서 P-value 외에도 베이지안 Bayesian을 채택할 상황도 존재합니다. A/B 테스트 결과 해석에 있어 P-value와 베이지안 접근법은 각각 장단점을 가지고 있습니다. 두 방법론은 데이터를 바라보는 철학적 관점부터 실제 적용 방식까지 상당한 차이를 보입니다. 따라서 테스트의 목적, 데이터의 특성, 그리고 의사 결정의 맥락에 따라 적절한 방법을 선택하는 것이 중요합니다. 모수가 충분하거나, 객관적인 실험 진행이 중요하다면 t-검정 장점 객관적인 실험 결과를 얻을 수 있습니다.장점 모수가 충분하다면 작은 실험을..

네이버 검색광고, 메타 디스플레이 광고, 구글 광고, 그 외 네트워크 배너 광고 등 다양한 광고를 진행하는 비즈니스라면 하나의 문제를 마주하게 됩니다. 광고 리포트를 종합한 보고서를 볼 경우, 구매 데이터가 다른 경우가 발생하는 것이죠. 이런 경우가 발생하는 환경은 크게 두 가지입니다. 첫 번째는 광고 매체를 많이 운영할 때 발생합니다. 두 번째는 광고를 통한 유입과 매출이 많을 경우 생길 수 있는 일이죠. 이런 문제가 발생하는 이유는 간단합니다. 광고 매체의 전환 기간으로 인해 발생하는 것이죠. 온라인 광고 매체는 전환 기간이 존재합니다. 매체사의 광고를 클릭한 후, 일정 기간 이내로 사용자가 전환이 생기면 해당 값을 매체에서 트래킹하는 것이죠. 그리고 전환 기간은 24시간과 72시간으로 설정됩니다. ..

구글은 인공지능으로 작성한 콘텐츠여도 가치가 있다면, 검색 결과에 반영할 것임을 안내한 적이 있습니다. 그리고 크몽에 가보면 AI를 활용한 자동화 블로그 구축을 판매하는 상품이 제법 존재하죠. 그렇다면 인공지능이 작성한 콘텐츠로 블로그를 구성할 경우, 해당 블로그는 성장할 수 있을까요? 크몽에서 판매되는 상품들은 충분히 가치가 있는 상품일까요?  이 부분을 확인하기 위해서는 상품을 구매해서 진행할 수 있지만, 단순 확인을 위한 비용으로는 크기 때문에 직접 구현해서 확인해봤습니다. 인공지능을 활용해 블로그에 포스팅된 콘텐츠와 주제가 겹치지 않게, 주제를 선정하고 자동으로 이미지와 콘텐츠를 생산하도록 하였습니다. 그리고 해당 블로그를 3개월 간 운영한 결과는 노출이 거의 되지 않는다 입니다. 조금 더 직접적..

과거에 인공지능의 발전은 "육체적인 활동"을 대체할 것이라 생각했습니다. 하지만 현재 인공지능의 발전을 보면 "창의적 영역"을 대체하고 있죠. 그렇다면 인공지능은 실제로 사람보다 창의적일까요? 사람들이 만들어온 결괏값을 학습하고, 해당 데이터를 조합해서 도출하는 창의성은 얼마나 우수할까요? 해당 내용에서 재미있는 실험이 있습니다. 실제 사람과 인공지능의 창의성을 실험한 내용이죠. Nature에 기재된 논문 Best humans still outperform artificial intelligence in a creative divergent thinking task>을 볼 경우, 인공지능이 얼마나 창의적인지 엿볼 수 있습니다. 물론 Nature의 실험은 2023년에 진행된 내용으로 GPT-4o에 대한 내..

온라인 광고 매체와 Google Analytics4를 같이 이용하면 자주 발생하는 의구심이 있습니다."왜 광고 성과와 Google Analytics4의 전환값은 다른가?"에 대한 의구심이죠. 물론, 매체적 차이가 있겠으나 명확한 이유를 모른다면 어떤 전환 성과를 신뢰해야 할지 모르는 상황이 오게 됩니다. Google Analytics4와 광고 매체가 전환을 다르게 보여주는 이유는 기여 분석 모델 (Attribution)의 차이입니다. Google은 GA4로 총 3가지의 기여 분석 모델을 지원하고 있습니다. 원래는 7종이었으나, 쿠키리스(Cookie-less)가 적용되면서 2023년 11월부터 3종의 기여 분석 모델을 지원하고 있습니다. 그렇다면 Google Analytics4와 온라인 광고 매체의 기여 ..

이전부터 도메인 지수가 높은 사이트가 공통적으로 겪는 문제가 하나 있습니다. 바로 내부 검색을 활용한 스팸 검색 노출이 발생하고 있는  겁니다. 이러한 내부 검색 스팸 방식은 국내를 넘어 해외 사이트에서도 동일하게 적용되고 있으며, 아래와 같은 형식으로 불법 광고가 이뤄지고 있습니다. 실제로 wordpress 문의 중 사이트 내부 검색을 활용한 스팸에 대해 문의하는 글이 종종 올라옵니다. 문제는 wordpress로 만들어진 사이트가 아닌, 모든 사이트가 불법 광고의 대상이 될 수 있습니다. 그렇다면 이러한 스팸 방식을 막을 수 있을까요? 결론부터 말씀드리면, 상황에 따라 다릅니다. 사이트 내부 검색을 활용한 스팸은 robots.txt로 막을 수 있습니다. 하지만 검색 결과가 중요한 이커머스 플랫폼이라면 ..

AB테스트란 서비스의 일부분 혹은 전체를 교체하기 전, 랜덤한 특정 모수를 대상으로 개선안을 먼저 보여줘 의도된 효율을 만들 수 있는지 확인하는 실험을 말합니다. 보통은 랜딩페이지를 수정하거나, 서비스의 UX/UI를 수정하는 등 다양한 방면에서 AB테스트가 사용되고 있죠. 그리고 AB테스트의 사례를 보면 굉장히 매력적입니다. 글자나 배너의 색상을 바꿨는데 매출이 늘었거나, CTA 텍스트를 바꾸니 가입자가 증가하는 등의 사례를 확인할 수 있습니다. 하지만 우리 비즈니스에서 동일하게 색상을 교체하거나, 텍스트를 바꾼 경우 실험의 결과값(p-value 달성)을 얻기 힘듭니다. 왜냐면 위 사례는 대체로 빅테크 기업의 사례이기 때문이죠. 그렇다면 우리는 왜 AB테스트로 효과적인 결과값을 얻지 못할까요? 우리 A/..

Google Analytics4를 사용하다 보면, 이상한 점을 몇 가지 발견합니다. 하나는 실시간 보고서에서 데이터가 있어도, 탐색에서 보고서로 구성하면 없다고 나타나는 경우가 있입니다. 그리고 두 번째는 어느순간 GA4 화면에 주황색 경고등과 "기준점 적용됨"이 존재하는 것이죠. 두 가지 문제는 모두 소수 데이터를 보여주지 않는 Data Threshold(데이터 기준점)가 적용됐기 때문입니다. 그렇다면 데이터 기준점은 무엇이고 이를 해결할 수 있는 방법은 무엇이 있을까요? Data Threshold(데이터 기준점)가 GA4에 추가된 이유개인정보보호를 위해서 존재합니다.소수의 데이터로 개인을 특정하는 것을 방지GA4는 기존 웹에 특화된 Universal Analytics에서 모바일 환경 등 다양한 디바이..