베이지안 통계

베이지안 통계학은 한 변형이 다른 변형보다 우수할 확률을 계산하여 그룹을 비교합니다. p-값과 고정 가설 검정에 의존하는 전통적인 방법과는 달리, 베이지안 통계는 팀이 의사 결정을 내리는 방식에 맞춰 직접적인 확률 추정치를 제공합니다.

베이지안 분석의 작동 방식

베이지안 방법론은 실험 결과를 평가하기 위해 세 가지 핵심 개념을 사용합니다.

• 사전 분포: 데이터를 수집하기 전에 매개변수 또는 가설에 대한 초기 기대치입니다. Amplitude 실험은 예상 결과에 대해 중립을 유지하기 위해 정보가 없는 사전 분포를 사용합니다. 이진 지표의 경우 Amplitude는 베타(1,1) 사전 분포를 사용합니다(균일 분포). 연속 지표의 경우 Amplitude는 정보가 없는 정규 사전 분포를 사용합니다.
• 우도: 특정 매개변수 값 집합이 주어졌을 때 수집된 결과를 관찰할 확률입니다. 사용자가 변형과 상호 작용할 때 가능도 함수는 관찰된 데이터를 분석에 통합합니다.
• 사후 분포: 사전 분포와 관찰된 우도를 결합하여 실험 결과에 대한 업데이트된 믿음을 산출한 결과입니다. 사후 분포는 가장 가능성이 높은 값과 해당 추정치에 대한 불확실성을 보여줍니다. 사후 분포는 상대 리프트, 절대 리프트 및 변형 평균을 포함하여 Amplitude 실험의 모든 메트릭의 기초를 형성합니다.

베이지안 방법론을 사용하면 대조 평균과 처리 평균이 다른지 여부를 테스트할 수 있습니다. 임의의 유의성 임계값을 설정하는 대신 가능한 결과의 전체 분포를 검토하고 비즈니스 목표와 위험 허용력에 맞는 결정을 내립니다.

베이지안 통계학은 실험을 학습하고 기대치를 업데이트하는 지속적인 과정으로 간주합니다. 더 많은 데이터를 수집함에 따라 사후 분포가 축적된 지식을 반영하도록 개선됩니다. 이 접근 방식은 시장 변화와 고객 선호도를 기반으로 보다 신속한 의사 결정을 지원합니다.

베이지안 핵심 개념

베이지안 통계를 이해하려면 다음 개념을 검토하십시오.

• 대조군을 능가할 확률: 실험군이 대조군보다 더 나은 성과를 거둘 확률입니다. 이는 진정한 효과가 존재하지 않을 경우에만 결과(또는 더 극단적인 결과)를 볼 가능성을 알려주는 빈도주의 p-값과는 다릅니다. 베이지안 분석은 보다 직관적인 질문에 답합니다: “이 변형이 실제로 더 나을 가능성은 얼마인가요?”
• 신용구간: 실험군 평균과 대조군 평균 간의 차이가 지정된 확률로 존재하는 범위입니다. 빈도 통계학의 신용 구간과 달리 베이지안 신용 구간은 매개변수의 가능성 있는 값을 직접 설명합니다. 95% 신용 구간은 실제 차이가 해당 범위 내에 있을 확률이 95%임을 의미합니다.
• 최고가 될 가능성: 실험에 두 개 이상의 변형이 포함될 때 나타납니다. 이 지표는 각 변형이 다른 모든 변형보다 성능을 발휘할 확률을 보여줍니다. 두 가지 변형만 있을 때, 이 지표는 대조군 대비 승리 확률과 동일합니다.

베이지안 통계를 사용하는 경우

베이지안 방법은 실험 성과에 대한 지속적인 인사이트를 원할 때 유용합니다. 사전 지식을 통합해야 하거나, 더 작은 표본 크기로 의사 결정을 내려야 하거나, “이 변형이 성공할 가능성은 얼마나 됩니까?”와 같은 비즈니스 질문에 직접적으로 답변하는 확률 진술이 필요한 경우에 유용합니다.

간단한 결정 기준을 갖춘 표준 제품 실험을 수행하는 팀의 경우 Amplitude 실험은 기본적으로 순차적 테스트를 수행하며, 이는 강력한 위양성 통제력을 통해 빠른 결과를 제공합니다. 전체 시점에서 베이지안 분석으로 전환하여 실험 결과에 대한 추가 관점을 얻을 수 있습니다.

베이지안 통계 설정

실험에 베이지안 통계를 사용하려면 다음 단계를 완료하십시오.

1. 실험 페이지로 이동하십시오.
2. 기존 실험을 열거나 실험 생성을 클릭합니다.
3. 고급(선택 사항) 설정으로 스크롤한 다음 통계 기본 설정을 클릭합니다.
4. 통계 방법 드롭다운을 클릭하고 베이지안을 선택합니다.

실험이 이미 실행 중인 경우 실험 결과 차트에서 베이지안 분석으로 전환하십시오. 톱니바퀴 아이콘, 통계 방법 순으로 누르고 베이지안을 선택합니다.

우수 확률 임계값 구성

성능 초과 임계값은 0%에서 100%까지 조정할 수 있습니다. Amplitude는 양쪽 꼬리 베이지안 테스트를 수행하므로 이 임계값을 95%로 설정하면 성능을 초과할 확률이 97.5% 이상이거나 2.5% 이하일 때 실험이 유의성에 도달한다는 것을 의미합니다. 이는 95% 신용 구간에 해당합니다.

사후 기반 측정 단위의 작동 방식

베이지안 분석의 모든 측정항목(상대 리프트, 절대 리프트 및 평균값)은 사후 분포에서 비롯됩니다. 예를 들어 노출이 1회이고 전환이 0회인 경우, 사전 분포가 1회의 전환과 1회의 비전환을 더하여 사후 평균 (0+1) / (1 + 1 + 1)을 생성하므로 대조 평균은 33.3%로 표시됩니다.

이전 분포의 영향을 받지 않고 평균을 보려면 분석 섹션에서 지표 위에 커서를 올립니다. 시간별 평균 차트는 누적 보기의 경우 사후 평균을 표시하고 비누적 보기의 경우 데이터의 원시 평균을 표시합니다.

최소 데이터 요구 사항

신용할 수 있는 결과를 생성하기 위해 Amplitude 실험은 신용 구간과 대조군을 이길 확률을 표시하기 전에 최소 임계값을 적용합니다:

• 바이너리 지표: 각 변형에서 최소 25건의 전환과 100건의 노출.
• 수치 지표: 각 변종에서 최소 100건의 노출.

거짓 양성 통제 및 다중 비교

베이지안 통계학은 전통적인 의미에서 거짓 양성 통제를 보장하지 않습니다. 이 방법을 사용할 때 Amplitude는 본페로니 보정을 비활성화합니다. 대신, 베이지안 분석은 예상 손실을 제어하므로 불확실성 하에서 의사 결정에 대해 보다 미묘한 접근 방식을 제공합니다. 이 접근법은 베이지안 다중 비교 방법론에 대한 확립된 연구를 따릅니다.

사용자 정의 사전 확률

각 지표에 대해 세로 점 3개 아이콘을 클릭합니다. 그런 다음 "사전 분포 사용자 지정"을 켭니다. 사전 분포의 매개변수를 설정합니다.

제한 사항

Amplitude Experiment의 베이지안 구현은 CUPED(분산 감소)를 지원하지 않습니다.