통계적 추론을 위한 순차 테스트

실험에서는 통계적 추론에 대한 순차적 테스트 방법을 사용합니다. 순차적 테스트를 사용하면 결과를 볼 때마다 유효하게 유지할 수 있습니다. 그 시점까지 이루어진 관찰을 기반으로 실험을 일찍 종료할 수 있습니다. 정보에 입각한 결정을 내리는 데 필요한 관측값의 수는 평균적으로 T 검정 또는 유사한 절차를 통해 필요한 수보다 훨씬 적습니다. 신속하게 실험하고, 배운 내용을 제품에 통합하며, 실험 프로그램의 속도를 높일 수 있습니다.

순차 테스트는 T 테스트에 비해 몇 가지 장점이 있습니다. 기본적으로, 실험을 시작하기 전에 유의성을 달성하는 데 필요한 관측값 수를 알 필요가 없습니다. 이진 지표와 연속 지표에 대해 순차 테스트와 T 테스트를 모두 사용할 수 있습니다. 중심 한계 정리 가정에 영향을 미치는 긴 꼬리 분포에 대해 우려가 있는 경우 이상값에 대한 이 문서를 참조하십시오.

충분한 시간이 주어진다면 순차 테스트 방법의 통계적 파워는 1입니다. 감지할 효과 크기가 있는 경우 이 접근법을 통해 감지할 수 있습니다.

이 문서에서는 순차 테스트의 기초, Amplitude 실험에 어떻게 적용되는지, 그리고 어떻게 활용할 수 있는지 설명합니다.

Amplitude 실험에서의 가설 검증

A/B 테스트를 실행할 때 실험에서는 무작위 대조 시험을 사용하여 가설 테스트를 수행합니다. 이 시험에서 Amplitude는 사용자를 실험군 또는 대조군 중 하나에 무작위로 할당합니다. 대조군은 현재 상태의 제품을 나타냅니다. 각 실험 변수에는 현재 기준 제품에 대한 일련의 잠재적 변경 사항이 포함됩니다. 실험에서는 미리 정해진 지표와 검정 통계량을 사용하여 이 두 모집단의 성과를 비교합니다.

가설 검정에서는 대조군과 실험 변수 대상 구간 성능 차이를 찾습니다. Amplitude 실험은 귀무가설을 테스트합니다.

$$ H_0:\ \delta = 0 $$

조건 $$ \delta = \mu_{\text{treatment}} - \mu_{\text{control}} $$

는 처리군 평균과 대조군 평균 사이에 차이가 없다고 말합니다.

예를 들어, 처치 변형의 전환율을 측정하려고 한다고 가정해 보겠습니다. 귀무가설은 실험군과 대조군의 전환율이 동일하다고 가정합니다.

대립 가설은 처치와 대조군 대상 구간에 차이가 있다고 말합니다. 실험의 통계 모델은 순차적 테스트를 사용하여 처치와 대조군 대상 구간 전체 차이를 찾습니다.

다양한 순차 테스트 옵션이 있습니다. Amplitude 실험은 혼합 순차 확률비 테스트(mSPRT)라고 불리는 일련의 순차 테스트를 사용합니다. 가중치 함수 H는 혼합 분포입니다. 귀무가설에 대한 다음의 우도비 혼합은 다음과 같습니다.

자주 묻는 질문