본페로니 보정법

실험에서 포함시킨 각 변형안이나 지표를 자체 가설로 생각하십시오. 예를 들어 새 변형을 추가할 때 해당 변형의 변화가 실험 결과에 감지 가능한 영향을 미친다는 가설을 제안합니다.

가장 간단한 실험은 단 하나의 가설만 가지고 있습니다. 단일 가설 검증은 귀중한 인사이트를 제공할 수 있습니다. 그러나 둘 이상의 지표나 변형, 또는 여러 가설을 포함하는 것이 종종 더 효율적이거나 유익합니다.

다중 가설 검정은 다중 비교 문제를 통해 통계적 유의성 계산에 오류를 유발할 수 있습니다. 수행하는 가설 검증의 수가 많을수록 오류가 발생할 확률도 증가합니다.

다중 가설 검증의 문제점

예를 들어, 여러분의 사이트의 ‘지금 구매하기’ 버튼의 색상에 대해 실험을 진행한다고 가정해 보십시오. 사이트의 기본 설정은 파란색이며, 파란색이 컨트롤로 사용됩니다. 녹색(변형 #1)과 보라색(변형 #2)도 테스트하려고 합니다. 각 개별 가설 검정에 대해 거짓 양성률이 0.05(5%)인 경우 귀무가설이 참일 때 통계적으로 유의미한 결과를 찾을 확률은 다음과 같습니다.

1 - 0.95^2 = 0.0975

이 계산은 테스트가 독립적이라고 가정합니다.

충분한 테스트를 실행하면 결국 어떤 경우든 통계적으로 유의미한 결과를 얻을 수 있습니다. 0.05의 거짓 양성률을 보일 때, 20개의 가설 검정 중 하나는 무작위 우연만으로 통계적 유의성을 나타낼 것으로 예상됩니다.

다중 가설 교정은 다음과 같은 질문을 던집니다: 이 통계적으로 유의미한 결과는 우연에 의한 것인가, 아니면 진짜인가?

위양성

오양성률은 대상 구간의 비율입니다.

• 부정적인 사건이 긍정적인 것으로 잘못 설명된 횟수,
• 실제 부정적 이벤트의 총 수입니다.

모든 실험은 거짓 양성 결과를 낼 위험이 있습니다. 위양성은 실험이 어느 방향으로든 결정적인 결과를 보고하지만, 실제로는 변형 간에 아무런 차이가 없을 때 발생합니다.

오양성 결과의 위험은 실험에 추가하는 각 지표 또는 변형에 따라 증가합니다. 이 위험은 각 개별 지표나 변형에 대해 오양성 비율이 동일하게 유지되더라도 증가합니다.

통계 도구는 다중 비교 문제를 보완하고 수정합니다. Amplitude는 본페로니 보정을 사용합니다.

본페로니 보정법

본페로니 보정은 다중 비교 문제를 해결하기 위한 가장 간단한 통계적 방법입니다. 또한 이 방법은 보다 보수적인 방법 중 하나이기도 하며, 다른 기술보다 거짓 음성의 위험이 더 큽니다. 예를 들어 본페로니 보정은 모든 비교에서 p-값의 분포를 고려하지 않습니다. 이는 귀무가설이 모든 가설에 대해 사실일 경우 균일할 수 있습니다.

본페로니 보정은 가족 단위 오류율을 제어하며 신뢰 구간에 적용됩니다. 위의 버튼 색상 예제에서 0.1을 2로 나눈 값은 0.05이며, 이는 목표값입니다. 가족오류율은 통제된 상태로 유지됩니다.

수학적으로 본페로니 보정은 위양성률을 사용자가 실행한 가설 검정 수로 나눕니다. 이는 p-값에 가설 검정의 수를 곱하는 것과 같습니다.

Amplitude 실험은 처리 횟수와 기본 및 보조 지표 수 모두에 대해 본페로니 보정을 수행합니다.

• 본페로니는 둘 이상의 처치가 존재할 때 주요 지표에 적용됩니다.
• 본페로니는 여러 보조 지표 또는 여러 치료법이 존재할 때 보조 지표에 적용됩니다.

두 경우 모두 본페로니 보정을 적용할 때 Amplitude는 유의성 열에 정보 아이콘을 배치합니다. 툴팁에는 수정된 p-값과 수정되지 않은 p-값이 표시됩니다.