T 검정을 사용하여 실험 데이터를 분석하십시오.

T 검정은 두 데이터 집단의 평균을 비교하여 차이가 통계적으로 유의미한지 여부를 결정합니다. Amplitude는 데이터 세트에 대해 몇 가지 가정을 하는 웰치의 T 검정을 사용합니다.

중앙 제한 정리는 지표에 적용됩니다.
두 모집단도 동일한 분산을 공유하지 않습니다.
기간 추정기에 의해 지정된 표본 크기에 도달할 때까지 T 검정을 실행하지 않습니다.

Z 테스트를 찾고 계신가요?

T 테스트는 Z 테스트와 동일한 옵션을 많이 지원합니다.

다음 중 하나로 T 검정을 수행하십시오.

양측: 양방향으로의 지표 변경 사항을 찾습니다.
단측: 증가 또는 감소를 찾지만 둘 다를 찾지는 않습니다.

T 테스트는 이진 및 연속 메트릭 모두에 대해 작동합니다.

양측 검정은 통계적으로 유의미한 증가 또는 감소를 명시적으로 나타내지 않지만 단측 검정은 그렇습니다. [증가]를 선택하면 신뢰 구간의 상한값은 양의 무한대입니다. 감소의 경우 신뢰 구간의 하위 경계는 음의 무한대입니다.

Amplitude가 T-테스트 결과를 계산하는 방법

각 변형에 대해 Amplitude는 표본 평균, 표본 분산 및 표본 크기를 계산합니다. 그런 다음 풀링되지 않은 웰치 T 검정을 사용하며, 이 검정은 그룹이 동일한 분산을 갖는다고 가정하지 않습니다.

풀링되지 않은 웰치 T 통계

구문

t = \frac{\bar{Y} - \bar{X}}{\sqrt{\frac{s_1^2}{N_1} + \frac{s_2^2}{N_2}}}

\bar{Y} 및 \bar{X}는 표본 평균이고, s_1^2 및 s_2^2 는 표본 분산이며, N_1 및 N_2 는 표본 크기입니다.

웰치-새터스웨이트 자유도

구문

\nu = \frac{\left(\frac{s_1^2}{N_1} + \frac{s_2^2}{N_2}\right)^2}{\frac{\left(\frac{s_1^2}{N_1}\right)^2}{N_1 - 1} + \frac{\left(\frac{s_2^2}{N_2}\right)^2}{N_2 - 1}}

\nuAmplitude는 웰치-새터스웨이트 자유도를 사용하여 p값과 신뢰 구간에 대한 T 분포를 선택합니다.

신뢰 구간의 경계

구문

\text{하한} = (\bar{Y} - \bar{X}) - t_{1 - \alpha/2, \nu}\sqrt{\frac{s_1^2}{N_1} + \frac{s_2^2}{N_2}}

\text{상한값} = (\bar{Y} - \bar{X}) + t_{1 - \alpha/2, \nu}\sqrt{\frac{s_1^2}{N_1} + \frac{s_2^2}{N_2}}

\alpha 는 거짓 양성률이며 t_{1 - \alpha/2, \nu}T 임계값입니다. 단측 테스트의 경우 Amplitude는 테스트가 평가하지 않는 방향으로 무제한의 간격을 사용합니다.

이진 지표의 경우 분산은 p(1-p)입니다. 여기서 p는 성공적인 결과를 얻은 사용자의 비율입니다. 연속적인 숫자 지표의 경우 Amplitude는 샘플 평균의 제곱 차이의 합계로부터 샘플 분산을 계산합니다sum((x_i - mean)^2) / (n - 1). 윈소리화를 구성하는 경우 Amplitude는 평균과 분산을 계산하기 전에 구성된 하한값과 상한값을 사용자별 값에 적용합니다.

비율 지표의 경우 Amplitude는 비율의 분산을 계산할 때 Cov[X,Y] = 0가정합니다. 분자와 분모가 상관관계가 있는 경우, 이 가정은 보고된 불확실성에 영향을 줄 수 있습니다.

실험을 아직 실행하지 않았거나 표본 크기가 충분히 큰 경우 T 검정 대신 순차 검정을 사용하십시오. 이 블로그에서 테스트 옵션의 차이점에 대해 자세히 알아보십시오.

T 테스트 설정 구성

설정 탭에서 T 테스트 설정에 액세스합니다. 필요한 설정은 실행하려는 T-테스트 유형과 지표가 이동하려는 방향에 따라 다릅니다. T 테스트를 구성하려면 다음을 수행하십시오.

[목표] 패널을 편집한 다음 지표에 대해 증가 또는 감소를 선택합니다.
분석 설정 패널을 엽니다. Stats Preferences > 고급옵션으로 이동합니다. T 테스트 통계 방법을 선택합니다. 실행하려는 T-테스트 유형에 따라 단측 또는 양측 중 하나를 선택하십시오. 예를 들어, 증가를 찾는 양측 T-검정을 실행하려면 통계 설정에서 기본 지표의 증가 및 양측 T-검정을 선택합니다.
변형당 필요한 샘플 수에 필요한 사용자 수를 입력합니다. 변형당 샘플에 입력해야 할 샘플 크기를 모르는 경우 Amplitude의 기간 추정기를 사용하십시오. 자세한 내용은 기간 추정기를 사용한 실험 계획에 관한 도움말 센터 문서를 참조하십시오.

T 검정은 먼저 특정 오양성 및 오음성률에 대해 제어해야 하는 표본 크기를 계산합니다. 표본 크기 임계값에 도달하기 전에 데이터를 분석하면 오류율이 증가합니다. 이 문서를 참조하여 피킹이 실험 과정을 방해할 수 있는 방법에 대한 자세한 설명을 확인하세요.

저장을 선택하여 통계 설정을 T-검정으로 변경합니다.

T 검정에 필요한 표본 크기 관리

T 검정을 실행하기 전에 최소 샘플 크기에 도달해야 합니다. 실험은 데이터 세트가 너무 작을 경우 경고를 표시합니다.

누적 노출 그래프와 해당 테이블은 표본 크기 요구 사항을 보여줍니다. 그래프에는 표본 크기 목표라는 이름의 상수 점선이 표시되어 있으며, 이는 각 변형에 필요한 총 사용자 수를 나타냅니다. 그래프 옆의 표는 각 변형에 여전히 필요한 사용자 수를 나타내는 남은 노출량을 강조표시합니다. 이 정보는 T 검정을 실행하기 전에 필요한 사용자 수를 확인하고 T 검정을 사용하여 결과를 해석하기 전에 실험에 필요한 예상 시간을 제공합니다.

필요한 표본 크기에 도달한다고 해서 통계적으로 유의미한 결과가 보장되는 것은 아닙니다. 예를 들어 리프트가 MDE보다 작으면 결과가 통계적으로 유의미하지 않은 경우가 많습니다.

Amplitude가 결과를 계산할 때

Amplitude는 두 변형이 모두 N >= exposure_target

를 충족할 때만 p-값과 신뢰 구간을 계산합니다.

자주 묻는 질문

이 섹션은 퍼널 분석 차트의 A/B 테스트에 적용됩니다. 이 섹션은 실험 결과 차트나 Amplitude 실험의 end-to-end experimentation에는 적용되지 않습니다.

Amplitude는 기준선에 비해 개선된 사항을 어떻게 계산합니까?

기준선 대비 개선은 기준선(B)의 평균에 대한 변형(A)mean(A) / mean(B)의 평균 비율입니다.

각 그룹에 대해 Amplitude는 평균을 다음과 같이 k / n계산합니다. 여기서 k는 전환 수이고 n는 표본 크기입니다.

계산에서 합계 대신 고유 변환을 사용하는 이유는 무엇입니까?

Amplitude는 통계적 유의성을 확인할 때 합계 대신 고유 전환을 사용합니다. 합계는 퍼널에서의 사용자의 행동에 대해 잘못된 가정을 합니다. 총계는 사용자가 퍼널에 들어갈 때마다 이전 시점과 독립적이라고 가정합니다. 이 가정은 통계적 유의성을 계산할 때는 유효하지 않지만, 합계는 여전히 실험 결과 차트 또는 종단 간 Amplitude 실험의 다른 분석에 도움이 될 수 있습니다.

Amplitude는 어떻게 통계적 유의성을 계산합니까?

Amplitude는 표준화된 통계 방법을 사용하여 통계적 유의성을 계산합니다. 사용되는 방법은 기능에 따라 순차 테스트 또는 양측 T-검정으로 나뉩니다. 기본적으로 Amplitude 실험과 실험 결과 차트는 순차 테스트를 사용하며, 퍼널 분석 차트는 양측 T-검정을 사용합니다. 분석을 비교할 때 다른 테스트 방법을 사용하는 차트 간에 p-값이 일치하지 않을 수 있습니다.

두 방법 모두에서 Amplitude는 기본적으로 5%의 거짓 양성 비율을 사용합니다. 유의성에 대한 임계값은 (1 - p_value) > 95%입니다. Amplitude 실험에서 거짓 양성률을 변경할 수 있습니다. 퍼널 분석 차트에서는 이를 변경할 수 없습니다.

거짓 양성을 줄이기 위해 Amplitude는 유의성을 선언하기 전에 최소 샘플 크기를 요구합니다: 각 변형에 대해 30개의 샘플, 5개의 전환 및 5개의 비전환. Amplitude는 이러한 최소값을 충족하지 않는 테스트를 통계적으로 유의미하지 않은 것으로 자동으로 처리합니다.

이 내용이 도움이 되었나요?