퍼널 분석 차트에서의 A/B 테스트

Amplitude에서 A/B 테스트를 사용하면 둘 이상의 사용자 세그먼트의 퍼널 전환 성능을 서로 비교할 수 있습니다. 결과를 기준선과 비교하여 세그먼트의 성과를 설명하는 개선으로 보거나, 대조군과 실험군의 평균이 동일하다고 가정할 때 관찰된 것만큼 극단적인 차이를 관찰할 가능성을 보여주는 통계적 유의성으로 보십시오.

기본적으로 Amplitude는 퍼널 분석에 추가된 첫 번째 세그먼트를 기준선으로 사용합니다. 기준선 세그먼트 드롭다운 메뉴에서 이 설정을 변경합니다.

A/B 테스트 - 개선

이 차트는 귀하의 퍼널에 있는 모든 단계에서 각 세그먼트의 전환율을 보여줍니다. A/B 테스트에는 여러 개의 변형을 포함할 수 있지만, 대조군은 하나만 설정할 수 있습니다.

A/B 테스트 – 유의성

이 차트에서 변형의 값이 높으면 기준선보다 더 좋은 전환율을 보인다는 것을 의미합니다. 값이 낮으면 그렇지 않다는 것을 의미합니다.

Amplitude는 결과가 다음 조건을 충족할 때 통계적 유의성이 있다고 간주합니다.

• 두 변형 모두에 대해 샘플 크기가 30 이상입니다.
• size * conversion rate >= 5 및 sample size * (1-conversion rate) >= 5 두 변형에 대한 샘플.
• 유의성은 95% 이상입니다.

자세한 내용은 Amplitude가 통계적 유의성을 계산하는 방법을 참조하십시오.

세부 분석 테이블을 이해하십시오

차트 아래의 데이터 테이블은 데이터를 분류합니다. Amplitude의 모든 데이터 테이블과 마찬가지로 데이터를 CSV 파일로 내보낼 수 있습니다. 열에는 다음이 포함됩니다.

• 카운트: 퍼널에 진입한 사용자 또는 그룹의 수입니다.
• 변환됨: 모든 조건이 충족된 상태로 퍼널의 모든 단계를 완료한 사용자 또는 그룹의 수입니다.
• 전환율(%): 전환된 사용자 또는 그룹의 수를 퍼널에 참여한 사용자 또는 그룹의 수로 나눈 값입니다.
• 기준선 대비 개선율 %: Amplitude는 이 값을 방정식으로 계산합니다(% conversion for that variant - % conversion for the baseline) / (% conversion for the baseline). 값이 양수일 때 데이터 테이블의 백분율은 녹색입니다.
• 유의성: 각 테스트 변형에 대해 표시된 성능이 데이터의 무작위 변동 때문이 아니라 실제로 0과 다를 가능성입니다. 이 값이 높을수록 결과에 대해 더 확신할 수 있습니다. 더 엄밀하게 말하면, 이것은 1 - p-value입니다.