표본 비율 불일치: 실험 할당과 관련된 문제 디버그

Amplitude 실험에서 샘플 비율 불일치(SRM)는 변형에 대해 관찰된 할당과 지정된 할당이 상당히 다를 때 발생합니다.

예를 들어, 실험의 트래픽 할당을 대조군과 실험군 간에 균등하게 분할하도록 설정했지만 대조군이 트래픽의 55%를 수신하는 경우 이는 SRM입니다.

SRM은 데이터의 편향성을 가리키며 이를 해결하지 않을 경우 예기치 않은 결과를 초래할 수 있습니다. SRM의 영향을 받는 실험 결과를 신중하게 다루십시오.

SRM의 잠재적 원인은 다음과 같습니다.

• 계측 오류입니다.
• 실험 다음 기간동안 트래픽 할당을 변경합니다.
• 실험 다음 기간동안 변형을 추가하거나 제거합니다.
• 실험 중 sticky bucketing 켜기 또는 끄기.

누적 할당 또는 노출 차트를 사용하면 SRM의 원인을 식별할 수 있습니다. 대조군 및 실험군 시계열이 갈라지는 타임스탬프를 찾으십시오. 원인은 종종 이 시점에 나타납니다.

경우에 따라 변형 점프로 인해 SRM이 발생합니다. 변형 점프는 동일한 사용자가 둘 이상의 변형을 볼 때 발생합니다. 변형 점프는 사용자에게 이미 변형이 할당되어 있는지 확인하기 어려운 인증 패턴과 함께 자주 발생합니다. 예를 들면 다음과 같습니다.

• 세션 수명이 짧은 애플리케이션.
• 익명 사용자가 많은 애플리케이션.

실험의 실제 기간보다 짧은 시간 프레임을 분석할 때 SRM 경고가 표시될 수 있습니다. 전체 실험 창을 분석한 결과도 유사한 경고가 발생하지 않는 경우 이러한 경고를 무시해도 됩니다.

SRM 문제를 확인하려면 분석 탭의 데이터 품질 가이드로 이동하십시오. 구현 및 계측을 선택하여 감지된 SRM 문제의 수를 확인하십시오.

Amplitude 실험에서 샘플 비율 불일치를 디버깅하는 방법에 대해 자세히 알아보십시오.