표본 비율 불일치

Amplitude 실험에서 샘플 비율 불일치(SRM)는 관찰된 변형 할당이 지정된 할당과 크게 다를 때 발생합니다. 예를 들어 실험 트래픽의 50%를 제어용, 50%를 처리용으로 할당했지만 제어용은 55%이고 처리용은 45%입니다.

SRM은 데이터의 편향성을 지적하며 이를 해결하지 못할 경우 예기치 않은 결과를 초래할 수 있습니다. SRM이 있는 모든 실험의 결과는 의심스러운 것으로 취급하십시오.

Amplitude는 SRM을 탐지하기 위해 순차적 버전의 카이제곱 테스트를 alpha = .01와 함께 사용합니다.

이 가이드에서는 SRM의 원인을 가장 일반적인 것부터 가장 드문 것 순으로 설명하고 각 원인을 디버깅하는 방법을 설명합니다. 이 가이드에서는 사용자가 엔드투엔드 실험 제품을 사용한다고 가정하지만, 이러한 단계 중 많은 부분을 실험 결과에 설정된 실험에 적용할 수 있습니다.

Amplitude 노출 이벤트 대 사용자 정의 노출 이벤트

Amplitude는 Amplitude 노출 이벤트를 권장합니다. 클라이언트 측 SDK에서 Amplitude는 Amplitude가 변형을 가져올 때가 아니라, 변형이 캐시에서 로드될 때 노출 이벤트를 자동으로 추적합니다. 로컬 평가는 할당 이벤트를 생성하지 않으므로 사용자 정의 노출 이벤트를 사용해야 합니다.

사용자 지정 노출 이벤트를 사용하는 경우 사용자가 변형을 경험할 때 이를 전송하십시오. 사용자 정의 노출 이벤트는 할당 전에 발생할 수 있습니다. 이 경우 사용자 속성이 아직 설정되지 않았으며 Amplitude는 초기 사용자 지정 노출 이벤트를 분석에서 노출로 계산하지 않습니다. Amplitude 노출 이벤트는 추가 비용이 들지 않습니다.

실험 도중 변형 분포 가중치가 변경됨

모범 사례로서, 사용자가 변형 대상 구간 이동하도록 유도하는 방식으로 실행 중인 실험을 변경하지 않는 것이 좋습니다. 이와 같은 변경 사항은 SRM을 유발할 수 있습니다.

예를 들어 50% 실험군 / 50% 대조군을 60% 실험군 / 40% 대조군으로 변경하면 실험이 진행되는 동안 사용자가 변형 대상 구간 이동할 수 있습니다. SRM 테스트는 실험이 실행되는 동안 트래픽 할당이 변경되지 않는다고 가정합니다. 실험 도중에 트래픽 할당을 변경해서는 안 되는 이유에 대한 자세한 내용은 Amplitude 실험에서의 누적 노출 그래프 해석을 참조하십시오.

분석 기간이 시작되기 전에 실험 노출이 시작됨

한 변형으로 인해 사용자가 제품을 더 많이 방문하게 되는 경우 노출 창과 분석 창이 일치하지 않을 때 해당 변형에 예상보다 많은 사용자가 표시될 수 있습니다.

분석 기간과 트래픽 기간이 다르면 분석 기간을 전체 트래픽 기간을 포함하도록 변경하고 SRM이 유지되는지 확인하십시오.

변형 점프

변형 점프는 사용자가 한 변형에서 다른 변형으로 이동하는 경우를 말하며, 때로는 여러 회 이동하는 경우도 있습니다. 변형 점프는 지표를 특정 변형에 속시키는 것을 어렵게 만듭니다. Amplitude Experiment의 내장 진단 기능에는 변형 대상 구간 이동하는 사용자의 비율을 추적하는 차트가 포함되어 있습니다.

사용자가 변형 대상 구간 이동하는 경우 원인이 익명 사용자(로그인과 로그아웃을 자주 하는 사용자)인지 아니면 장치 ID가 변경되었는지 확인하십시오. 사용자 스트림에서 이 내용을 검토하십시오.

모범 사례로서, 사용자가 변형 대상 구간 이동하도록 유도하는 방식으로 실행 중인 실험을 변경하지 않는 것이 좋습니다. 이와 같은 변경 사항은 SRM을 유발할 수 있습니다.

한 변형에 대해 할당에서 노출로 전환된 사용자가 훨씬 많음

할당-노출 퍼널 차트는 실험의 진단 카드에서 확인할 수 있습니다. 이 계산기에 전환율과 샘플 크기를 입력하여 메트릭이 95% 수준에서 통계적으로 유의미한지 확인하세요. 할당 이벤트가 사용자를 무작위로 할당된 두 개의 동등한 코호트로 분할하므로 변형 대상 구간 전환율은 무작위 첫 사용 후 비슷해야 합니다. Amplitude는 사용자가 변형을 경험하기 직전에 노출 이벤트를 전송하므로 사용자는 할당과 노출 이벤트 대상 구간 동일한 경험을 할 수 있습니다.

실험에서 변형이 추가되거나 제거됨

실험이 실행되는 동안 변형을 추가하거나 제거하면 SRM이 발생할 수 있습니다. 모범 사례로서, 사용자가 변형 대상 구간 이동하도록 유도하는 방식으로 실행 중인 실험을 변경하지 않는 것이 좋습니다.

실험 중 고정 버킷팅 활성화 또는 비활성화

실행 중인 실험에서 스티커 버킷화를 활성화하거나 비활성화하면 예상되는 변형과 사용자가 받는 변형 간에 불일치가 발생할 수 있습니다. 실험에서 스티커 버킷화를 활성화한 후에는 Amplitude는 나중에 스티커 버킷화를 비활성화하더라도 현재 타겟팅에 관계없이 항상 각 사용자를 이전에 버킷화된 동일한 변형으로 평가합니다.

특정 사용자 세그먼트에 영향을 미치는 변경 사항

SRM이 특정 사용자 세그먼트에만 영향을 미치는지 확인하십시오. 예를 들어 국가, OS 버전, 앱 버전 또는 플랫폼별로 필터합니다.

이러한 종류의 문제를 해결하려면 변경 사항이 영향을 준 특정 사용자를 확인하십시오. 다음과 같은 질문을 던지십시오.

• 누군가가 일부 사용자가 사용하는 앱 버전으로 계측 버그를 푸시했습니까?
• 누군가가 특정 국가의 사용자에게만 영향을 미치는 변경 사항을 배포했습니까?

다수의 사용자를 개별적으로 할당

개별적으로 많은 수의 사용자를 할당했는지 확인하십시오. 개별 할당은 무작위가 아니며 비율을 왜곡시킬 수 있으므로 SRM을 유발할 수 있습니다.

실험에 몇 명의 사용자를 개별적으로 추가하는 것은 괜찮지만 많은 사용자를 추가하는 것은 피하십시오.

첫 번째 실험

첫 번째 실험에서 SRM이 나타난다면 그 원인은 계측 버그일 수 있습니다. 여러 개의 SRM이 있는 경우 SRM이 오탐성으로 인한 결과일 가능성이 낮으므로 근본 원인을 찾아야 합니다.

로그아웃하는 사용자가 자주 발생함

자주 로그아웃되는 경우는 변형 점프 차트에 나타날 수 있습니다. 실험으로 인해 사용자가 더 자주 로그아웃되는지 확인하십시오. 이 패턴은 금융 기관에서 흔히 볼 수 있으며, 이 경우 애플리케이션은 15분 동안 사용자가 활동하지 않으면 사용자를 로그아웃시킵니다.

1. 로그아웃 시 애플리케이션은 장치 ID를 재생성합니다.
2. Amplitude는 세션을 새 사용자로 취급합니다.
3. Amplitude는 사용자를 다른 변형으로 분류합니다.
4. 사용자 ID는 나중에 확인됩니다.

이 패턴은 가입 흐름 실험에서 익명 사용자와도 관련이 있을 수 있습니다.

누락된 노출

두 명의 사용자가 동일한 이벤트 순서를 가지고 있지만 한 명의 사용자가 노출 이벤트를 누락했는지 확인하십시오. 노출 이벤트를 전송하지 않는 경우도 있고, 전송해서는 안 될 때 전송하는 경우도 있습니다.

폴백 변형에 대한 노출을 잘못 전송함

실험 SDK를 사용하여 노출을 자동으로 추적하지 않는 경우, 폴백(기본) 변형에 대한 노출을 잘못 전송했는지 확인하세요.

플래그가 제어에 기본값으로 설정되어 있고 플래그가 제시간에 응답을 반환하지 않을 때 Amplitude가 이를 노출로 간주하는 경우를 확인합니다. 이런 일이 발생하면 대조군이 실험군보다 더 많은 노출을 갖게 됩니다.