누적 노출 그래프: 발산선

이 문서에서는 기울기가 비슷한 발산선과 기울기가 다른 발산선을 비교합니다. 발산선은 공통점에서 시작하여 시간별로 퍼집니다.

비슷한 경사를 가진 분기선

때때로 누적 노출 그래프는 비슷한 기울기를 가진 다른 선을 보여줍니다. 이 문제는 모든 변형이 준비되기 전에 실험이 시작될 때 발생합니다.

이 예제에서 두 변형은 2월 23일과 2월 28일이라는 서로 다른 날짜에 트래픽을 수신하기 시작했으며, 그 결과 그래프에 엇갈린 한 쌍의 선이 생성되었습니다.

모든 변형이 트래픽을 수신할 준비가 될 때까지 실험을 시작하지 마십시오. 실험이 진행 중일 때 새로운 변형을 추가하면 결과가 왜곡되어 보일 수 있습니다. 이는 변형들이 동일한 시간 동안 동일한 조건에 노출되지 않았기 때문입니다.

참신성 효과

또 다른 잠재적 문제는 참신성 효과입니다: 실험군의 새로움은 실험 결과에 영향을 줄 수 있습니다. 위의 예에서 변형 A에 노출된 사용자는 새로운 경험에 적응할 시간이 더 많았습니다. 변형 A에 노출된 사용자는 또한 주요 지표를 트리거할 기회가 더 많았으며, 특히 이 지표가 무제한적인 시간 지표인 경우에는 더욱 그렇기 때문에 변형 간의 비교가 불균등했습니다.

실험의 핵심 요구 사항은 실험군과 대조군 사이의 유일한 차이점이 테스트하려는 기능임을 확인하는 것입니다. 이를 통해 발견한 전체 차이점은 상관 관계가 아닌 인과 관계에서 비롯된 것임을 알 수 있습니다.

경사가 다른 분기선

누적 노출 그래프는 여러 가지 이유로 기울기가 다른 발산하는 선을 표시할 수 있습니다. 사용자 지정 노출 이벤트를 사용하는 경우, 사용자가 할당 이벤트를 트리거하지 않고 노출 이벤트를 계속 트리거하면 실험의 오래된 캐시 변형을 받을 수 있습니다.

예를 들어 Amplitude는 노출 이벤트를 트리거하지 않고도 사용자를 대조군에 할당할 수 있습니다. 나중에 제어 변형에 대한 트래픽 할당을 0%로 설정하면 해당 사용자는 새 할당 이벤트를 트리거하지 않고도 노출 이벤트를 트리거하여 다시 돌아올 수 있습니다. Amplitude는 해당 사용자를 통제 노출로 간주합니다.

이 추론은 스티키 버킷팅이 켜진 실험에도 적용됩니다.

이 예제에서 사용자는 3월 15일에 대조 변형에 대해 실험을 100%로 진행했습니다. 실험에서 스티키 버킷팅을 사용하므로 그래프는 사용자가 트래픽 할당을 0%로 설정한 후에도 여전히 "켜짐" 사용자 수가 증가함을 보여줍니다. 이는 Amplitude가 SDK 또는 API가 요청할 때 변형을 할당하기 때문에 발생합니다. 따라서 사용자가 변형을 전혀 받지 못하더라도 변형은 사용자에게 고정될 수 있습니다.

스티키 버킷팅 및 트래픽 할당

스티키 버킷팅을 선택하고 트래픽 할당을 변경하면 목표 트래픽 할당량이 적용되지 않습니다. 대신, 이미 버킷을 소유한 사용자는 자신의 버킷에 남아 있기 때문에 두 할당 대상 구간의 가중 평균을 얻을 수 있습니다. 목표 트래픽 할당량에 가까워지려면 기다려야 합니다.

실험에서 스티키 버킷팅이 설정되어 있고 실험이 끝난 후 변형을 롤아웃할 계획이라면 코드에서 해당 분기를 삭제하고 기능 플래그를 제거하십시오. 코드 배포를 원하지 않는 경우 스티키 버킷화를 해제할 수도 있습니다.