누적 노출 그래프: 변곡점 및 평평한 경사

변곡점

때때로 선에는 일일 노출 횟수가 갑자기 증가하거나 감소함에 따라 변곡점이 나타납니다.

2월 27일, 세 개 선 모두의 기울기는 변형당 하루 약 70명의 사용자에서 변형당 하루 약 100명의 사용자로 변경되었습니다. 변곡점 이후에도 경사는 평평해질 수 있습니다.

이러한 일이 발생할 수 있는 이유는 다음과 같습니다.

• 귀하의 실험에 대한 트래픽이 증가했습니다.
• 각 변형마다 트래픽 할당량이 증가했습니다. 트래픽을 단일 변형으로 늘리면 이 변곡점을 표시하는 선은 하나뿐입니다.
• 타겟팅 기준이 변경되었습니다. 예를 들어 원래 캘리포니아의 사용자를 타겟팅했지만 캘리포니아와 플로리다의 사용자를 타겟팅하기로 결정했습니다.
• 광고 예산 증가 또는 새로운 기능 릴리스와 같은 외부 이벤트가 발생하여 더 많은 사용자가 실험에 참여하게 되었습니다.

실행 중인 실험 다음 기간동안 설정 변경

실험 도중에 트래픽 설정이나 트래픽 할당을 변경하지 마십시오. 이렇게 하면 결과에 심슨의 역설을 초래할 수 있습니다. 트래픽 할당을 변경한 경우 새 시작 날짜를 선택하여 실험을 다시 시작하십시오. 이미 타겟팅된 전체 사용자는 포함하지 마십시오.

실험 다음 기간동안에는 목표 설정의 기준을 변경하지 마십시오. 따라서 이 샘플은 사용자 중 100%에게 변형을 배포할 경우 어떤 일이 발생하는지를 나타내지 않습니다. 대신, 전체 실험에 대한 트래픽을 점진적으로 늘리거나, 실험 대신 점진적으로 기능 배포를 수행하십시오.

예를 들어 실험 첫 주에 Android 사용자만 타겟팅하고 그 중 100명이 실험을 보게 됩니다. 다음 주에 iOS 사용자를 포함하도록 타겟팅 기준을 변경하면 그 중 20명이 실험을 보게 됩니다.

2주 후, 220명의 사용자가 귀하의 실험을 보았으며, 그 중 9%(20/220 = 1/11 = 9%)가 iOS 사용자입니다. 실험을 트래픽의 100%로 릴리스하면 iOS 사용자의 실제 비율이 16.7%임을 알 수 있습니다. 이 경우 iOS 사용자의 영향을 과소평가한 것입니다. 실험에서 Android 사용자에게는 긍정적인 리프트가 나타나지만 iOS 사용자에게는 부정적인 리프트가 나타난다면, 실험 결과가 긍정적이라고 판단하여 기능을 배포할 수 있지만 실제 결과는 부정적일 수 있습니다.

실험 종료 날짜 변경을 고려하십시오.

기울기가 변경된 이유에 대해 답한 후 실험 종료 날짜를 조정할지 여부를 고려하십시오. 트래픽이 많을수록 통계적 유의성에 더 빨리 도달할 수 있습니다. 트래픽이 적으면 통계적 유의성은 더 느리게 나타납니다.

평탄한 경사

3월 4일부터 3월 11일까지는 그래프가 상당히 평평합니다. 다음 기간동안 실험에 참여한 신규 사용자는 거의 없었습니다. 가능한 설명은 다음과 같습니다.

• 실험에 추가할 사용자가 부족했습니다.
• 노출 이벤트를 전송하는 데 버그가 있습니다.
• 계절성은 제품 사용에 큰 영향을 미칩니다.

다음 시간별 차트는 계절성의 강력한 예를 보여줍니다.

3월 21일 오후 7시부터 3월 22일 오전 9시(그래프의 가장 오른쪽 부분) 사이에는, 이 실험을 본 사용자는 거의 없었습니다. 그 직전인 오전 5시경부터 많은 사용자가 이 실험을 접했습니다. 그래프의 왼쪽에서 사용자는 천천히 유입됩니다. 한 온라인 도박 회사가 이 실험을 진행하므로 잭팟 이벤트가 진행될 때 트래픽이 급증합니다.