누적 노출 그래프: 기울기 증가 및 감소

누적 노출 그래프는 시간에 따라 실험에 노출된 사용자 수를 보여줍니다. X축은 각 사용자의 첫 노출 날짜를 나타냅니다. Y축은 실험에 노출된 사용자의 총 수를 나타냅니다.

사용자가 둘 이상의 실험 변형을 받지 않는 한 Amplitude는 각 사용자를 한 번씩 계산합니다. 둘 이상의 변형을 받은 사용자는 각 변형에 대해 한 번씩 수행 회수가 계산됩니다.

누적 노출 그래프 해석

이 문서에서는 누적 노출 결과에 대해 설명합니다:

• 경사 증가: 선은 지속적으로 위쪽과 오른쪽으로 올라갑니다.
• 경사 감소: 선은 오른쪽으로 올라가지만 누적 노출은 시간별로 느려집니다.

다른 문서에서는 누적 노출 결과에 대해 다음과 같이 설명합니다.

• 변곡점 또는 평평한 경사입니다.
• 분기선(비슷하거나 다른 경사).

경사 증가

기울기가 증가하는 표준 누적 노출 그래프에서 각 선은 단일 변형을 나타냅니다. 예를 들어 3월 20일이 실험의 첫날일 수 있으며, 이 날짜에는 158명의 사용자가 대조군 변형에 대한 노출 이벤트를 트리거합니다. 하루 후, 총 314명의 사용자가 대조군 변형을 받았습니다. 이 숫자는 3월 20일과 3월 21일에 발생한 노출량의 합계입니다.

각 선의 기울기는 y축의 변화를 x축의 변화로 나눈 값입니다.

∆y / ∆x = (cumulative users exposed as of day T1 - cumulative users exposed as of day T0) / (number of days elapsed between T0 and T1) = Number of new users exposed to the experiment, per day, from day T0 to day T1.

이 그래프의 추가 측면:

• 그래프는 누적이므로 Y축은 감소하지 않습니다. 선의 기울기는 매일 실험에 노출되는 신규 사용자의 수를 나타냅니다. 선의 성장이 느려지거나 멈출 수 있지만 누적 노출 그래프는 절대로 최고치에 도달했다가 하락하지 않습니다.
• 끝부분의 점선은 데이터가 불완전한 날짜를 표시합니다. 자세한 내용은 Amplitude의 불완전한 데이터 지침을 참조하십시오.
• 두 선은 서로를 정확하게 추적하지 않습니다. 각 라인은 고유한 변형을 나타내며, 각 변형이 동일한 양의 트래픽을 수신하더라도 노출은 변형 대상 구간에서 약간 다를 수 있습니다.
• 두 변종 모두 꾸준한 Growth 경로를 따르며, 이는 계절성이 없음을 나타냅니다. 사용자가 평일에 제품에 더 많이 참여할 가능성이 높다면(따라서 실험을 받을 가능성이 더 높다면), 차트는 이러한 패턴을 보여줄 것입니다. 주말에는 y축 값이 더 느리게 증가합니다.

매시간 설정 대 매일 설정

X축을 매일이 아닌 시간별로 변경하면 차트에 새로운 패턴이 나타나는 경우가 많습니다.

그 경향은 여전히 선형적입니다. 이 그래프는 오후 9시부터 오전 5시까지의 시간별 그래프이므로 실험을 받는 추가 사용자는 거의 없습니다. 사용자는 잠들어 있을 가능성이 높으며 다음 기간동안 제품을 사용하지 않을 수 있습니다. 그래프의 일일 버전은 이러한 패턴을 보여주지 않습니다.

이것은 더 극단적인 예입니다. 노출은 계단 함수처럼 보입니다. 이 경우, 이미 한 번 이상 실험을 받은 사용자는 이러한 평평한 시간 동안 기능 플래그를 다시 평가할 수 있습니다.

경사 감소

실험의 누적 노출량은 처음에는 강했지만 시간별로 느려질 수 있습니다.

이 실험이 시작되었을 때 약 280명의 신규 사용자가 매일 각 변형을 받았습니다. 결국 노출률은 변형당 하루에 약 40명의 신규 사용자로 떨어졌습니다.

정적 코호트는 실험을 제한할 수 있습니다

정적 코호트(자체적으로 성장하거나 축소하지 않는 코호트)를 대상으로 삼을 때 누적 노출량은 시간별로 평평해질 수 있습니다.

예를 들어, 100명의 멤버가 있는 정적 코호트를 고려해 보십시오. 첫날, 이 사용자 중 40명이 여러분의 실험을 받게 됩니다. 유효한 사용자는 60명만 남아 있습니다. 매일 실험에 참여할 수 있는 사용자의 수가 줄어들고 누적 노출 그래프의 기울기는 평평해집니다.

실험에서 정적 코호트를 사용하는 경우 기간 추정기를 사용하는 방법을 다시 고려하십시오. 샘플 크기를 해결하는 대신, 이 고정된 샘플 크기로 합리적으로 감지할 수 있는 리프트 수준을 물어보십시오.

이런 방식으로 코호트를 사용할 때는 해당 코호트가 더 많은 사용자가 우승 변형을 받았을 경우 비슷한 상승을 보일 수 있는 더 큰 모집단을 대표하는지 여부를 물어보십시오. 그렇게 작동한다고 가정하지 마십시오. 이 가정은 한 국가에서 실험을 실시한 다음 다른 국가에서도 동일한 영향을 미칠 것이라고 가정하는 것과 같습니다.

기울기 감소의 다른 가능한 원인

• 동적 코호트가 충분히 빠르게 성장하지 않거나 실험과 상호작용하는 사용자 수가 제한적일 수 있습니다.
• 고정적 버킷팅 구성: 사용자가 코호트에 들어갔다가 나간 경우, 더 이상 타겟팅 기준을 충족하지 못한 후에도 실험을 계속 받을지 여부를 결정하십시오(일관성을 위해).
• 이 실험은 먼저 나중에 노출되는 사용자를 대표하지 않는 사용자 그룹에 도달합니다. 제품을 30일 동안 사용한 사용자는 100일 동안 활동한 사용자와는 다르게 테스트한 기능과 상호 작용할 수 있습니다. 사용자의 안정 상태에 대한 처치 효과를 연구하기 위해 원래 계획했던 것보다 더 오래 실험을 실행하십시오.
• 사용자들은 점차 실험에 무감각해지고 반복적인 노출 후에 반응을 멈추게 됩니다.

평평한 누적 노출 그래프가 항상 실험의 영향력이 제한적이라는 것을 의미하지는 않습니다. 사용자의 구체적인 행동에 따라 결과가 결정됩니다.

이 패턴은 실험을 얼마나 오래 실행해야 하는지에 대해 심각한 영향을 미칩니다. 표준 방법은 예상 샘플 크기를 일일 평균 트래픽으로 나누어 실험 기간을 계산합니다. 이 방법은 여기에는 적용되지 않습니다. 추정치가 분모를 과장하기 때문에 일반적으로 예상보다 더 오래 실험을 실행해야 합니다.