실험에 대한 MDE 설정

실험을 실행하기 전에 감지 가능한 최소 효과(MDE)를 설정하여 성공을 가늠하는 방법을 산정하십시오. MDE를 실험을 통해 찾으려는 최소한의 변화라고 생각하십시오. MDE에 대한 표준 계산법은 없으므로 이를 설정하려면 판단력이 필요합니다. Amplitude 실험에서 기본 MDE는 2%입니다. MDE는 비즈니스 요구와 직접적으로 연관되므로 각 실험의 설계 단계에서 신중하게 수행하십시오. MDE를 설정할 때는 주요 지표와 관련된 위험을 고려하십시오.

MDE 및 지표 목표 유형

실험을 만들 때 성공 또는 가드레일이라는 두 가지 지표 목표 유형 중에서 선택할 수 있습니다. 다음 사례 연구는 목표 유형이 MDE를 어떻게 변경할 수 있는지를 보여줍니다.

소규모 예술 조직의 마케팅 책임자는 Amplitude 실험을 사용하여 티켓 관리 시스템의 업데이트를 계획합니다. 데이터 과학 팀이 없기 때문에 책임자는 어떤 실험을 실행할지, 어떻게 실행할지를 결정합니다. 계획된 업데이트는 다음과 같습니다.

• 이벤트 페이지에 '빠른 체크아웃' 옵션을 추가하여 로그인한 사용자의 페이지 방문에서 티켓 판매로의 전환율을 높입니다.
• 모든 사용자를 위해 체크아웃 중에 새로운 결제 옵션을 추가하십시오.

첫 번째 업데이트의 목표는 전환율을 높이는 것이므로 성공 지표가 적절합니다. 이 지표는 마케팅 책임자에게 새 버튼이 올바른 위치에 있는지, 그리고 전환율 목표를 달성할 수 있을 만큼 충분히 잘 보이는지 알려줍니다. 마케팅 책임자의 다음 회계 분기 목표는 티켓 판매 수익을 3% 늘리는 것입니다. 이러한 회사 목표는 성공 지표를 형성하며, 테스트 방향을 증가로 설정하고 MDE를 3%로 설정합니다.

두 번째 업데이트는 재정 요구 사항을 충족합니다. 결제 프로세스에 대한 필수 변경 사항으로서, 가드레일 지표는 새로운 결제 방법이 완료된 매출을 감소시키지 않음을 확인하는 데 도움이 됩니다. 지난 4회계 분기 동안 평균 1%의 사용자가 결제 과정을 시작한 후 결제를 포기했습니다. 가드레일 지표 방향은 감소이며 MDE는 1%입니다.

MDE 및 주요 지표

Amplitude에서 MDE는 주요 지표의 대조군 평균에 상대적입니다. 예를 들어 통제 그룹의 전환율이 10%인 경우 MDE가 2%(0.2)이면 비율이 9.8%~10.2% 범위를 벗어날 때 Amplitude가 변화를 감지한다는 의미입니다.

발권 사례 연구에서 티켓 판매의 기본 지표는 다음과 같은 경우 다른 MDE를 필요로 할 수 있습니다.

• 이 가설 검증 실험은 매년 티켓 가격 할인 다음 기간동안 실행됩니다.
• 티켓 판매량과 양의 상관관계가 있는 이벤트 수는 이전 회계 분기보다 훨씬 적습니다.
• 이 실험은 대규모 대면 모임이 금지되는 전 세계적인 전염병 다음 기간동안 진행됩니다.

실험을 계획하고 MDE를 설정할 때 비즈니스 요구와 상황을 고려하십시오. 전체 실험의 한 가지 목표는 가능한 한 피해를 최소화하는 것입니다.

MDE 및 관련 위험

실험은 위험 없는 결과를 산출하지 못하며, 실험을 실행하는 데는 시간이 오래 걸리고 대규모 샘플 세트가 필요할 수 있습니다. 이는 비용이 증가하고 사용자에게 부정적인 영향을 미칠 가능성이 커짐을 의미할 수 있습니다. MDE는 표본 크기와 역관계를 갖습니다. MDE가 작거나 더 "민감한"수록 통계적 유의성에 도달하기 위해 필요한 표본 크기가 커집니다.

다음 질문을 사용하여 위험을 평가하십시오.

• 실험의 예상 비용이나 실행 시간은 예상 결과에 가치가 있습니까?
• 실험에서 사용자에게 발생할 수 있는 부정적인 부작용은 무엇이며, 그 결과는 잠재적 손실에 따른 가치가 있습니까?
• 실험을 전혀 해야 합니까, 아니면 기능 릴리스와 같은 다른 옵션을 고려해야 합니까?
• 귀하를 만족시키는 가장 작은 변화의 비율은 무엇입니까? 예를 들어, 2%, 3% 또는 5% 상승을 확인한 경우 실험을 시작하겠습니까?
• 실험이 연간 가입자 수가 100명에서 105명으로 증가하는 것과 같은 긍정적인 결과를 낳는다면 그 변화가 경영진에게 알릴 만큼 충분히 커졌습니까?

자주 묻는 질문

이 질문들은 Amplitude Experiment의 기간 예상치에 관한 것입니다. 설치 지침 및 출시 전 계획에 대한 자세한 내용은 실험 기간 예측을 참조하십시오.

기간 예측은 어떻게 작동합니까?

실험 기간 예측값은 통계적으로 유의미한 결과를 생성하기 위해 실험을 실행해야 하는 시간을 예측합니다. 기간 예측은 기본 지표 및 순차 테스트에서만 작동하며 실험 결과를 지원하지 않습니다.

Amplitude 실험은 통제군과 변형의 평균, 분산 및 노출을 사용하여 예상되는 행동을 예측하고 실험이 통계적 유의성에 도달하는 데 걸리는 시간을 계산합니다. 더 많은 데이터가 도착할수록 예측 성능이 향상됩니다. 이러한 입력값 전체 중 하나라도 실험 다음 기간동안 크게 변하면 예측의 정확도가 떨어질 가능성이 큽니다.

기간 예상치와 기간 추정기의 차이점은 무엇입니까?

Amplitude는 실험이 실행되는 동안 순차적 테스트를 사용하여 기간 예측치를 계산합니다. 기간 추정기는 T 검정을 사용합니다.

예상 기간이 표시되지 않는 이유는 무엇입니까?

예상 기간은 실험이 다음 기준을 모두 충족할 때 표시됩니다.

• 이 지표는 아직 통계적 유의성에 도달하지 않았습니다.
• 분석 기간의 종료 날짜가 과거입니다.
• 이 실험은 관찰 데이터가 충분합니다.
• 실험 상태는 롤아웃되거나 롤백됩니다.
• 다음 통계적 조건은 모두 해당되지 않습니다.
  • 절대 상승력은 신뢰 구간을 벗어납니다.
  • 신뢰 구간이 전환됩니다(하한 신뢰 구간 > 상한 신뢰 구간). 이는 실험이 실행되는 동안 처리 또는 대조의 평균이 변동하거나 롤아웃 가중치나 목표 세그먼트가 변경될 때 발생할 수 있습니다.
  • 표준 오차는 매우 작습니다.
  • 분산값이 음수입니다.
  • 전환율이 1보다 크거나 0보다 작습니다(해당되는 경우).

추정치가 표시되지 않는 경우 이러한 기준 중 하나 이상을 충족하지 못한 것입니다.

예상 기간에 대한 상한선이 있습니까?

예, 최대 기간은 40일입니다. 그 이유는 다음과 같습니다.

• 지속 기간은 실시간 시뮬레이션을 사용하며, 여기서 지연 시간은 시뮬레이션된 일수에 따라 증가합니다.
• 평균과 표준 편차는 일반적으로 시간별로 크게 변하지 않으며, 특히 실행 시간이 길어지는 실험의 경우에는 더욱 그렇습니다.
• 단기 예측은 장기 예측보다 정확하게 하기가 더 쉽습니다. (10일 이후의 일기 예보도 날짜가 가까워짐에 따라 동일한 이유로 자주 변경됩니다.)
• 대부분의 실험은 완료하는 데 40일이 걸리지 않습니다.

Amplitude 실험은 하루 노출 횟수를 어떻게 결정합니까?

Amplitude 실험은 하루에 일정한 수의 노출을 가정합니다. Amplitude는 오늘날까지의 누적 노출량을 지금까지 실험이 실행된 일수로 나누어 이 값을 계산합니다.

어떤 유형의 오류가 있습니까?

예상 기간은 여전히 예상치입니다. 사실로 받아들이지 마십시오. 다음과 같은 문제가 발생할 수 있습니다.

• 환원불능 오류: 추정 과정에 내재된 오류. 보정할 수 없습니다. 각 시뮬레이션은 서로 다른 시간에 통계적 유의성에 도달하므로 여러 시뮬레이션을 실행해야 합니다. 실험이 통계적 유의성에 도달하는 데 걸리는 시간 자체가 무작위 변수입니다. 시간은 p-값에 따라 다르며, 이는 실험에서 수집하는 데이터에 따라 달라집니다. 제어 평균, 제어 표준 편차, 처리 평균 및 처리 표준 편차를 알고 있고 모든 것에 정규 분포와 독립성을 강제로 적용하더라도 실험은 오류를 완전히 0으로 줄일 수 없습니다.
• 잘못된 추정치: Amplitude 실험에서 기간 추정치를 생성할 때 Amplitude는 대조 모집단 평균, 대조 모집단 표준 편차 및 표본의 기타 수량을 추정합니다. 이러한 추정치는 가능한 한 최선의 결과이지만 여전히 오류의 여지가 있습니다.
• 드리프트: 예를 들어 오늘 통제 평균이 5이고 지금으로부터 10일 후에는 15가 될 경우 통제 평균은 드리프트를 나타냅니다. 일반적인 예는 계절성입니다. 전체 입력값의 드리프트는 추정치를 저하시킵니다. 이는 모델이 가설 테스트 다음 기간동안 드리프트를 하지 않는다고 가정하기 때문입니다.

"임계값에 도달했습니다"는 무엇을 의미합니까?

실험에서 기간 추정기에 "임계값에 도달함"과 "0일 남았습니다"를 표시하는 경우 신뢰 구간에 MDE(임계값)가 포함되지 않습니다.

이 메시지는 추천 지표가 가드레일일 때 반드시 나쁜 것은 아닙니다. 효과 크기가 허용된 양보다 작기 때문입니다.

이 메시지는 추천 지표가 성공 지표일 때 나쁜 징조입니다. 이는 효과 크기가 예상했던 것보다 작기 때문입니다. 이 경우에 실험을 종료하십시오. 통계적 유의성에 도달하더라도 상승률은 실제로 유의미한 것보다 작습니다.

"통계적 유의성은 절대로 도달하지 못할 수도 있다"는 것은 무엇을 의미합니까?

기간 추정기가 실험을 완료하는 데 40일 이상이 걸릴 것으로 나타내는 경우 Amplitude는 실험이 2주 동안 실행된 후에도 통계적 유의성에 도달할 가능성이 낮다고 가정할 수 있습니다. 이러한 경우 실험은 이 메시지를 표시합니다.