실험 기간을 예측하세요

기간 추정기는 빌드를 시작하기 전에 실행 가능한 실험 아이디어를 결정하는 데 도움을 줍니다. 기간 추정기를 사용하면 통계적 유의성에 도달하지 않을 수 있는 테스트를 실행하지 않고, 합리적인 시간 내에 결과를 제공할 수 있는 실험의 우선 순위를 지정할 수 있습니다.

기간 예측기 열기

실험 설정에서 기간 추정을 선택하여 기간 추정기를 엽니다.

기간 예측기를 처음 열면 빈 상태가 표시됩니다. 트래픽 이벤트와 성공 지표를 추가한 후에는 지속 시간 예측기가 테스트를 실행해야 하는 시간을 계산합니다.

추정치 설정

1단계: 트래픽 이벤트 추가

+ 이벤트 추가를 선택하고 실험을 실행할 트래픽을 나타내는 이벤트를 선택합니다.

예를 들어 홈페이지를 테스트하는 경우 Page Viewed을 선택하고 홈페이지 URL에 대한 필터를 추가하십시오.

기간 추정기는 분석에서 지난 29~30일간의 트래픽 데이터를 가져오고 결과 패널에 일일 사용자 수를 표시합니다.

올바른 이벤트가 없는 경우 수동 입력을 선택하여 일일 총 트래픽 추정치를 직접 입력하십시오. 트래픽은 전체 트래픽이며 각 변형에 대한 트래픽이 아닙니다.

2단계: 성공 지표 추가

+ 지표 추가를 선택하고 이 실험을 통해 개선하고자 하는 전환 지표를 선택합니다.

성공 지표는 실험을 통해 변경하려는 방문자 행동입니다. 여러분의 변화로 인해 더 많은 방문자들이 무엇을 하기를 원하는지 생각해보세요.

일반적인 성공 지표:

• 전환: 방문자가 가입, 구매, 등록 또는 구독과 같은 주요 작업을 완료합니다.
• 양식 작성 완료: 방문자가 양식을 제출하거나 프로세스를 완료합니다.

선택 방법:

• 질문: What action do you want more visitors to take?
• 해당 작업과 일치하는 지표를 찾으십시오.
• 비슷한 지표가 있는 경우, 전환 지표(Amplitude에서 Conversion of...로 표시함)나 공식 파란색 배지가 있는 지표를 선택하세요.

예를 들어 홈페이지의 히어로 배너를 테스트하고 더 많은 방문자가 코스에 등록하기를 원한다면 Conversion of registration: course enrolled을 선택합니다.

기간 예측기는 지난 29~30일간의 분석 데이터로부터 현재 전환율을 계산하고 결과 패널에 해당 비율을 표시합니다(예: 78.8% -> 82.8%).

필요한 지표가 보이지 않는 경우:

• 드롭다운 상단에 있는 검색 창을 사용하여 검색하세요.
• 하단의 지표 생성을 선택하여 새 지표를 생성합니다.
• 수동 입력을 선택하여 고유한 기준 전환율을 입력합니다.

3단계: 최소 감지 가능 효과(MDE)를 설정하세요

상대적 MDE는 감지하고자 하는 가장 작은 개선입니다. 기본값은 5%이며, 이는 기준선을 5% 개선할 수 있는지 여부를 테스트한다는 것을 의미합니다.

예를 들어 기준 전환율이 78.8%이고 MDE를 5%로 설정한 경우 82.8%에 도달할 수 있는지 테스트합니다.

MDE를 고려하는 방법:

• 크고 과감한 변화(예: 스크롤 없이 볼 수 있는 영역의 히어로 배너를 새롭게 디자인하는 것): 8%와 같은 큰 상승률을 기대할 수 있습니다.
• 작고 미묘한 변화(예: 스크롤해야 볼 수 있는 영역의 버튼 텍스트 변경): 2%와 같은 약간의 상승을 기대합니다.
• MDE가 작을수록 테스트 기간이 훨씬 길어집니다.

과거 데이터가 없는 경우 수동 입력을 선택하여 고유한 기준 전환율을 입력하십시오.

결과를 이해하십시오.

트래픽 및 성공 지표를 추가한 후 [예상 기간] 패널에 다음이 표시됩니다.

• 기간: 테스트를 실행하는 데 필요한 일 수(예: ~130 days).
• 일별 사용자: 기간 예측기가 분석에서 가져오는 일일 트래픽입니다.
• 상승: 기준선 전환율과 목표 전환율의 비교를 MDE 퍼센트로 나타냅니다.
• 요약: 이해관계자와 공유할 수 있는 평범한 언어로 설명되어 있습니다.

지속 시간이 매우 길면 긴 지속 시간 경고 배지가 표시됩니다. 기간 시나리오 테이블을 사용하여 다양한 시나리오를 살펴볼 수 있습니다.

기간 시나리오 테이블을 사용하여 우선 순위를 지정하십시오.

기간 시나리오 테이블은 기간 예측기의 가장 중요한 부분입니다. 이 표는 여러분의 선택이 테스트 기간에 미치는 영향을 보여주므로 여러분은 무엇을 테스트할지 그리고 언제 테스트할지에 대해 더 나은 결정을 내릴 수 있습니다.

테이블을 읽는 방법

행(신뢰도 수준):

• 낮음(85%): 결과가 사실이라는 확신은 낮지만 결과는 더 빨라집니다.
• 중간(90%): 균형 잡힌 접근법(기본 설정).
• 높음(95%): 결과가 사실임을 더 확실하게 알지만 시간이 더 걸립니다.
• 사용자 정의 %: 사용자 고유의 신뢰 수준을 입력합니다.

열(리프트 크기/MDE):

• 2%: 작고 미묘한 변화(감지하는 데 가장 오래 걸림).
• 5%: 중간 크기의 변경(기본 설정).
• 8%: 크고 대담한 변경(가장 빠른 감지).
• 사용자 지정 %: 사용자 고유의 MDE를 입력합니다.

이 표에서는 선택한 조합을 강조 표시하고 다른 모든 시나리오의 기간을 보여줍니다.

신뢰 수준에 대한 고려 방법

신뢰 수준은 결과를 위해 기꺼이 감수할 위험을 의미합니다. 상황의 중요도에 따라 선택하십시오.

95% 신뢰도: 실수에 따른 비용이 높은 경우에 사용하십시오.

• 수익에 중요한 테스트(결제 흐름, 가격 및 구독).
• 영향력이 높은 배치(홈페이지 히어로, 스크롤 없이 볼 수 있는 콘텐츠, 탐색).
• 민감하거나 비용이 많이 드는 시도(새로운 기능, 규정 준수가 까다로운 영역, 고비용 빌드).

90% 신뢰도: 속도와 신뢰성 사이의 균형을 유지하려는 경우 사용합니다(기본값).

• 시간이 중요하지만 잘못된 결정에 따른 비용을 감당할 수 있는 중간 수준의 결정 사항.
• 참여에 중점을 둔 성과(클릭률, 퍼널 중간 단계).
• 사전 증거가 있는 영역에서 반복적으로 개선합니다.

85% 신뢰도: 방향 신호가 필요할 때 사용하십시오.

• 조기 검증(MVP, 후속 조치를 취하는 프로토타입).
• 위험도가 낮은 테스트(트래픽이 적은 페이지, 폴드 아래의 변경).
• 주요 지표 확인만으로도 충분한, 이미 잘 파악된 영역.

MDE(리프트 크기)에 대해 고려할 사항

MDE는 실험 아이디어의 예상 효과를 반영합니다. 질문: How much lift do I realistically expect this change to drive?

대규모 MDE(8% 이상): 극적인 영향을 미치는 과감한 변화에 사용됩니다.

• 홈페이지 상단에 눈에 띄는 새로운 CTA가 표시됩니다.
• 주요 흐름의 대규모 재설계.
• 수익을 창출하는 프로모션.
• 효과가 크기 때문에 테스트가 빠르게 종료됩니다.

중간 수준의 MDE (3-5%): 의미 있지만 극적인 개선은 아닌 경우에 사용합니다.

• UX 개선.
• 레이아웃 조정.
• 변경 사항을 복사합니다.
• 이것은 일상적인 실험을 위한 가장 균형 잡힌 선택입니다.

소규모 MDE(1-2%): 미묘한 조정이나 작은 이득이 가치 있는 경우에 사용합니다.

• 마이크로카피 변경.
• 약간의 색상 조정.
• 점진적 퍼널 최적화.
• 이러한 작업은 시간과 트래픽이 가장 많이 필요하지만, 성숙한 대용량 제품에서는 큰 효과를 낼 수 있습니다.

기간 시나리오 테이블을 사용하여 우선 순위 지정

시나리오 1: 테스트에 너무 오래 걸립니다.

추정치에 5%의 MDE와 90%의 신뢰도가 나타나면 다음 표를 검토하십시오~130 days.

• 8% MDE(더 큰 변화)에서는 기간이 ~51 days로 감소합니다.
• 신뢰도가 85%일 때(더 낮은 확실성) 기간은 ~102 days로 감소합니다.

의사 결정 체계:

• 더 크고 대담한 아이디어를 테스트하여 더 빨리 결과를 얻을 수 있습니까?
• 더 빠른 결과 확인을 위해 85% 신뢰도를 정당화할 만큼 위험도가 낮은가요?
• 아니면 90~95%의 신뢰도를 얻기 위해 기다릴 가치가 있는 중요한 테스트인가요?

시나리오 2: 여러 테스트 아이디어 비교

백로그에 세 가지 테스트 아이디어가 있습니다.

• 홈페이지 히어로 재디자인(8% 상승 예상): ~51 days90% 신뢰도.
• CTA 버튼 텍스트 변경(5% 상승 예상): ~130 days90% 신뢰도.
• 푸터 링크 색상 변화(2% 상승 예상): ~632 days90% 신뢰도.

결정: 히어로 섹션 재설계는 실행 가능하며 신속하게 결과를 제공할 수 있습니다. 신뢰도를 85%로 낮춘다면 CTA 변경을 실행할 가치가 있을 수 있습니다.~102 days 바닥글 변경은 1년 이상 걸리므로 지금 테스트할 가치가 없습니다.

시나리오 3: 테스트 포트폴리오의 균형 잡기

기간 시나리오 테이블을 사용하여 균형 잡힌 믹스를 생성합니다.

• 영향력이 큰 테스트(8% MDE, 90~95% 신뢰도): 분기마다 1~2개의 주요 테스트를 수행하며 2~4주 내에 해결됩니다.
• 일상적인 최적화(3~5% MDE, 90% 신뢰도): 정기적인 테스트를 통해 3~6주 내에 꾸준한 개선이 이루어집니다.
• 신속한 검증(5~8% MDE, 85% 신뢰도): 대규모 투자를 하기 전에 새로운 아이디어의 방향성을 신속하게 확인합니다.

시나리오 4: 트래픽이 적은 페이지

트래픽이 적은 페이지를 테스트하고 모든 시나리오에서 지속 시간이 매우 긴 경우 다음을 수행해야 할 수 있습니다.

• 트래픽이 많은 페이지에서 테스트하십시오.
• 트래픽이 더 늘어날 때까지 기다리십시오.
• 예상되는 영향이 더 큰 것을 테스트하십시오.

기간 시나리오 테이블은 이러한 절충점을 가시적으로 보여주므로 트래픽 및 일정 제약에 맞는 실험의 우선 순위를 지정할 수 있습니다.

고급옵션 설정 조정(선택 사항)

고급옵션 설정을 선택하여 추가 컨트롤에 액세스하십시오.

• 신뢰도 수준: 낮음(85%), 중간(90%) 또는 높음(95%)입니다.
• 통계적 검증력: 실제 효과를 탐지할 확률(기본값은 80%)입니다.
• 롤아웃: 실험에 노출되는 방문자의 비율입니다(기본값은 100%).
• 변형 수: 통제를 포함한 총 변형입니다.
• 분배: 트래픽이 변형 간에 분배되는 방식입니다(기본값은 균등함).
• 통계적 방법: T-테스트.

대부분의 팀은 이러한 설정을 조정할 필요가 없습니다. 기본값은 표준 A/B 테스트에 적합합니다.

테스트 기간 단축을 위한 팁

예상 기간이 타임라인에서 허용하는 것보다 길다면 다음 옵션을 사용하십시오.

더 큰 아이디어를 테스트하십시오(MDE 증가).

테스트 기간에 가장 큰 영향을 미치는 요소는 탐지하려는 변경 사항의 크기입니다. 변경사항이 클수록 상승도가 높아지고 해결 속도가 빨라집니다.

예를 들어 5% MDE에서 8% MDE로 변경하면 기간이 ~130 days에서 ~51 days 로 단축됩니다.

질문:

• 미묘한 조정 대신 더 효과적인 변형을 테스트할 수 있습니까?
• 버튼 색상을 변경하는 대신 전체 CTA 섹션을 다시 디자인할 수 있습니까?
• 마이크로카피를 조정하는 대신 전체 헤드라인을 다시 작성할 수 있습니까?

영향력이 큰 아이디어는 더 빨리 해결됩니다. 영향력이 작은 아이디어는 더 오래 걸리지만 성숙하고 대량의 제품에서 큰 효과를 낼 수 있습니다.

신뢰 수준을 낮추십시오(위험 부담이 허용되는 경우).

신뢰도가 90%에서 85%로 떨어지면 지속 시간이 줄어들지만 거짓 양성 위험이 증가합니다(승자가 없을 때 승자를 호출함).

예를 들어, 신뢰도가 85%인 경우 동일한 5% MDE 테스트는 ~130 days 대신 ~102 days 이 소요됩니다.

질문:

• 실수에 따른 대가는 얼마입니까?
• 이 테스트는 위험도가 낮은가요(스크롤해야 보이는 영역의 변경, 잘 이해된 영역)?
• 필요한 경우 후속 테스트를 통해 결과를 검증할 수 있습니까?

다음에 대한 신뢰도를 떨어뜨리지 마십시오.

• 수익에 중요한 테스트.
• 영향력이 높은 배치.
• 새로운 기능이나 알려지지 않은 고객 부문.

트래픽이 많은 페이지 또는 이벤트 선택

트래픽이 낮은 것은 테스트에 너무 오래 걸리는 일반적인 이유입니다.

질문: 트래픽이 많은 페이지에서 이 테스트를 실행할 수 있습니까, 아니면 더 빈번한 전환 이벤트를 선택할 수 있습니까?

배포 비율 증가

방문자의 50%만 실험에 노출시킬 경우 100%로 늘리면 지속 시간을 약 절반으로 줄일 수 있습니다.

변형 수 감소

4개의 변형을 테스트하는 것은 2개의 변형을 테스트하는 것보다 훨씬 오래 걸립니다. 하나의 대규모 다변형 테스트 대신 여러 개의 순차 테스트를 고려하십시오.

테스트를 실행할 가치가 있는지 판단

때로는 테스트가 실용적이지 않을 수도 있습니다. 기간 시나리오 테이블에 모든 시나리오에 걸쳐 수백 일이 표시되어 있는 경우 테스트를 구축할 가치가 없을 것입니다.

피해야 할 일반적인 실수

• 매번 신뢰도를 95%로 설정합니다. 이는 위험도가 높은 테스트에는 의미가 있지만 위험도가 낮은 실험을 느리게 할 수 있습니다.
• 작은 상승폭만 쫓는 경우. 1~2% MDE 개선을 모색하려면 대규모 트래픽과 긴 실행 회가 필요할 수 있습니다.
• 기간 확인 건너뛰기. 올바른 설정을 사용하더라도 일부 실험은 사용 가능한 트래픽으로 유의성에 도달할 수 없습니다.

Duration Estimator는 유의성에 도달하지 못할 수도 있는 테스트에 시간과 리소스를 낭비하기 전에 이러한 결정을 내릴 수 있도록 도와줍니다.

자주 묻는 질문

내 예측에 '장기간(Long Duration)'이 표시되는 이유는 무엇인가요?

테스트가 통계적 유의성에 도달하는 데 오랜 시간이 걸리는데, 이는 종종 트래픽이 적거나 MDE가 작기 때문입니다. 기간 시나리오 테이블을 사용하여 더 빠른 대안을 살펴보십시오.

30일 동안의 기록 데이터가 없는 경우 어떻게 됩니까?

기간을 업데이트하거나, 수동 입력을 선택하여 트래픽 및 전환 예측치를 직접 입력하세요. 최소 몇 주 동안의 안정적인 데이터가 있는 경우 결과가 가장 정확합니다.

예측을 본 후 MDE를 변경할 수 있습니까?

예. 성공 지표 섹션에서 MDE 비율을 조정하면 예측값이 자동으로 업데이트됩니다. 테스트 설계를 실행하기 전에 MDE 컨트롤을 사용하여 다양한 시나리오를 탐색하십시오.

은(는) 무슨 Last 29 days offset by 1뜻인가요

이 레이블은 기간 예측기가 계산에 사용하는 데이터 기간을 나타냅니다. Offset by 1 이는 오늘의 데이터가 불완전하기 때문에 오늘을 계산에서 제외하고 지난 29일간의 완료일을 기준으로 함을 의미합니다.

항상 높은 신뢰도(95%)를 목표로 삼아야 합니까?

아닙니다. 많은 실험은 속도와 정확도의 균형을 맞추는 중간(90%) 신뢰도로 실행됩니다. 위험이 높거나 결정을 내리기 전에 최대한의 확실성이 필요할 때 높은 신뢰도를 사용하십시오.

성공 지표를 선택하는 방법

먼저 질문으로 시작한 What action do you want more visitors to take?다음 해당 작업과 일치하는 지표를 선택합니다. 전환 지표(Amplitude가 Conversion of...로 표시함)는 종종 최선의 선택입니다.

여전히 확실하지 않은 경우 목표와 관련된 지표를 검색하거나, 수동 입력을 선택하여 고유한 기준 요소를 입력하십시오.

실험 기간 예상치에 대해 어디에서 알 수 있습니까?

실험 기간 예측치를 검토하여 실험이 실행 중인 동안 실험이 표시하는 예상 기간 이해를 도모하십시오.