실험을 테스트 및 시작하십시오

전체 사용자가 실험을 보기 전에 변형이 의도한 대로 보이고 작동하는지 확인하십시오. 실험에서는 사용자 ID, 장치 ID 또는 코호트별로 특정 변형을 할당할 수 있으므로 테스트 장치가 실험에 참여할 때 Amplitude가 올바른 변형을 제공하는지 확인할 수 있습니다.

실험이나 플래그에서 사용자를 제외하려면 사용자를 변형OFF에 추가하십시오.

실험에 대한 요약 페이지에서 요약, 전달, 변형 및 타겟팅 섹션을 검토하십시오. 각 섹션이 귀하의 계획과 일치하는지 확인하십시오.

테스트 계측을 클릭하여 실험의 대상을 구성할 때 지정한 테스터에게 실험의 변형을 전송합니다.

실험 시작하기

실험이 의도한 대로 작동하는지 확인한 후, 실험 시작을 클릭하여 즉시 변형을 제공하기 시작하십시오. 나중에 시작하거나 나중에 중지하거나 둘 다 수행하려면 실험 시작을 확장하고 일정을 클릭합니다.

분석 종료 날짜를 설정하거나 기본 실험 분석 범위를 적용할 수 있습니다. 분석 종료 날짜는 결과에 표시되는 날짜를 제어합니다. 변형 전송을 중단하지는 않습니다. 설정된 시간에 게재를 중지하려면 중지를 예약하십시오.

실험이 실행된 후 실험이 통계적 유의성에 도달했을 때 또는 분석 종료 날짜에 도달했을 때 실험에 대해 결정할 수 있습니다.

이 일정 흐름은 웹 실험에도 적용됩니다.

실험 일정 잡기

시작, 중지 또는 둘 다를 예약하여 Amplitude가 선택한 시간에 변형 제공을 시작하고 종료하도록 합니다.

Amplitude가 향후 특정 시점에 새 사용자를 변형에 할당하는 것을 중단하도록 하려면 예약된 중단을 사용하십시오. 결과 기간을 제한하려는 경우 분석 종료 날짜를 사용하십시오. 이러한 설정은 독립적입니다.

1. 실험 시작을 확장하고 예약을 클릭합니다.
2. 시작 시간, 종료 시간 또는 둘 다를 설정합니다. 시작 일정을 적어도 1시간 전에 설정하십시오. 종료 시간은 시작 시간 이후여야 하며 두 시간 모두 미래여야 합니다.
3. 일정을 클릭합니다.

실험이 이미 예약되어 있거나 실행 중인 경우 일정 편집을 클릭하여 시작 또는 중지 시간을 변경하거나 제거합니다.

정지를 예약했는데 분석 종료 날짜가 비어 있는 경우 Amplitude는 분석 종료 날짜를 정지 시간으로 채웁니다. 분석 종료 날짜를 이미 설정한 경우 Amplitude는 해당 날짜를 변경하지 않은 채로 유지합니다. 정지를 스케줄링한 후에도 정지 시간 이후의 날짜를 포함하여 분석 날짜 범위를 편집할 수 있습니다.

중지 시간이 지나면 Amplitude는 새로운 사용자를 변형에 할당하는 것을 중단합니다. 결정을 내릴 때까지 실험이 Completed (Pending decision)보여줍니다.

기능 플래그의 경우 플래그 활성화를 확장하고 일정을 클릭합니다. Amplitude는 시작 시간에 플래그를 켜고 종료 시간에 플래그를 끕니다.

예약된 정지는 상호 배제 또는 홀드아웃 그룹의 균형을 조정하지 않습니다. 실험이 자동으로 중지된 후에도 상호 배제 슬롯은 사용되지 않은 상태로 유지되며 홀드아웃 카브아웃은 사용자를 계속 실험에 참여시키지 못하게 합니다.

배포 후 QA

배포 후에는 Amplitude가 각 변형에 노출시킨 사용자 수를 매일 추적할 수 있습니다.

_실험 > 내 실험 > 활동 탭 > 진단_으로 이동하여 Amplitude가 각 변형에 노출한 사용자 수를 확인하십시오.

이 뷰는 할당 프로세스를 QA하는 데 유용한 방법입니다. 한 변형에 예상보다 훨씬 많거나 훨씬 적은 사용자가 등록되는 경우 그 차이는 조사해야 할 문제를 나타낼 수 있습니다.

우려되는 이상값이나 비정상적인 현상을 발견한 경우 차트나 정보를 클릭하여 잠재적 원인을 조사하십시오. 이상 현상을 이해하는 방법에 대해 자세히 알아보려면 근본 원인 분석에 관한 이 문서를 참조하십시오.

실험의 계측 및 할당 논리를 보다 심층적으로 검증하려면 전체 A/B 테스트를 시작하기 전에 A/A 테스트를 실행하십시오.