실험 후 단계

Amplitude 실험의 웹 실험은 가설을 테스트하고, 아이디어를 검증하며, 데이터를 기반으로 제품 결정을 내리는 데 도움이 됩니다. 우승 변형을 확인한 후에는 Amplitude는 실험을 100% 트래픽 할당으로 유지하는 대신 해당 변형을 프로덕션 코드 기반으로 이동할 것을 권장합니다.

실험이 끝날 때

실험을 끝내고 승자를 선택할 준비가 되었을 때:

1. 결과를 분석하고 우승자를 확인하십시오. 실험이 통계적 유의성에 도달했는지 확인하고 우승 변형이 비즈니스 목표와 일치하는지 확인하십시오.
2. 우승자를 코드에 구현하십시오. 엔지니어링 팀과 협력하여 우승한 경험을 프로덕션 코드 기반에 복제하십시오. 자세한 내용은 우승 변형을 마이그레이션할 때 얻을 수 있는 혜택을 참조하십시오.
3. Amplitude에서 실험을 비활성화하거나 보관하십시오. 불필요한 로직을 제거하고 실수로 인한 재활성화나 분석상의 혼동을 방지하려면 실험을 비활성화하십시오.
4. 결과를 문서화하십시오. 목표, 주요 학습 내용, 의사 결정 및 구현 후속 조치와 같은 실험 세부 정보를 내부 기술 자료에 기록하십시오.

기능 플래그 활성화

변경 사항에 롤백 기능이나 점진적 롤아웃이 필요한 경우 기능 플래그를 사용하십시오. 기능 플래그를 사용하면 실험 논리와 메타데이터의 오버헤드 없이 지속적인 제어를 수행할 수 있습니다.

성공한 변형을 마이그레이션할 때 얻을 수 있는 이점

우승 변형을 프로덕션 코드 기반으로 이동하면 다음과 같은 이점이 있습니다.

• 성능 및 사용자 경험: 웹 실험을 100% 수준으로 실행하면 페이지에 예방할 수 있는 클라이언트 측 오버헤드가 추가됩니다. 오버헤드는 페이지 로드 실행 시간을 증가시키고 성능에 부정적인 영향을 줄 수 있습니다. 특히 규모가 큰 경우에는 더욱 그렇습니다. Amplitude가 성능을 최적화하는 방법에 대한 자세한 내용은 웹 실험 성능을 참조하십시오.
• 기술적 부채: 장기간 실행 중인 실험은 대시보드와 실험 환경을 복잡하게 만듭니다. 결정을 내린 후에도 실험을 활성 상태로 두면 불필요한 구성 오버헤드가 발생하고 사용자에게 노출되는 오류의 위험이 증가합니다.
• 플랫폼 비용 및 노출량: 각 실험 평가는 Experiment에서 월간 노출량에 반영됩니다. 학습이 더 이상 이루어지지 않는 상태에서 테스트를 100% 트래픽으로 실행하더라도, 실험은 여전히 각 페이지 로드 시 평가를 수행합니다. 시간별로 이러한 평가는 비용을 증가시키고 예산 책정의 비효율성을 초래합니다.