실험에 대한 결정을 내리십시오

실험이 통계적 유의성에 도달한 후, 분석 종료 날짜 또는 예정된 중단일이 되면 다음 작업을 결정하십시오. 이 문서에서는 실험을 종료하는 방법과 사용 가능한 옵션에 대해 설명합니다.

실험 종료

분석 종료 날짜에 도달하거나 통계적 유의성에 도달하면 실험을 종료하십시오. 실험을 종료하려면 실험 완료를 클릭합니다.

중지를 예약한 경우, 중지 시간이 지나면 Amplitude는 이미 새로운 사용자를 변형에 할당하는 것을 중단한 상태입니다. 실험 결과는 Completed (Pending decision)를 보여줍니다. 실험 완료를 클릭하여 롤아웃, 롤백 또는 계속합니다.

그런 다음 다음 중 하나를 선택합니다.

• 승리한 변형을 롤아웃합니다.
• 롤백하여 모든 것을 실험 전 상태로 되돌립니다.
• 실험을 계속하십시오.

이 결정은 나중에 다시 검토할 수 있습니다.

실험이 끝날 때 일어나는 일

실험을 완료하면 Amplitude는 분석을 위한 새 데이터 수집을 중단합니다. 실험은 실험 목록에 남아 있지만 더 이상 새 사용자를 변형에 할당하지 않습니다. 과거 데이터와 분석 결과를 계속 검토할 수 있습니다.

롤아웃 또는 롤백을 수행할 경우 Amplitude는 사용자가 선택한 변경 사항을 적용합니다. 실험을 계속하면 사용자가 지정한 새 종료 날짜까지 활성 상태로 유지됩니다.

변형 롤아웃

모든 사용자에게 승리 변형을 롤아웃할 때 Amplitude:

• 롤아웃 비율을 100%로 설정합니다.
• 승리 변형에 대해 분배 가중치를 100으로, 다른 모든 변형에 대해 0으로 변경합니다.
• 스티키 버킷팅을 비활성화합니다(false로 설정).

사용자 지정 비율로 롤아웃하는 경우, Amplitude는 이러한 자동 변경 사항을 적용하지 않습니다. 롤아웃 결정을 확인한 후 변경 사항을 수동으로 적용해야 합니다.

또한 "대상 사용자에게만 적용"할 수도 있습니다. 이 옵션은 실험 결과를 지나치게 일반화하지 않도록 도와줍니다. 예를 들어 미국 사용자를 대상으로 삼았는데 5% 개선된 결과를 발견했습니다. 이 결과가 모든 사용자를 대상으로 한 롤아웃이 미국 이외의 지역에서 5% 상승을 가져온다는 것을 의미하지는 않습니다. 미국 사용자의 경우 5% 상승을 경험할 수 있지만 다른 모든 사용자의 경우 -2% 상승을 경험할 수 있습니다.

실험 롤백

실험을 롤백할 때 Amplitude:

• 플래그를 끕니다.
• 백분율 롤아웃을 0%로 설정합니다.

실험을 계속하십시오

실험을 계속하려면 더 많은 데이터를 수집할 새로운 종료 날짜를 입력하고 실험 시작을 클릭하십시오.

새로운 결과로 실험을 다시 시작하려면(예를 들어 계측 문제가 데이터 품질에 영향을 미친 후), 새 실험을 생성하십시오. 새 실행은 이전 사용자 데이터를 모니터링 및 분석에서 제외합니다.

기능 플래그 정리

실험을 결정한 후에는 불필요한 오버헤드와 혼동을 방지하기 위해 기능 플래그를 정리하십시오.

실험을 비활성화하거나 보관하십시오

실험을 롤아웃하거나 롤백하거나 계속한 후에는 Amplitude에서 실험을 비활성화하거나 보관하십시오. 아카이빙은 불필요한 논리를 제거하고 실수로 재활성화되거나 분석 혼란이 발생하는 것을 방지합니다.

실험을 비활성화하거나 보관하려면 다음과 같이 하십시오.

1. Amplitude 실험에서 실험으로 이동합니다.
2. 실험 완료 또는 플래그 끄기 옆의 메뉴를 클릭합니다.
3. 실험을 보관하려면 보관을 선택합니다.

보관된 실험은 보관됨 레이블과 함께 실험 목록에 남아 있습니다. 필요할 때 이를 아카이브 해제할 수 있습니다.

실험 코드 삭제

성공적인 변형을 출시할 때는 엔지니어링 팀과 협력하여 성공적인 경험을 프로덕션 코드 기반에 직접 구현하십시오. 코드에 변형을 구현하면 100% 트래픽 할당으로 실험을 계속 진행할 필요가 없습니다.

엔지니어링 팀이 선택한 변형을 코드에 구현한 후에는 코드베이스에서 실험 로직을 제거하십시오. 로직을 제거하면 기술적 부채가 줄어들고 성능이 향상됩니다.