실험의 목표를 정의하세요

추적할 지표가 없으면 실험은 아무것도 알려줄 수 없습니다. 실험 설계 패널의 목표 섹션에서 실험에 지표를 추가하십시오.

기본 지표와 보조 지표를 정의합니다.

기본 지표는 가설을 수락할지 거부할지, 그리고 실험이 성공했는지 실패했는지를 결정합니다. 실험 성공을 평가할 올바른 기본 지표를 선택하십시오. A/B 테스트를 처음 접하는 경우 다음 지침을 따라 주요 지표를 선택하세요.

• 변형이 성공했는지 여부를 알려주는 단일 사용자 작업을 식별합니다.
• 변형의 변경이 직접적으로 영향을 주는 이벤트를 측정합니다.
• 영향을 주려는 사용자 행동을 완전히 포착하는 이벤트를 선택하십시오.

실험은 각 실험에 대해 여러 지표를 지원합니다. 보조 지표는 필수는 아니지만 분석의 품질을 향상시키고 실험을 전개할지 여부를 평가하는 데 도움을 줍니다.

실험을 위한 지표 설정

1. 기존 실험을 열거나 실험을 생성한 다음 측정 단위 섹션으로 스크롤하여 편집 아이콘을 선택합니다.
2. 지표 추가를 선택한 다음 드롭다운 목록에서 원하는 지표를 선택합니다. 또는 사용자 지정 지표 생성을 선택하여 사용자 지정 지표를 정의합니다.
3. 지표가 증가 또는 감소해야 하는지 여부와 비율을 지정합니다.
4. (선택 사항) 기본 측정 단위의 경우 허용가능한 최소 목표를 설정합니다. 이는 실험의 성공 여부를 결정하는 데 필요한 대조군과 변형 대상 구간의 최소 상대적 거리입니다.
5. 보조 지표를 추가하려면 지표 추가를 선택하고 프로세스를 반복합니다.

지표를 추가한 후 변형을 설정합니다.

성공 여부 및 가드레일 지표의 예

성공 지표는 개선하고자 하는 주요 결과를 측정합니다.

• 전환 지표: 구매 완료율, 가입 전환율, 장바구니 추가율.
• 참여 지표: 일일 활성 사용자, 평균 세션 시간, 기능 도입률.
• 수익 지표: 평균 주문 금액, 각 사용자별 수익, 구독 업그레이드.
• 리텐션 지표: 7일째 리텐션율, 사용자 재방문률.

가드레일 지표는 실험 다음 기간동안 성능이 저하되어서는 안 되는 중요한 지표를 모니터링합니다.

• 성능 지표: 페이지 로드 시간, API 응답 시간, 앱 충돌률.
• 품질 지표: 오류율, 거래 실패율, 지원 티켓 양.
• 핵심 참여도: 실험과 관련이 없는 주요 기능의 사용량, 전체 세션 수행 회수가.
• 비즈니스 상태: 구독 취소율, 환불율, 부정적 리뷰율.

예를 들어 새로운 결제 흐름을 테스트할 때 성공 지표는 "구매 완료율(증가)"일 수 있으며 가드레일 지표에는 "결제 페이지 로드 시간(증가 없음)" 및 "결제 오류율(증가 없음)"이 포함될 수 있습니다.

기간 예측기

기간 추정기는 지표 설정에 따라 중요한 결과를 얻는 데 필요한 시간과 샘플 크기를 계산합니다. Amplitude 실험은 기록 데이터로부터 업계 기본값을 미리 채웁니다. 신뢰도 수준, 통계적 검출력, 최소 감지 가능한 효과, 표준 편차 및 테스트 유형을 조정할 수 있습니다.

사용자 지정 메트릭 생성

필요에 맞는 표준 지표가 없는 경우 새 지표를 생성하십시오.

사용자 지정 지표를 생성하는 단계

1. 사용자 지정 지표 생성을 선택합니다.
2. 지표에 이름을 지정하고 설명을 추가합니다.
3. 지표의 유형을 정의합니다. 지표는 다음 유형 중 하나일 수 있습니다.
   • 고유 전환
   • 이벤트 수
   • 수식
   • 퍼널 전환
   • 해당일 복귀 리텐션
   • 속성값 합계
   • 속성값 평균입니다.
4. 이벤트 추가를 선택하여 원하는 이벤트를 설정한 다음 해당 이벤트를 선택합니다.
5. 원하는 전체 키 속성을 설정합니다.
6. 저장 후 닫기를 선택합니다.

노출 이벤트 정의

실험에서 [실험 설계] 패널 또는 [분석 설정]을 열고 노출 이벤트를 선택합니다. 사용자가 이 이벤트를 트리거하면 Amplitude 실험은 이를 실험에 참여시킵니다. Amplitude 노출 이벤트는 실험의 변형에 대한 사용자 노출을 추적하는 가장 정확하고 신뢰할 수 있는 방법이므로 가능하면 이를 사용하십시오.

Amplitude는 앱이 .variant()을 호출할 때 Amplitude exposure이벤트를 전송합니다. 이 이벤트는 Amplitude 실험이 분석에 사용하는 사용자 속성을 설정합니다. Amplitude 노출 이벤트를 사용할 경우 해당 이벤트는 올바른 시간에 트리거됩니다.

대신 사용자 정의 노출 이벤트를 선택할 수 있습니다. 사용자 정의 노출, 이벤트 선택 순으로 선택합니다. 사용자 지정 노출 이벤트는 잘못된 시간에 트리거될 위험이 더 커지므로 샘플 비율이 불일치할 수 있습니다.

자세한 내용은 노출 이벤트 문서를 참조하십시오.

실험에서 집계된 메트릭 사용

이벤트 기반 지표 외에도 집계된 지표(fka 웨어하우스 지표)를 실험의 목표로 사용할 수 있습니다. 집계 지표는 데이터 웨어하우스에서 Amplitude로 직접 가져온 사전 계산된 지표로, 이를 통해 실험 분석과 일관된 진실 소스를 유지할 수 있습니다.

집계된 지표는 실험 목표가 다음과 같이 행동 이벤트만으로는 계산하기 어려운 비즈니스 지표와 관련되어 있을 때 유용합니다.

• 수익 및 재무 지표: 여러 데이터 소스에 걸쳐 계산이 필요한 평균 주문 금액, 잔여 크레딧 또는 구독 수익입니다.
• 고객 건강 지표: 고객 평생 가치(LTV), 건강 점수 또는 데이터 웨어하우스에서 모델링된 이탈 위험 예측.
• 상태 지표: 개별 이벤트가 아닌 사용자 상태를 추적하는 현재 구독 계층, 활성화 상태 또는 계정 수준 속성입니다.

실험에 측정항목을 추가하면 집계된 측정항목이 웨어하우스 아이콘과 함께 측정항목 선택기에 나타납니다. 이벤트 기반 메트릭과 마찬가지로 이를 기본 또는 보조 메트릭으로 사용하십시오. Amplitude는 각 집계된 지표가 마지막으로 동기화된 시간과 다음 동기화가 예약된 시간을 표시하므로 실험 결과가 최신 데이터를 반영하는지 확인할 수 있습니다.

집계된 지표 설정 및 사용에 대한 자세한 내용은 집계된 지표(fka 웨어하우스 지표) 요약을 참조하십시오.