실험 결과를 통해 실험 데이터를 심층적으로 파악하십시오

실험 결과를 사용하면 실험에서 수집한 데이터를 자세히 살펴볼 수 있습니다. 실험 결과는 Amplitude가 아닌 기능 플래그 지정 플랫폼의 데이터와 정보를 통합할 수 있으며, Amplitude의 기본 계획, 추적 및 분석 도구 내에서 해당 외부 데이터를 사용할 수 있습니다. Amplitude는 이 데이터를 실험에서 생성하는 A/B 추적 데이터에 통합합니다.

시작하기 전에

실험 결과를 사용하기 전에 실험과 관련된 지표 이벤트를 계측하십시오. 지표 이벤트가 없으면 실험 결과가 분석에서 각 변형을 비교하는 데 필요한 성공 지표와 목표를 생성할 수 없습니다.

또한 실험에 참여하는 사용자에게 변형체가 전달되는 것을 나타내는 필요한 노출 이벤트를 계측합니다.

자세한 내용은 실험 결과 FAQ를 참조하십시오.

실험 결과를 사용하여 A/B 테스트 분석

A/B 테스트를 생성하고 결과를 보려면

1. _만들기 > 차트 > 실험 결과_로 이동합니다.
2. 지표 모듈에서 지표 추가 또는 일회용 지표 정의를 눌러 기본 지표를 정의합니다.
3. 일회용 지표를 추가하는 경우 드롭다운 메뉴를 사용하여 지표 유형을 지정합니다. 다음 중 하나를 선택합니다.
   • 고유 전환
   • 이벤트 수
   • 속성값 합계
   • 속성값 평균: .
   • 퍼널 전환
   • 수식

The first four are available for individual event metric analyses. Funnel conversion lets you define a multi-step journey that users must complete for the conversion to count. The Formula metric lets you define a formula centered around a selected event or events.

4. 이 지표에 사용할 이벤트를 지정합니다. Where 절을 사용하여 이벤트를 필터링할 수도 있습니다.

5. 완료되면 완료를 클릭합니다.

   선택적으로 보조 지표 모듈에서 지표 추가 또는 일회용 지표 정의를 눌러 분석에 두 번째 종속 지표를 추가합니다. 필요에 따라 여러 보조 지표를 추가하십시오.

6. 노출 모듈에서 이벤트 추가를 클릭하여 실험의 노출 이벤트를 정의합니다. 노출 이벤트는 사용자가 실험에 참여하기 위해 트리거해야 하는 이벤트입니다.

7. 모듈별 수행 변형에서 실험 변형 추가를 클릭하여 변형을 추가합니다. 모든 실험에는 대조군이라고 알려진 적어도 하나의 변형이 필요합니다.

변형을 정의하는 속성과 값을 선택하고 적용을 누릅니다.

8. 실험 변형 추가를 클릭하여 피쳐 플래그 지정 시스템의 실험 설정을 반영하는 변형을 더 추가합니다.

Amplitude는 사용 가능한 통계 결과를 계산하여 결과 영역에 표시합니다. 결과를 통해 실험의 통계 설정을 수정할 수 있으며, 예를 들어 기본 순차적 테스트에서 T 테스트로 전환할 수 있습니다.

결과 해석하기

구체적인 내용은 사용하는 지표 유형에 따라 달라집니다. 네 개의 차트가 결과를 나타냅니다.

• 시간별 절대 성능의 신뢰 구간: 이 차트는 순차 테스트에만 적용됩니다. 이 기능은 실험이 통계적 유의성에 도달하는 시점을 식별하도록 도와주며, 이는 신뢰 구간이 더 이상 0을 포함하지 않을 때 발생합니다.
• 누적 노출: 이 차트는 시간별 실험에 노출된 사용자 수를 보여줍니다. X축은 사용자가 처음 노출된 날짜를 나타내며, Y축은 실험에 노출된 사용자의 누적 총 수를 나타냅니다.
• 변형별 성능: 이 차트의 제목은 사용자가 중점을 두는 지표입니다. 이 차트는 퍼널의 각 단계를 완료한 사용자 수를 보여 주며, 지표가 퍼널이 아닌 경우 각 변형의 평균을 보여 줍니다.
• 시간별 평균(누적 또는 비누적): X축은 사용자가 실험을 처음 본 날짜를 나타냅니다. Y축은 선택한 지표의 평균을 나타냅니다. 지표 테이블 아래의 드롭다운을 클릭하여 지표를 선택합니다. Amplitude는 기본적으로 각 변형에 대해 추천 지표를 선택합니다. 이 차트는 비전환 지표도 처리한다는 점을 제외하고는 시간별 전환 차트와 비슷하게 작동합니다. 이 차트를 사용하여 계절성, 신규성 효과 또는 시간별 추세를 식별할 수 있습니다. 일반적으로 실험 시작 무렵의 평균값은 실험 종료 무렵의 평균값보다 큽니다. 이는 실험 시작 시점의 사용자들이 지표 이벤트를 수행할 시간이 더 많았기 때문입니다. 노출 속성 창을 사용할 때 이러한 우려는 줄어듭니다. 이 차트의 누적 또는 비누적 버전을 확인합니다. 누적 뷰는 일상적인 노이즈를 완화시키고 차트를 더 쉽게 해석할 수 있도록 해줍니다.

이 차트는 또한 종합적인 실험을 통해 학습할 수 있도록 도와줍니다.

속성별

실험의 그룹화 기준에 대한 자세한 리소스는 속성별 참조 및 실험 학습 가이드를 참조하십시오.