고급 지표 사용 사례

이 문서에서는 실험 결과를 분석할 때 발생할 수 있는 고급옵션 사용 사례에 대해 설명합니다.

사례 1: 실험의 지표를 기반으로 퍼널 분석 생성

5단계로 구성된 전환 퍼널을 상상해보십시오. 여기서 3단계는 실험에 대한 노출 이벤트를 나타냅니다. 노이즈를 줄이고 통계적 유의성에 도달할 가능성을 높이기 위해 Amplitude 실험은 노출 이벤트 이후에만 지표 이벤트를 계산합니다. 노출 이벤트가 퍼널의 3단계이고 전체 퍼널을 지표로 포함시키는 경우 퍼널 전환 카운트는 0입니다. 퍼널의 실제 전환율을 측정하려면 실험에서 3단계부터 5단계까지를 독립형 지표로 설정하십시오.

퍼널 분석에서 실험의 전환율에 대한 추가 분석이 필요할 수도 있습니다.

퍼널 분석 차트에서 실험의 지표를 사용하려면 다음 단계를 따르십시오.

1. 이벤트 모듈에서 퍼널 분석에 사용할 이벤트를 추가하십시오.
2. 측정 기준 모듈에서 전환 시간 창을 선택한 다음 계산 방법(고유 사용자 또는 합계)을 지정합니다.
3. [세분화 기준] 모듈에서 분석 단위 또는 그룹 유형(예: 전체 사용자)을 선택합니다.
4. 실험의 각 변형에 대한 사용자 세그먼트를 생성합니다.
5. 수행됨을 선택하여 실험의 플래그 키와 변형을 사용하여 필터를 추가합니다. 실험을 다시 시작한 경우 실험 키 필터를 추가하십시오.
6. 날짜 범위를 모든 시간 이후로 설정하여 실험 시작 날짜와 일치시키십시오.

퍼널 분석 차트 결과는 실험 결과와 약간 다를 수 있습니다. 퍼널 분석과 실험은 변형으로 점프하는 사용자를 다르게 처리합니다.

예를 들어 퍼널 분석에는 필터 요구 사항을 충족하는 모든 사용자가 포함됩니다. 그런 다음 퍼널 분석은 필터링된 사용자를 기반으로 퍼널의 전환율을 계산합니다. 퍼널 분석은 사용자가 퍼널을 완료한 후 노출 이벤트에 도달했더라도 사용자를 포함할 수 있습니다.

다른 Amplitude 분석 지표를 사용하여 실험 데이터를 분석하십시오.

Amplitude 애널리틱스는 Amplitude 실험에서 제공하지 않는 지표를 제공합니다. 이전 섹션의 단계를 사용하여 전환까지의 시간이나 당일 혹은 이후 복귀를 분석하십시오.

자세한 내용은 퍼널 분석 FAQ에 관한 이 헬프 센터 문서를 참조하십시오.

사례 2: 사용자의 하위 집합을 기반으로 실험 결과를 분석하십시오.

실험이 모든 사용자를 대상으로 하지만 미국 내 노출된 사용자만 포함하여 일부 사용자에 대한 실험의 효과를 검사하려고 한다고 가정해 보십시오. 국가 속성에 필터를 추가해도 예상했던 결과가 생성되지 않습니다.

지표를 생성할 때, Amplitude는 노출된 모든 사용자에 대해 해당 지표를 계산합니다. 미국 내 사용자에 대한 필터를 지표 이벤트에 추가하면 분자에는 필터가 포함되지만 분모에는 포함되지 않습니다.

실험 결과에서 일부 사용자를 필터링하려면 다음 단계를 수행하십시오.

1. 실험에서 활동 > 분석 > 외부 링크 아이콘으로 이동하십시오.
2. 수행자별 변형 섹션에서 필터를 선택하여 국가 속성에 대한 필터를 추가합니다.

하나의 하위 집합만을 기반으로 실험 결과를 분석하지 마십시오. 실제로 통계적으로 유의미한 결과를 찾을 때 위양성이 발생할 수 있습니다.

이 상황에서 다중 가설 검정을 실행할 경우 각 세그먼트에 대해 별도의 가설 검정을 실행해야 합니다. 한 하위 집합에서는 양의 리프트를 확인하고 다른 하위 집합에서는 음의 리프트를 확인할 수 있습니다. 이러한 상황에서 롤아웃 또는 롤백 결정이 항상 명확하지는 않습니다. 한 가지 옵션은 양의 리프트를 보이는 그룹에만 롤아웃하는 것입니다.

사례 3: 임계값 지표

때로는 사용자가 이벤트를 여러 번 수행하는 것으로 성공을 정의하려는 경우가 있습니다. 예를 들어 사용자가 3(3)회 연속 구매를 해야 전환으로 수행 회수가 간주됩니다. 이를 위해 세 개의 구매 이벤트를 통해 고유 사용자별로 카운팅하는 퍼널을 생성하십시오.