Amplitude에서 A/B 테스트 결과 분석

Amplitude에서 A/B 테스트 결과를 분석하려면 각 사용자에게 사용자가 경험한 실험 변형을 사용자 속성으로 태그한 다음 각 변형이 AB 테스트 뷰에서 어떻게 수행되는지 비교하십시오. A/B 테스트는 통제된 무작위 실험을 실행하여 웹사이트 또는 애플리케이션 지표를 개선하며, AB 테스트 뷰는 각 실험 그룹이 애플리케이션에서 어떻게 동작하는지를 비교하여 그 영향을 측정합니다.

예를 들어 서로 다른 신규 사용자 그룹에게 두 가지 다른 온보딩 흐름을 보여준 다음 그 결과를 사용하여 더 많은 사용자가 온보딩을 완료하도록 유도하는 흐름을 식별할 수 있습니다. 또한 다양한 결제 흐름을 테스트하여 어느 것이 더 많은 매출을 창출하는지 확인할 수 있습니다.

실험 계측 도구 삽입

결과를 분석하기 전에 실험을 계측하십시오. Amplitude는 사용자 속성을 사용하여 사용자를 지정된 실험 변형과 연결할 것을 권장합니다. 사용자 속성은 제품을 사용하는 각 개인의 특성을 반영합니다. 이를 사용하여 Amplitude 애널리틱스에서 분석을 세분화할 수 있습니다.

사용자 속성을 업데이트하는 두 가지 주요 방법은 다음과 같습니다.

1. SDK 및 HTTP API: 이벤트 작업에 대한 사용자 속성을 업데이트합니다.

   • 방법: Amplitude의 SDK 또는 HTTP API를 통해 각 이벤트와 함께 사용자 속성을 전송합니다.
   • 장점: 사용자 속성은 앱이 이벤트를 전송할 때 적용됩니다. 이 속성은 사용자가 명시적으로 값을 업데이트할 때까지 모든 후속 이벤트에 대해 사용자에게 유지됩니다.
   • 단점: 이러한 이벤트는 월간 이벤트 볼륨에 수행 회수가 포함됩니다. 또한 이벤트는 기본적으로 사용자를 활성 사용자로 집계합니다. 전체 A/B 테스트 관련 이벤트를 비활성 이벤트로 표시합니다.

2. API 식별: 이벤트를 전송하지 않고 사용자 속성을 업데이트합니다.

   • 방법: Amplitude의 Identify API는 이벤트를 전송하지 않고 사용자 속성을 업데이트합니다.
   • 장점: 이벤트를 전송하지 않고 사용자 속성을 비동기적으로 업데이트합니다. 이 업데이트는 월별 이벤트 볼륨 수행 횟수에 영향을 주지 않습니다.
   • 단점: 사용자 속성은 사용자가 작업을 수행할 때까지 효력이 없습니다. 이는 대부분의 실험에서 문제가 되지 않습니다. 이 지연은 비활성 사용자가 애플리케이션으로 돌아오는지 여부를 추적하는 실험에 영향을 줄 수 있습니다.

예를 들어 7일 이상 비활성 상태인 사용자를 앱으로 다시 끌어들이려고 하고 있으며 이메일이 다시 사용자를 유도하는지 여부를 테스트하고 있다고 가정해 보겠습니다. Identify API를 사용하여 사용자 속성을 업데이트하는 경우 업데이트는 애플리케이션으로 돌아와 이벤트를 트리거하는 사용자에게만 적용됩니다. 사용자가 이메일을 받은 후에도 비활성 상태로 유지되는 경우 사용자 속성이 해당 사용자에게 적용되지 않습니다. 결과적으로 해당 비활성 사용자는 이메일을 받은 실험 그룹에 속하지 않습니다. 이는 사용자 속성이 첨부되지 않았기 때문입니다. 이와 같은 상황에서는 대신 이벤트 작업에 대한 사용자 속성을 업데이트하십시오(예: Email Sent라는 이벤트).

Amplitude가 사용자 속성을 데이터 동기화하는 방법에 대해 자세히 알아보십시오.

전송할 사용자 속성 수

Amplitude 사용자는 분할 테스트를 계측할 때 두 가지 접근법 중 하나를 사용하는 경향이 있습니다.

실험당 하나의 사용자 속성 사용

모든 사용자 속성은 키-값 쌍으로 제공됩니다. 이 접근법은 실험 이름을 키로 설정하고 실험의 모든 변형을 잠재적 값으로 설정합니다.

사용자 속성 키: Experiment 1 사용자 속성 값: variation_a

장점: 사용자 세그멘테이션 탭에서 세분화 기준으로 실험을 선택할 수 있습니다. 단점: 사용자 속성 목록은 활성 실험 수에 따라 길어질 수 있습니다.

모든 실험에 하나의 사용자 속성 사용

모든 사용자 속성은 키-값 쌍으로 제공됩니다. 이 접근 방식은 키를 Split Tests(으)로 설정하고 값을 배열에 저장합니다.

사용자 속성: Split Tests 사용자 속성 값: [experiment_1_value, experiment_2_value]

차트의 세그멘테이션 모듈에서 적절한 값이나 테스트 그룹을 선택하여 사용자 속성Split Tests을(를) 세분화할 수 있습니다.

장점: 스플릿 테스트와 관련된 사용자 속성은 하나뿐이므로(실험당 하나가 아닌) 대시보드에서 사용자 속성 목록을 관리 가능한 상태로 유지할 수 있습니다. 단점: append 또는 prepend을(를) 사용할 때 배열은 10,000자를 초과할 수 없습니다. 배열이 이 제한을 초과할 경우 Amplitude는 임계값을 넘은 전체 문자를 기록하지 않습니다.

또한 Amplitude는 Optimizely와의 완벽한 연동을 제공하여 각 실험에 대한 사용자 속성을 업데이트합니다.

Amplitude에서 결과 보기

각 실험 그룹에 대한 사용자 속성이 업데이트된 후 분할 테스트의 결과를 검토하십시오. 이 분석을 수행하려면 AB 테스트 뷰를 사용하십시오.

차트 제어판의 세그먼트 모듈에서 실험 그룹 간의 활동을 비교해 보십시오. 이를 위해서는 실험 그룹을 추가하십시오.