실험으로부터 학습

여러분은 실험을 설계하고, 이를 사용자에게 배포했으며, 새로운 변형과 상호작용할 수 있는 충분한 시간을 제공했습니다. 자, 가설이 옳았는지 확인해보십시오.

활동 탭을 통해 실험이 통계적으로 유의미한 결과를 낳았는지 여부와 그 결과가 무엇인지 한 눈에 확인할 수 있습니다. 실험은 설계 및 롤아웃 단계에서 사용자가 제공한 정보를 자동으로 사용하므로 반복적인 작업을 방지할 수 있습니다. 활동 탭은 결과를 변형별로 분류하고 자세한 표 형식의 분석을 제공합니다.

필터 카드

필터 카드에서 페이지의 분석을 업데이트하는 기준을 설정합니다. 다음을 사용하여 실험 결과를 필터링하십시오.

• 날짜입니다.
• Segment
• 속성

날짜 필터

날짜 필터는 기본적으로 실험의 분석 시작 날짜와 종료 날짜를 사용합니다. 실험 결과의 범위를 해당 특정 날짜에 맞추도록 범위를 조정하십시오. 예약된 중지는 변형 노출을 중지시킵니다. 이 분석 필터를 대체하지는 않습니다.

세그먼트 필터

세그먼트 필터를 사용하면 미리 정의된 세그먼트를 선택하거나 임시로 하나의 세그먼트를 생성할 수 있습니다. 사전 정의된 세그먼트는 다음과 같습니다.

• 실험
  • 노출된 모든 사용자. 변형을 본 사용자.
  • 테스터들. 실험 구성 다음 기간동안 사용자는 테스터로 추가되었습니다.
  • 테스터는 제외합니다. 실험 구성 중에 테스터로 추가된 사용자는 제외됩니다.
  • 변형이 점프한 사용자를 제외합니다. 둘 이상의 변형을 본 사용자는 제외됩니다.
  • 테스터와 변형 점퍼는 제외합니다. 테스터로 추가된 사용자와 둘 이상의 변형을 본 사용자는 제외됩니다.
• Amplitude
  • 새 사용자입니다. 선택한 날짜 범위 다음 기간동안 최소 한 개의 새로운 사용자 이벤트를 트리거한 사용자입니다.
  • 모바일 웹. 모바일 장치의 웹에서 이벤트를 트리거한 사용자입니다.
  • 데스크톱 웹. 데스크톱 장치에서 웹에서 이벤트를 트리거한 사용자입니다.

이러한 세그먼트는 실시간으로 업데이트됩니다.

세그먼트 아이콘을 클릭한 다음 세그먼트 작성을 클릭하여 세그먼트 빌더를 연 다음 새 세그먼트를 정의합니다. 한 실험에서 만든 세그먼트는 다른 모든 실험에서 사용할 수 있으며 불러오기 모든 세그먼트 범주에 나타납니다.

속성 필터

사용자 속성을 기반으로 실험 결과를 필터링합니다. 예를 들어 특정 국가 또는 지리적 지역의 사용자나 플랫폼에서 특정 계정 유형을 보유한 사용자를 제외하는 필터를 만들 수 있습니다.

필터 추가를 클릭하여 속성 필터를 작성합니다.

데이터 품질 카드

Amplitude는 각 변형에 100명의 사용자가 있고 25개의 전환이 있을 때까지 이진 지표(예: 고유 전환)를 사용하는 실험에 대한 p값이나 신뢰 구간을 생성하지 않습니다. 비바이너리 메트릭을 사용하는 실험은 변형당 100명의 사용자에게 도달하기만 하면 됩니다.

범주를 확장하거나 안내서를 클릭하면 데이터 품질 안내서가 사이드 패널에 열리며, 여기서 문제를 해결하거나 무시할 수 있습니다.

요약 카드

요약 카드는 실험의 가설을 설명하고 그 가설이 통계적 유의성에 도달했는지 여부를 알려줍니다.

요약 카드에는 실험이 통계적 유의성에 도달하면 '유의함'이라는 레이블이 표시되고, 그렇지 않은 경우 '유의하지 않음'이라는 레이블이 표시됩니다. 이 카드는 동시에 여러 개의 배지를 표시할 수 있습니다:

• 결론을 내릴 수 없음: 테스트가 기본 지표에 대해 결론을 내리지 못했습니다.
• 목표 초과 또는 목표 미만: 주요 지표의 평균은 테스트 방향에 따라 목표보다 높거나 낮았습니다(증가 = 초과, decrease = below).
• 대조군 이상 또는 대조군 이하: 주요 지표의 평균은 테스트 방향에 따라 대조군 평균보다 높거나 낮습니다(증가 = 초과). 이러한 배지는 통계적으로 decrease = below).유의미한 결과에만 적용됩니다.

분석 카드

분석 카드 상단에는 실험이 어떻게 수행되었는지를 설명하는 요약이 표시되어 있으며, 이는 지표와 변형별로 분류되어 있습니다. 요약 아래에는 지표별로 분석할 수 있는 실험 결과 차트 모음이 있으며, 다음에 대한 정보를 표시합니다.

• 신뢰 구간입니다.
• 누적 노출량입니다.
• 이벤트 총 횟수.
• 시간별 평균 가치입니다.

자세한 내용은 '실험 결과를 사용하여 실험 데이터 더 깊이 분석하기'를 참조하십시오.

실험 결과의 사본을 새 차트에서 열려면 차트에서 열기를 누릅니다.

필요한 경우 실험의 신뢰도 수준을 조정하십시오. 기본값은 95%입니다. 또한 순차 테스트와 T 테스트 중에서 선택할 수 있습니다.

속성별

실험을 실행할 때 실험이 다른 사용자에게 다르게 영향을 주었는지, 즉 이질적인 처치 효과가 있는지 여부를 알고 싶어하는 경우가 많습니다. 이를 확인하는 한 가지 방법은 Platform = iOS, Platform = Android, Platform = Web, 을 차례로 필터링하는 것입니다. 결과를 기준으로 그룹화하면 클릭 횟수를 줄이면서 동일한 결과를 얻을 수 있습니다Platform. 자세한 내용은 속성별: Amplitude가 차트 결과를 정리하고 정렬하는 방법을 참조하십시오.

대시보드의 속성별 설정은 임시적입니다. 대시보드를 새로 고치면 사용자가 정의한 전체 속성별 기준이 재설정됩니다.

진단 카드

진단 카드는 실험이 어떻게 진행되고 있는지에 대한 정보를 제공합니다. 진단 카드에는 다음에 대한 차트가 표시됩니다.

• 할당 이벤트(누적 및 비누적).
• 노출 이벤트(누적 및 비누적).
• 할당에서 노출로의 전환.
• 변형 점프.
• 익명 노출(누적 및 비누적).
• 할당이 없는 노출(누적 및 비누적).

보다 자세한 제어를 위해서는 분석 차트 모드에서 이러한 전체 차트를 엽니다.

알림 활성화

전용 Slack 채널이나 웹후크를 통해 실험에 대한 알림을 받을 수 있습니다. Slack 통합 페이지에서 실험 알림 페이지로 이동하여 이러한 알림을 설정하세요.

다음 이벤트에 대한 알림을 설정할 수 있습니다.

• 실험 시작 임박: Amplitude는 예약된 실험이 시작되기 직전에 이 알림을 전송합니다.
• 실험 종료 도달: 실험이 완료되면 Amplitude에서 이 알림을 전송합니다.
• SRM 감지됨: Amplitude는 샘플 비율 불일치 문제를 식별할 경우 이 알림을 전송합니다.
• 장기간 실험: Amplitude는 장기간 실험이 완료될 때 이 알림을 전송합니다.
• 추천 지표의 통계적 유의성 도달: Amplitude는 실험의 추천 지표가 통계적 유의성에 도달할 때 이 알림을 전송합니다.

Amplitude 실험은 실험의 편집자에게 알림을 보냅니다.

다음 단계

어떤 실험도 실패는 아닙니다. 비록 당신이 원하는 결과를 얻지 못했다 하더라도, 당신은 여전히 그 과정에서 배울 수 있습니다. 결과를 출발점으로 삼아 여러분이 이룬 변화, 실현한 결과, 고객이 여러분의 제품에 대해 기대하는 바, 그리고 여러분이 그러한 기대에 부응할 수 있는 방법에 대해 질문하세요.

일반적으로 다음 단계는 더 많은 증거를 수집하기 위해 가설을 뒷받침하는 다른 실험을 실행할지 아니면 최상의 결과를 제공하는 변형을 구현할지 결정하는 것입니다. 또한 실험을 심층 검토를 위해 Amplitude 애널리틱스의 실험 분석으로 내보낼 수 있으며, 여기에서 사용자를 세분화하고 더 많은 인사이트를 생성할 수 있습니다.