실험 분석 뷰

실험 분석 뷰는 실험의 세부 정보를 표시합니다. 실험을 선택한 다음 활동 > 분석으로 이동하여 개략적인 통계 측정을 확인하십시오. 이러한 측정값은 실험이 성공했는지 여부를 판단하는 데 도움이 됩니다.

이 문서에서는 분석 테이블의 각 열과 각 열이 실험과 어떻게 관련되는지에 대해 설명합니다.

분석 필터 및 차트 옵션

분석 뷰의 정보를 시간, 사용자 또는 순서 무관 사용 가능한 속성별로 필터링할 수 있습니다.

속성 선택을 선택하여 사용 가능한 속성별로 분석 보기를 필터링합니다.

실험 분석을 차트로 변환하려면 차트에서 열기를 선택합니다. Amplitude는 실험 정보를 가장 가능성이 높은 차트로 변환하고 새 탭에서 해당 차트를 엽니다. 그런 다음 차트를 수정할 수 있습니다.

지표 이름, 통제 및 상태

지표 이름 열에는 선택한 지표의 이름이 포함되어 있습니다. 최상위 지표는 추천 지표입니다. 다른 모든 메트릭은 보조 메트릭입니다. 지표 이름 위에 마우스를 올려 놓으면 해당 정의를 확인할 수 있습니다.

통제 열에는 실험에 대한 통제 그룹에 대한 정보가 포함되어 있습니다.

On 열에는 실험이 실행되는 동안 실험 활동에 대한 정보가 포함되어 있습니다. 실험이 완료되었거나 롤백된 경우 On 열에 처리 또는 특성과 같은 다른 관련 정보가 표시될 수 있습니다.

상대적 성능

상대 성능은 변형 성능과 통제 성능 간의 상대적 차이를 측정합니다. 이를 상대 상승폭이라고도 합니다. 이 값을 상호 검사하려면 단일 지표 섹션을 확장하고 변형에 대한 절대 상승도를 해당 지표에 대한 통제의 절대값으로 나눕니다.

신뢰 구간

신뢰 구간은 측정하려는 매개변수를 포함하는 값의 범위입니다. 이 경우 매개변수는 변형과 대조군 간의 평균 차이입니다. 신뢰 구간은 확률이 아닙니다. 신뢰 구간을 다음과 같이 해석하십시오. 신뢰 수준을 95로 설정한 상태에서 이 실험을 100회 실행한 경우 실제 매개변수 값이 이 범위 첫 사용 후 속할 가능성이 최소 95회 이상 있을 것으로 예상할 수 있습니다.

신뢰 구간은 지금까지 실험에서 관찰된 것의 특성을 보여줍니다.

• 신뢰 구간은 0을 포함합니다: 통제군과 치료 대상 구간 차이가 있는지 여부를 결정하기에 충분한 증거가 없습니다.
• 0보다 큰 신뢰 구간: 구간(상위 및 하위 신뢰 범위)이 0보다 큽니다. Amplitude 실험은 통계적 유의성에 도달하기에 충분한 관측치를 축적했으며, 변형이 대조군에 비해 긍정적인 효과를 갖는다고 결론을 내릴 수 있습니다. 예를 들어 리프트를 살펴보면 신뢰 구간이 0보다 큰 변형은 제어보다 성능이 좋습니다.
• 신뢰 구간이 0 미만인 경우: Amplitude 실험은 통계적 유의성에 도달하기에 충분한 관측값을 축적했으며, 변형이 대조군에 비해 부정적인 영향을 미친다고 결론지을 수 있습니다. 리프트를 살펴보면 신뢰 구간이 0보다 작은 변형은 제어보다 성능이 더 나빠집니다.

여러 변형이 있는 경우 차트 위의 드롭다운에서 신뢰 구간 차트에 표시하려는 변형을 선택합니다.

신뢰 구간에 액세스하려면 대조군 또는 실험 지표 위에 마우스를 올려 놓습니다.

유의성

유의성은 각 테스트 변형에 대해 표시된 성능이 데이터의 무작위 변동을 반영하기보다는 0과 다를 가능성입니다. 이 값이 높을수록 결과에 대한 확신을 높일 수 있습니다. 더 공식적으로, 유의성은 1 - p-값입니다.

절대값

절대값의 구체적인 의미는 지표 유형에 따라 다릅니다. 고유 전환의 경우 실험은 각 변형에 대해 전환한 사용자의 비율(노출된 사용자 총 수 대비 %)을 나타내는 비율로 값을 표현합니다. 분자 변환과 분모 노출은 백분율 아래에 나타납니다.

그렇지 않으면 값은 노출된 각 사용자에 대한 집계값(총 이벤트, 속성값 합계, 속성값 평균)을 나타냅니다. 분모는 총 노출 횟수입니다. 예를 들어 총 이벤트 10건/평균 4 exposures = on건의 경우 노출된 사용자는 2.5건의 전환 이벤트를 기록했습니다.

절대값에 액세스하려면 컨트롤 또는 지표 이름 위에 마우스를 올립니다.

윈소리화 통계

실험에 대해 윈소리화를 활성화하면 분석 뷰에 윈소리화가 데이터에 어떤 영향을 주었는지에 대한 추가 정보가 표시됩니다.

• 윈소리화된 사용자 수: 윈소리화가 값을 조정한 사용자 수행 회수가입니다.
• 윈소리화된 사용자 비율: 윈소리화의 영향을 받은 전체 사용자의 비율입니다.

이 정보는 이상값 처리가 실험 결과에 미치는 영향을 이해하는 데 도움이 됩니다. 윈소리화가 많은 사용자에게 영향을 미치는 경우 기본 데이터 분포를 조사하거나 윈소리화 설정을 조정하십시오.

자주 묻는 질문

그래프에 오류 상태가 표시되는 이유는 무엇입니까?

일반적인 실수는 하나의 변형만을 사용하여 차트를 생성하는 것입니다. 비교 결과를 표시하려면 실험 결과 차트에 둘 이상의 변형이 포함되어야 합니다. 컨트롤과 하나 이상의 변형을 모두 포함하지 않으면 차트에 아무 것도 표시되지 않습니다.

유의성을 달성하는 데 필요한 시간보다 오래 걸리는 이유는 무엇입니까?

T 검정을 사용할 때는 실험 결과에서 p값과 신뢰 구간 커스텀 계산을 실행하기 전에 실험이 지정된 표본 크기에 도달할 때까지 기다려야 합니다.

대규모 MDE를 사용하더라도 순차적 테스트를 수행할 경우 실험의 리프트가 작으면 통계적 유의성에 도달하는 데 시간이 걸릴 수 있습니다. T 검정은 일반적으로 동일한 리프트를 검출하기 위해 더 적은 수의 샘플을 필요로 합니다.

리텐션 지표는 어떻게 계산됩니까?

Amplitude는 다음 세 가지 매개변수를 사용하여 리텐션 지표에 대한 해당일 복귀를 계산합니다:

• 시작 이벤트: 노출 이벤트 이후에 발생하는 이벤트입니다. 시작 이벤트는 리텐션 기간이 시작되는 것을 표시합니다.
• 반환 이벤트: 시작 이벤트 후에 사용자가 수행하기를 원하는 이벤트입니다. 사용자가 반환 이벤트를 트리거하면 해당 사용자는 보존된 것으로 간주됩니다.
• n번째 일/주/월에 해당일 복귀: 사용자가 시작 이벤트를 수행한 시점과 복귀 이벤트 대상 구간의 일수, 주 또는 개월 수입니다. Amplitude는 이 매개변수를 24시간 단위로 계산하며 달력 날짜를 사용하지 않습니다.

예를 들어 사용자가 노출 이벤트, 시작 이벤트 및 복귀 이벤트를 수행한다고 가정해 보겠습니다.

• 노출 이벤트: Page Viewed
• 시작 이벤트: Sign Up
• 반환 이벤트: Add to cart

n일째 반환 값이 7인 경우, 사용자가 트리거 후 7일에서 Add to cart7일 Plus 24시간 사이에 트리거가 발생하면 보존된 것으로 간주됩니다Sign Up.

반환(return-on) 값이 n번째 주 값인 1(1주 또는 7일)인 경우, 사용자가 이후 7일째(1주차)와 14일째(2주차) 사이의 시간에 작업을 Add to cart수행하면 보존된 것으로 Sign Up간주됩니다.

n번째 달의 반환(return-on) 값이 1(30일)인 경우, 사용자가 Sign Up이후 30일(1개월)과 60일(2개월) 사이의 시간에 작업을 수행하면 보존된 것으로 간주됩니다Add to cart.