홀드아웃 그룹

때로는 특정 비율의 사용자가 실험을 보지 못하도록 방지해야 할 수도 있습니다. 이는 여러 실험의 장기적인 결합 효과를 측정할 때 가장 중요합니다. 한 실험에서의 통계적 유의성은 실험 프로그램의 실제 누적 영향을 반영하지 않을 수 있습니다.

실험에서 사용자를 제외하려면 홀드아웃 그룹을 생성하십시오. 홀드아웃 그룹은 여러분이 배포한 변형의 장기적인 영향과 실험 프로그램 전체의 향상을 측정합니다. 홀드아웃 그룹은 이전 실험의 사용자 집합을 유지하고 그들에게 과거 결과의 우승 조합을 보여줍니다. 이 그룹은 이전 실험의 성공에 대한 실제 측정을 제공합니다.

여러분의 홀드아웃 그룹은 이전 실험을 경험했습니다. 홀드아웃 그룹이 볼 수 있는 실험을 제어하는 종속성을 설정할 수 있습니다. 자세한 내용은 플래그 의존성으로 이동하십시오.

홀드아웃 그룹 만들기

홀드아웃 그룹을 사용할 때는 다음 사항에 유의하십시오.

• 보류율을 1%~10% 사이로 설정하십시오: 전체 트래픽의 상당 부분을 원천 보류하면 실험이 결론에 도달하는 데 필요한 시간이 연장될 수 있습니다.
• 실험이 실행되기 전에 홀드아웃 그룹에 실험 추가하기: 실행 중인 실험을 홀드아웃 그룹에 추가하면 Amplitude가 활성 실험에서 사용자를 할당해제하기 때문에 데이터의 무결성을 손상시킬 수 있습니다.
• 홀드아웃 그룹에서 실행 중인 실험을 제거하지 마십시오. 실행 중인 실험을 제거하면 Amplitude가 사용자를 활성 실험에 할당하므로 데이터의 무결성을 손상시킬 수 있습니다.
• 실험이 진행 중인 홀드아웃 그룹을 삭제하지 마십시오: 실행 중인 실험 데이터를 보호하려면 그룹의 모든 실험이 끝난 후 홀드아웃 그룹을 삭제하십시오.

홀드아웃 그룹을 생성하려면

1. 실험 기능에서 실험 > 뮤텍스 및 홀드아웃 탭으로 이동합니다.
2. 프로젝트에 새 홀드아웃 그룹을 추가하려면 새 홀드아웃 그룹 추가를 클릭합니다.
   • 기존 그룹이 있는 경우 새 그룹 만들기를 클릭한 다음 홀드아웃 그룹을 선택합니다.
3. 홀드아웃 그룹 설정 모달에서 그룹의 이름, 설명 및 홀드아웃 비율을 입력합니다. 또한 그룹의 평가 모드와 버킷 키와 같은 고급옵션 설정을 보고 변경할 수 있습니다.

4. 실험 추가를 클릭하여 홀드아웃 그룹에 실험을 추가합니다.
5. (선택 사항) 홀드아웃 그룹에 포함하거나 제외할 개인 또는 집단을 지정합니다. 개인 또는 코호트 탭에서 [홀드아웃에 포함] 또는 [홀드아웃에서 제외]에서 사용자 또는 코호트를 추가합니다. 이 옵션은 Amplitude가 홀드아웃 그룹에서 특정 사용자를 항상 홀드아웃하거나 절대 홀드아웃하지 않도록 보장합니다.

동일한 사용자나 코호트를 홀드아웃 포함 슬롯과 홀드아웃 제외 슬롯 모두에 추가하지 마십시오. 홀드아웃 포함 슬롯은 포함을 결정합니다.

6. 그룹 추가를 클릭하여 프로세스를 완료합니다.

홀드아웃 그룹 관리

실험 그룹 탭이나 실험 첫 사용 후 홀드아웃 그룹을 관리하십시오.

1. 뮤텍스 및 홀드아웃 탭에서 편집할 그룹을 찾을 때까지 테이블을 아래로 스크롤합니다.
2. 편집 아이콘을 클릭합니다.
3. 홀드아웃 그룹 설정 모달에서 변경을 수행하고 저장을 클릭합니다.

홀드아웃 그룹에 속해 있는 실험 첫 사용 후인 경우, 다음 단계를 따르세요:

1. 편집하려는 그룹의 이름을 클릭합니다.
2. 홀드아웃 그룹 설정 모달에서 변경을 수행하고 저장을 클릭합니다.

홀드아웃 그룹 분석

실험 결과 차트를 사용하여 홀드아웃 그룹을 분석하십시오.

미리 채워진 실험 결과 차트를 생성하려면

1. 실험 페이지로 이동하여 뮤텍스 및 홀드아웃 탭을 클릭합니다.

2. 분석할 홀드아웃 그룹을 찾은 후 분석 아이콘을 클릭합니다.

3. 차트에서 열기를 누릅니다.

4. 다음 필드가 완성된 상태로 새 실험 결과 차트가 열립니다.

   • 노출 이벤트
   • Holdout및 On에 대한 세그먼트
   • 통계 방법은 T-검정으로 설정됨(변형당 샘플 수를 10,000개로 설정해야 함)
   • 분석 날짜 범위

5. 여기에서 기본 지표를 선택하고 홀드아웃 그룹의 영향 분석을 시작하세요.

고급옵션 활용 사례

여러 실험 및 홀드아웃 그룹 간소화

여러 홀드아웃 그룹에 실험을 추가하면 실험의 트래픽이 제한될 수 있습니다. 실험은 각 사용자가 속한 각 홀드아웃 그룹에 대해 각 사용자를 평가합니다.

예를 들어 다음과 같은 두 개의 홀드아웃 그룹이 있습니다.

• 홀드아웃 그룹 1: 이 그룹에는 실험 A와 실험 B가 포함되어 있으며 홀드아웃 비율은 5%입니다.
• 홀드아웃 그룹 2: 두 번째 그룹에는 실험 A와 실험 C가 포함되어 있으며 홀드아웃 비율도 5%입니다.

실험 A는 두 홀드아웃 그룹(1과 2)에 모두 속해 있기 때문에 전체 트래픽의 대부분0.95 * 0.95 = 0.9025(90.25%)을 수신합니다.

여러 홀드아웃 그룹에 실험을 추가하는 대신, 모든 관련 실험이 포함된 단일 그룹을 만듭니다. 단일 그룹은 실험 전반에 걸쳐 트래픽을 더 균등하게 분배합니다.

위의 예제에서는 세 가지 실험(A, B, C)을 모두 포함하는 하나의 홀드아웃 그룹을 생성합니다.

홀드아웃 그룹 및 상호 배제를 통한 실험 관리

홀드아웃 그룹과 상호배제 그룹에 실험을 추가하면 실험에 대한 트래픽량이 더욱 제한됩니다. 실험에서는 각 사용자를 홀드아웃 그룹과 상호 배제 그룹 모두에 대해 평가합니다.

예를 들어 다음과 같은 홀드아웃 그룹과 상호배제 그룹을 고려해 보십시오.

• 홀드아웃 그룹의 홀드아웃 비율은 5%이며 실험 A를 포함합니다.
• 상호 배제 그룹은 트래픽의 절반을 슬롯 1의 실험 A로 보내고 나머지 절반을 슬롯 2의 실험 B로 보냅니다.

이 시나리오에서 실험 A는 전체 트래픽의 약 절반 또는 0.95 * 0.5 = 0.47547.5%를 수신합니다.

상호 배제와 함께 홀드아웃 그룹을 사용할 수 있지만, 실험을 계획하고 배포할 때 잠재적 트래픽 제한에 주의하십시오.

자세한 내용은 상호 배제 그룹을 참조하십시오.