홀드아웃 그룹: 고급옵션 사용 사례

이 문서에서는 Amplitude 실험의 홀드아웃 그룹에 대한 고급옵션 사용 사례를 설명합니다.

사례 1: 여러 실험과 홀드아웃 그룹 간소화

여러 홀드아웃 그룹에 실험을 추가하면 실험의 트래픽이 제한될 수 있습니다. Amplitude는 각 사용자를 해당 사용자가 속한 모든 홀드아웃 그룹과 비교하여 평가합니다.

예를 들어 두 개의 홀드아웃 그룹을 고려해 보겠습니다.

• 홀드아웃 그룹 1에는 실험 A와 실험 B가 포함되어 있으며 홀드아웃 비율은 5%입니다.
• 홀드아웃 그룹 2에는 실험 A와 실험 C가 포함되어 있으며 홀드아웃 비율도 5%입니다.

실험 A는 두 홀드아웃 그룹 모두에 속하기 때문에 총 트래픽의 대부분을 수신합니다.

0.95 * 0.95 = 0.9025 (90.25%)

여러 홀드아웃 그룹에 실험을 추가하는 대신, 모든 관련 실험을 포함하는 단일 그룹을 만듭니다. 단일 그룹은 실험 전반에 걸쳐 트래픽을 더 균등하게 분배합니다.

위의 예제에서는 세 가지 실험(A, B, C)을 모두 포함하는 하나의 홀드아웃 그룹을 생성합니다.

사례 2: 홀드아웃 그룹과 상호 배제를 통한 실험 처리

홀드아웃 그룹과 상호 배제 그룹 모두에 실험을 추가하면 실험의 트래픽이 더욱 제한될 수 있습니다. Amplitude는 각 사용자를 두 그룹과 비교하여 평가합니다.

예를 들어 다음과 같은 홀드아웃 그룹과 상호 배제 그룹을 고려해 보십시오.

• 홀드아웃 그룹의 홀드아웃 비율은 5%이며 실험 A를 포함합니다.
• 상호 배제 그룹은 트래픽의 절반을 슬롯 1의 실험 A로 보내고 나머지 절반을 슬롯 2의 실험 B로 보냅니다.

이 시나리오에서 실험 A는 전체 트래픽의 약 절반을 수신합니다.

0.95 * 0.5 = 0.475 (47.5%)

상호 배제와 함께 홀드아웃 그룹을 사용할 수 있지만, 실험을 시작할 때 발생할 수 있는 트래픽 제한에 대비해야 합니다.

자세한 내용은 상호 배타적 실험을 참조하십시오.