상호 배타적인 실험 설정 및 실행

동시에 여러 실험을 실행할 때 한 실험을 받은 사용자가 관련 두 번째 실험을 보지 못하도록 할 수 있습니다. 이러한 실험은 동일한 문제를 다른 방식으로 해결할 수 있으며, 두 가지 모두를 보는 사용자를 혼란스럽게 해서는 안 됩니다. 상호 작용 효과는 결과를 왜곡시킬 수도 있습니다.

실험을 사용하면 둘 이상의 실험을 상호 배타적인 것으로 설정할 수 있습니다. 상호 배타적 실험은 사용자를 공유하지 않습니다: 실험 A를 받는 사용자는 실험 B를 받지 않으며 그 반대의 경우도 마찬가지입니다.

기본 구현에 대한 자세한 내용은 플래그 의존성을 참조하십시오.

상호 배타적 실험을 사용하는 경우

다음과 같은 상황에서 상호 배타적인 실험을 사용하십시오.

• 제품의 동일한 영역에서 동시에 진행되고 동일한 목표를 공유하는 실험입니다.
• 동일한 퍼널에서 발생하고 동일한 목표를 공유하는 동시 실험입니다.

또한 이러한 실험을 동시에 실행하는 대신 하나씩 실행할 수도 있습니다.

상호 배제 그룹 생성

상호 배제 그룹을 사용할 때는 다음 지침에 유의하십시오.

• 슬롯 대상 구간 트래픽을 균등하게 분배하십시오. 슬롯은 실험을 받고자 하는 그룹의 비율입니다. 그룹에 여러 슬롯을 추가하여 그룹 전체에 트래픽을 분산시킬 수 있습니다.
• 상호배제 그룹에 실행 중인 실험을 추가하지 마십시오. 실행 중인 실험을 추가하면 활성 실험에서 사용자를 제거함으로써 데이터 무결성을 심각하게 저해할 수 있습니다. 실험을 실행하기 전에 상호배제 그룹에 추가하십시오.
• 상호 배제 그룹에서 실행 중인 실험을 제거하지 마십시오. 실행 중인 실험을 제거하면 사용자를 그룹의 다른 실험에 노출시켜 데이터 무결성을 손상시킬 수 있습니다.
• 같은 이유로 실험을 진행하는 상호배제 그룹을 삭제하지 마십시오. 상호배제 그룹의 모든 실험이 끝난 후 그룹을 삭제하십시오.

상호 배제 그룹을 생성하려면

1. 실험 기능에서 실험 > MutEx 및 Holdouts 탭으로 이동합니다.
2. 프로젝트에 그룹이 없는 경우 새 상호 배제 그룹 추가를 클릭하여 새 그룹을 생성합니다. 이미 그룹이 있는 경우 그룹 생성을 누른 다음 상호 배제 그룹을 선택합니다.
3. 그룹의 이름과 설명을 입력한 다음 평가 모드, 버킷화 및 키 등의 배달 설정을 입력합니다.
4. 원하는 수의 슬롯을 생성하고 각 슬롯에 실험을 할당합니다. 서로 다른 슬롯에서의 실험은 상호 배타적입니다. 상호 배제 그룹에 최대 20개의 슬롯을 추가할 수 있습니다.

5. (선택사항) 개인 또는 코호트 탭에서 상호 배제 그룹에 추가할 개인 또는 집단을 지정합니다. 이 단계는 상호 배제 그룹에서 실험을 테스트하여 Amplitude가 특정 사용자를 특정 실험에 할당했는지 확인하려는 경우에 유용합니다. 동일한 사용자나 코호트를 둘 이상의 슬롯에 추가하지 마십시오. 첫 번째 슬롯에 따라 포함 여부가 결정되기 때문입니다.
6. 각 실험에 대한 트래픽 할당 비율을 설정합니다. 기본적으로 Amplitude는 대상 구간 트래픽을 균등하게 분배하지만 이러한 비율을 수동으로 편집할 수 있습니다.
7. 그룹 추가를 클릭합니다.

고급옵션 활용 사례

• 실험에 대한 트래픽 할당을 늘리려면 그룹을 만들 때 슬롯 비율을 변경하십시오. 그룹이 이미 존재하는 경우 동일한 그룹 첫 사용 후 여러 슬롯에 단일 실험을 할당하십시오.

• 여러 상호 배제 그룹에 실험을 추가하면 실험의 트래픽이 더욱 제한됩니다. 왜냐하면 Amplitude는 사용자가 속한 각 상호 배제 그룹에 대해 각 사용자를 평가하기 때문입니다.

  예를 들어 다음 두 개의 상호 배제 그룹을 고려해 보십시오.

  • 상호배제 그룹 1에는 슬롯 1에 실험 A가 있고 슬롯 2에 실험 B가 있으며, 각 실험은 트래픽의 50%를 수신합니다.
  • 상호배제 그룹 2에는 슬롯 1에 실험 A가 있고 슬롯 2에 실험 C가 있으며, 각 실험은 트래픽의 50%를 수신합니다.

  이 경우 실험 A는 전체 트래픽의 25%인 0.5 * 0.5 = 0.25을 수신합니다.

  여러 상호 배제 그룹에 실험을 추가하는 대신, 모든 관련 실험을 포함하는 하나의 그룹을 만듭니다. 이 예제에서 이 그룹에는 실험 A, B 및 C가 포함되어 있습니다.

• 홀드아웃 그룹과 상호배제 그룹 모두에 실험을 추가하면 Amplitude가 두 그룹 모두에 대해 각 사용자를 평가하므로 실험의 트래픽이 더욱 제한됩니다. 예를 들어 다음과 같은 홀드아웃 그룹과 상호배제 그룹을 고려해 보십시오.

  • 홀드아웃 그룹에는 홀드아웃 비율이 5%인 실험 A가 포함되어 있습니다.
  • 상호배제 그룹에는 슬롯 1에 실험 A가 있고 슬롯 2에 실험 B가 포함되어 있으며, 각 실험은 트래픽의 50%를 수신합니다.

  이 경우 실험 A는 전체 트래픽의 47.5%인 0.95 * 0.5 = 0.475을 수신합니다.

자세한 내용은 Amplitude 실험에서 홀드아웃 그룹과 함께 작업하는 것을 참조하세요.

자주 묻는 질문

실험을 시작하기 전에 상호 배제 그룹을 만드는 것이 가장 좋습니까?

예. 실험이 시작된 후에는 타겟팅에 영향을 주는 구성 변경을 피하십시오. 상호 배제 그룹에 활성 실험을 추가하면 Amplitude 실험에서 사용자를 재할당할 수 있습니다.

슬롯 할당률(%)은 사용자 타겟팅에 어떤 영향을 미칩니까?

상호 제외 그룹을 생성할 때는 할당 비율을 설정합니다. 이는 Amplitude가 사용자를 실험에 배정할 확률입니다. 예를 들어 할당 비율이 25%이면 사용자가 실험에 참여할 확률이 25%임을 의미합니다. 할당 비율의 합계는 100% 이하일 수 있습니다. 100% 미만인 경우, 사용되지 않은 트래픽은 실험의 "off" 처리를 받습니다.

Amplitude 실험은 언제 상호 배제를 적용합니까?

Amplitude 실험은 실험에 사용자를 할당할 때 특정 작업 순서를 따릅니다.

individual user qualification → mutual exclusion → sticky bucketing → target segment

Amplitude 실험은 상호 배제 그룹보다 먼저 개별 사용자의 자격을 평가하기 때문에 개별 사용자로 대상화된 사용자는 해당 실험이 상호 배제 그룹을 공유하더라도 여러 실험을 볼 수 있습니다. 동일한 규칙이 코호트에 대한 개별 포함에도 적용됩니다. Amplitude 실험은 또한 상호 배제 그룹 이전에 이들을 적용합니다.

상호 배제가 구성되어 있을 때 사용자가 두 개 이상의 실험을 볼 수 있는 이유는 무엇입니까?

실험이 상호 배제를 사용하는 경우에도 동일한 사용자가 둘 이상의 실험을 볼 수 있습니다. 가능한 이유:

• 위에서 설명한 작업 순서입니다(개별 사용자 자격은 상호 제외 전에 실행됩니다).
• Amplitude가 고유 사용자를 추적하는 방법. 예를 들어 사용자는 로그인하기 전에 익명으로 둘 이상의 장치를 사용할 수 있습니다. Amplitude가 사용자를 식별하여 기존 ID에 병합할 때까지, Amplitude는 해당 세션을 할당할 수 있는 다른 사용자로 간주합니다.
• 변형 점프: 사용자가 단일 플래그 또는 실험에 대해 둘 이상의 변형을 볼 수 있습니다.