이 페이지에서

For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.

멀티 암드 밴딧 실험

기존의 A/B 테스트에서 Amplitude 실험은 통계적으로 유의미한 결과에 도달할 때까지 실험의 모든 변형을 평가합니다. 여기에서 우승 변형을 롤아웃할지 또는 모든 사용자를 제어 변형으로 롤백할지 선택할 수 있습니다. 특정 변형이 다른 변형보다 성능이 뛰어난 이유에 따라 결정이 내려집니다.

때때로 그 이유는 중요하지 않습니다. 가장 성능이 좋은 변형을 식별하여 가능한 한 많은 트래픽을 해당 변형으로 전송하고자 합니다. 예를 들면 다음과 같습니다.

기존의 A/B 테스트와 달리, 멀티 암드 밴딧은 성공을 판단하기 위해 통계적 유의성을 사용하지 않습니다. 또한 통제 또는 기준선 변형도 사용하지 않습니다. 또한 Amplitude 실험은 두 실험 유형에 대해 결과를 다르게 표시합니다. 다음 섹션에서는 이러한 차이점을 다룹니다.

멀티 암드 밴딧 실험은 톰슨 샘플링을 사용합니다. Amplitude 실험은 멀티 암드 밴딧에 대한 다른 통계 방법을 지원하지 않습니다.

시작하기 전에

  • 멀티 암드 밴딧 실험을 로컬 또는 원격으로 평가할 수 있습니다.
  • 멀티 암드 밴딧 실험을 구성하여 매시간, 매일 또는 매주마다 트래픽을 재할당할 수 있습니다.
  • Amplitude 실험에서는 트래픽을 재할당하기 전에 각 변형군에서 최소 100번의 노출이 필요합니다.
  • 멀티 암드 밴딧은 연결된 모든 상호 배제 그룹 및 홀드아웃을 준수합니다.
  • 플래그 구성 기록에는 각 재할당이 표시됩니다. Amplitude는 사용자 ampex_data_monster 아래에 항목을 만듭니다.

재할당 스케줄

재할당은 실험 시작 날짜와 관련이 없는 고정된 회에 실행됩니다. 스케줄은 사용자가 선택한 재할당 빈도에 따라 달라집니다. 이 회는 설정할 수 없습니다.

멀티 암드 밴딧 실험 만들기

멀티 암드 밴딧 실험을 만드는 것은 Amplitude 실험에서 A/B 테스트를 만드는 것과 거의 동일합니다. 다음 섹션에서는 그 차이점에 대해 설명합니다.

멀티 암드 밴딧과 A/B 테스트 대상 구간 차이점

메트릭스

멀티 암드 밴딧 실험에는 기본 지표가 필요합니다. Amplitude 실험은 기본 지표를 사용하여 실험을 최적화합니다. 보조 지표를 포함할 수 있지만 Amplitude 실험에서는 이를 보고용으로만 사용합니다.

A/B 테스트에서 기본 지표는 가드레일 지표일 수 있습니다. 이는 실험이 부정적인 영향을 주기를 원하지 않는 지표입니다. 클릭률은 일반적인 가드레일 지표입니다. 멀티 암드 밴딧 실험은 지표에 대해 최적화되므로 가드레일 지표는 적용되지 않습니다. 원치 않는 변화에 맞춰 최적화할 수는 없습니다. 멀티 암드 밴딧 실험의 주요 지표는 성공 지표여야 합니다("증가할 것" 또는 "감소할 것"). Amplitude 실험은 바이너리 메트릭과 연속 메트릭을 모두 지원합니다.

멀티 암드 밴딧 실험에서 두 가지 지표를 최적화하려면 두 지표의 가중 평균인 사용자 지정 지표를 생성하십시오. 최적화하려는 지표들 사이에 상충관계가 생긴다면 대신 A/B 테스트를 실행하십시오.

트래픽 할당

멀티 암드 밴딧 실험의 할당은 항상 균일한 분포로 시작됩니다. 이는 모델이 데이터를 수집하기 전에 어떤 변형이 가장 효과적인지 알 수 없기 때문입니다. 할당은 데이터가 도착하기 시작한 후 변경됩니다.

멀티 암드 밴딧은 변형 간의 할당만 조정합니다. 백분율 롤아웃은 조정되지 않습니다.

신뢰 수준

멀티 암드 밴딧 실험에서의 신뢰 수준은 A/B 테스트에서와는 다른 역할을 합니다. 신뢰 수준은 트래픽을 우승 변형으로 가속화시킬 수 있습니다. 예를 들어 실험의 신뢰 수준이 95%이고 멀티 암드 밴딧이 이미 실험 트래픽의 95% 이상을 승리 변형에 할당한 경우 Amplitude 실험은 신뢰도를 가정하고 해당 시점부터 트래픽의 100%를 해당 변형에 할당합니다.

기간 예상 및 MDE

멀티 암드 밴딧 실험에서 최소 감지 효과(MDE)는 지속 기간 추정치를 계산하는 데 도움이 됩니다. 이러한 실험은 자동화되고 지표에 맞게 최적화되므로 MDE는 실험이 실행되기 시작한 후에는 실험에 영향을 주지 않습니다.

실험이 시작되기 전에 기간 추정치를 계산할 때 Amplitude 실험은 한 변형을 제외한 모든 변형이 동일한 기준선 평균(과거 데이터에서 계산됨)을 공유할 때 발생하는 상황을 시뮬레이션합니다. 증가를 측정할 때 예외 변형은 mean * (1+MDE)을 갖습니다. 감소를 측정할 때 예외 변형은 mean * (1-MDE)을 갖습니다. 그런 다음 Amplitude 실험은 멀티 암드 밴딧이 모든 트래픽을 하나의 변형에 할당하는 데 걸리는 시간을 계산합니다. 예상 기간은 최대 31일입니다.

표시된 결과

Amplitude 실험은 멀티 암드 밴딧이 실행되는 동안 변형 점프를 표시하지 않습니다. 이는 이러한 실험에서 변형 점프가 예상되는 동작이기 때문입니다.

Amplitude 실험은 멀티 암드 밴딧 실험에 대한 데이터 품질 카드를 표시하지 않습니다. 이 디스플레이에 대한 대부분의 검사는 이 실험 유형에 적용되지 않습니다. 실험이 실행되는 동안에는 트래픽 할당에 영향을 주는 실험을 변경할 수 없습니다.

밴딧 카드는 모니터링 카드의 비누적 노출 차트와 유사하지만 100%로 정규화됩니다. 밴딧 카드를 사용하면 각 변형이 특정 날에 수신하는 트래픽 비율을 시각화할 수 있습니다.

알림

Amplitude 실험은 멀티 암드 밴딧이 트래픽의 70%, 80%, 90% 또는 100%를 변형에 할당할 때 실험 편집자에게 알림을 보냅니다. 또한 Amplitude 실험은 밴딧이 완료되는 데 오랜 시간이 걸리거나 실험 종료 날짜가 다가올 경우 알림을 보냅니다. 알림은 슬랙이나 이메일을 통해 전송될 수 있습니다. 자세한 내용은 Slack과 Amplitude 통합을 참조하십시오.

알림을 구성하려면 설정 > 개인 설정 > 알림으로 이동하십시오.

이 내용이 도움이 되었나요?