실험의 고급옵션 설정을 완료하십시오.

실험을 만드는 마지막 단계는 고급옵션 설정을 지정하는 것입니다. 이러한 설정에는 다음이 포함됩니다.

• 노출 설정: 청중이 실험을 받기 전에 트리거되는 노출 이벤트에 대한 설정입니다.
• 통계 환경설정: 실험 분석을 위한 통계 설정입니다.
• 버킷화 옵션: 오디언스를 버킷화하고 타겟팅하기 위한 설정입니다.

고급옵션 설정을 설정하려면

1. 실험에서 고급옵션 섹션으로 스크롤하여 편집 아이콘을 클릭하십시오.
2. 아래 정의를 사용하여 기본 설정을 지정하십시오.
3. 저장 후 닫기를 클릭합니다.

설정을 저장한 후 실험을 테스트하십시오.

노출 설정

노출 설정은 Amplitude가 사용자를 실험이나 기능에 노출된 것으로 표시하는 시기와 방법을 정의하는 구성 규칙입니다. 이러한 설정은 노출 이벤트를 트리거하는 로직을 결정합니다. 즉, 사용자가 실험에 처음 참여할 수 있는 자격이 있을 때, 기능과 처음 상호작용할 때, 또는 사용자 정의 기준에 따라 노출로 간주되는지 여부를 결정합니다.

실험 설계 옵션에서 고급옵션을 클릭한 다음 노출 설정을 클릭하여 원하는 설정을 지정합니다. 다음 중 하나를 수정할 수 있습니다.

노출 이벤트

노출 이벤트는 사용자가 실험 변형이나 기능을 사용할 수 있는 자격이 되는 순간입니다. Amplitude는 사용자와 상호 작용하는지 여부에 관계없이 사용자에게 실험 변형을 표시합니다. 이 이벤트는 실험 분석을 위한 기준점 역할을 하며, Amplitude는 다운스트림 동작과 결과를 올바른 변형에 속하도록 보장합니다. 실험은 노출 이벤트를 기록함으로써 이중 카운팅이나 잘못된 속성과 같은 편견을 방지합니다. 또한 노출 이벤트는 사용자 행동과 사용자가 노출된 실험 대상 구간 일관된 연결을 설정합니다.

다음을 지정할 수 있습니다.

• 노출 이벤트: 실험을 트리거할 노출 이벤트를 선택합니다. 기본값은 Amplitude 노출 이벤트입니다. Amplitude에서는 이 설정을 그대로 두는 것이 좋지만 사용자 정의 노출 이벤트를 지정할 수도 있습니다.
• 프록시 노출 이벤트: Feature Experiment의 경우 프록시 노출 이벤트는 해당 이벤트의 과거 데이터를 기반으로 실험 기간을 예측하는 데 사용되는 자리 표시자입니다. 기본값은 전체 활성 이벤트입니다. 기록된 전체 이벤트를 프록시로 지정할 수 있습니다.
• 사용자 정의 노출 설정: 다음을 사용하여 노출 설정을 추가로 사용자 정의할지 여부를 선택합니다.
  • 어트리뷰션: 노출 이벤트를 트리거한 사용자가 첫 번째 인스턴스에서만 활성화할지 아니면 전체 인스턴스에서 활성화할지 선택합니다.
  • 기간: 실험이 이벤트의 특정 기간 첫 사용 후 트리거되는지 여부를 선택합니다.

통계 환경 설정

통계 환경설정은 Amplitude가 실험 결과를 분석하고 표시하는 방법을 결정하는 구성 가능한 설정입니다. 이러한 환경설정을 통해 팀은 다음과 같은 매개변수를 선택할 수 있습니다.

• CUPED가 해제됨
• 본페로니 보정 켜짐
• 사용자 정의 노출 설정이 해제됨
• 테스트 유형이 순차적으로 설정됨
• 신뢰 수준을 95%로 설정했습니다.

실험의 전체 단계에서나 통계 환경설정을 수정할 수 있습니다. 실험이 끝난 후 최종 분석에 가장 유용합니다.

CUPED

기존 데이터를 사용한 통제 실험(CUPED라고도 함)은 Amplitude 실험의 분산을 줄이는 선택적 통계 기법입니다. CUPED를 켜면 Amplitude 실험은 사용자 세그먼트에 따라 가능한 다양한 처치 효과를 고려합니다. CUPED가 모든 실험에 가장 적합한 선택은 아닙니다. 예를 들어 신규 사용자만 타겟팅할 때는 CUPED를 피하세요.

랜덤 버킷화 프로세스는 각 변형에 불균형한 사용자 그룹을 전달할 수 있습니다. 이러한 불균형은 노출 전 편향이며, CUPED가 해결합니다. CUPED가 없으면 실험에서 노출 전 편향이 지속됩니다. 이러한 이유로 CUPED를 사용하거나 사용하지 않는 동일한 실험을 실행할 때 변형당 평균의 차이를 발견할 수 있습니다.

보다 기술적인 설명은 이 자세한 블로그 게시물을 참조하십시오.

CUPED가 실험 결과에 어떤 영향을 미치는지에 대한 자세한 내용은 이 블로그를 참조하십시오.

본페로니 보정법

Amplitude 실험은 본페로니 보정을 사용하여 다중 가설 검정의 잠재적 문제를 해결합니다. 신뢰할 수 있는 통계 방법이지만 모든 경우에 사용하고 싶지는 않을 수도 있습니다. 한 가지 예는 결과를 본페로니 방법을 지원하지 않는 내부 시스템에서 생성된 결과와 비교하려는 경우입니다. 이 경우 그리고 더 높은 위양성 비율을 수락할 경우 본페로니 보정을 해제하십시오.

통계적 방법

사용할 통계 방법을 선택합니다.

• 순차 테스트: 고정된 샘플 크기만이 아니라 데이터가 들어올 때 지속적으로 결과를 분석하는 통계 방법입니다. 이 접근 방식을 통해 팀은 위양성 위험을 부풀리지 않고 실험 결과를 지속적으로 검토할 수 있습니다. 이 방법은 데이터를 반복적으로 조회할 때 발생하는 편향을 보정하므로 효과가 강할 때 더 신속하게 의사 결정을 내리는 데 유용합니다. 편향을 방지하려면 신중하게 설정해야 합니다. 자세한 내용은 순차 테스트를 참조하십시오.
• T 검정: 통제 그룹과 실험 그룹과 같은 두 그룹의 평균을 비교하여 차이가 통계적으로 유의미한지 여부를 판단하는 전통적인 통계 검정입니다. 정규 분포 데이터와 고정된 샘플 크기를 가정합니다. t-검정은 간단하고 널리 알려져 있지만, 결과를 지속적으로 확인하거나 더 복잡한 결과 분포를 처리하려는 경우 유연성이 떨어집니다. 자세한 내용은 T 검사를 참조하십시오.
• 베이지안: 한 변형이 다른 변형보다 우수할 확률을 계산하여 그룹을 비교하는 통계적 방법입니다. p-값과 고정된 가설 검증에 의존하는 전통적인 방법과는 달리, 베이지안 통계는 팀이 의사 결정을 내리는 방식에 맞춰 직접적인 확률 추정치를 제공합니다. 베이지안 방법은 실험 성능에 대한 지속적인 인사이트를 원할 때 유용합니다. 사전 지식을 통합해야 하거나, 더 작은 표본 크기로 의사 결정을 내려야 하거나, “이 변형이 성공할 가능성은 얼마나 됩니까?”와 같은 비즈니스 질문에 직접적으로 답변하는 확률 진술이 필요한 경우에 유용합니다. 자세한 내용은 베이지안 통계를 참조하십시오.
• 톰슨 샘플링: 성능이 더 우수한 것으로 보이는 변형에 더 많은 트래픽을 동적으로 할당하는 베이지안 밴딧 접근법입니다. 실험이 끝날 때까지 기다리는 대신 Thompson Sampling은 탐사와 개발의 균형을 실시간으로 조정합니다. 이 접근 방식은 점차적으로 더 많은 사용자를 유망한 변형으로 보내어 사용자 경험을 개선합니다. 이 방법은 고전적인 p-값을 제공하지 않지만 사후 확률에 의존하므로 적응형 의사 결정이 필요한 경우 유용한 선택입니다.

신뢰 수준

신뢰도 수준은 Experiment가 반복된 롤아웃 간에 실험에 대해 동일한 결과를 생성한다는 점을 얼마나 신뢰하는지를 측정합니다. 기본 신뢰도 수준인 95%는 결과가 통계적으로 유의미하지 않을 때도 5%의 경우에 결과를 통계적으로 유의미한 것으로 해석할 수 있음을 의미합니다. 실험의 신뢰도 수준을 낮추면 실험이 통계적 유의성에 도달할 가능성이 높아지지만 거짓양성 가능성은 높아집니다. 실험 결과가 더 이상 신뢰할 수 없을 수 있으므로 80% 미만으로 낮추지 마십시오.

버킷화 옵션

실험에서 버킷화가 어떻게 작동하는지 지정합니다. 다음을 지정할 수 있습니다.

• 평가 모드: Amplitude가 실험을 Amplitude 서버에서 원격으로 평가할지 아니면 사용자 컴퓨터에서 로컬로 평가할지 여부를 선택합니다. 기본적으로 Amplitude는 실험을 원격으로 평가합니다. 자세한 내용은 성능 및 캐싱을 참조하십시오.
• 고정 버킷화: 롤아웃 또는 타겟팅 기준이 변경되더라도 할당 후 사용자에게 동일한 변형을 제공할지 여부를 지정합니다. 고정 버킷화가 설정되어 있으면 Amplitude는 타겟팅 기준이 변경될 때 사용자를 다시 버킷화하지 않습니다. 기본값은 꺼짐입니다. 자세한 내용은 고정 버킷화를 참조하십시오.
• 버킷 솔트(Bucketing Salt): 해싱 프로세스의 일부로 사용되는 문자열 값입니다. 버킷 솔트는 사용자를 결정론적으로 실험 변형에 할당합니다. 버킷 솔트를 사용자 ID 및 실험 키와 같은 식별자와 결합함으로써 실험(Experiment)은 각 사용자를 세션 전체에서 동일한 변형에 배치하는 무작위처럼 보이지만 반복 가능한 해시를 생성합니다. 버케팅 솔트(bucketing salt)를 변경하면 할당이 재편성되고 해당 실험에 참여하는 사용자가 다시 무작위로 배정됩니다.