A/A 테스트 실행

A/A 테스트는 실험 설정을 검증하기 위해 두 개의 동일한 변형을 사용하여 실험을 실행하는 품질 보증 기술입니다. A/B 테스트와 달리 A/A 테스트는 동일한 경험을 얻는 두 그룹 대상 구간 트래픽을 분할합니다.

왜 A/A 테스트를 실행해야 하는가

A/A 테스트는 실제 실험을 실행하기 전에 실험 인프라가 올바르게 작동하는지 확인하는 데 도움이 됩니다. A/A 테스트는 다음과 같은 경우에 유용합니다.

• 처음으로 실험을 준비하는 중입니다. SDK 연동, 트래픽 할당 및 지표 추적이 제대로 작동하는지 확인하십시오.
• 새로운 지표를 구현합니다. 새로운 성공 지표가 예상대로 작동하고 오탐성을 나타내지 않는지 확인하십시오.
• 예기치 않은 결과 진단. A/B 테스트에서 놀라운 결과가 나올 경우 구현 문제를 배제하십시오.
• 대규모 테스트. 대규모 트래픽 환경에서 임의화가 제대로 작동하는지 확인하십시오.

A/A 테스트에서 감지되는 일반적인 문제

A/A 테스트는 다음과 같은 몇 가지 구현 문제를 발견할 수 있습니다.

• 잘못된 무작위 지정입니다. Amplitude는 사용자를 변형 간에 균등하게 분배하지 않아 샘플 비율이 불일치하거나, 사용자가 변형 간에 이동하여 세션이나 페이지 로드에 따라 다른 경험을 얻습니다. 원인과 수정에 대한 자세한 내용은 변형 점프를 참조하십시오.
• 추적 불일치. 타이밍 문제나 조건부 논리 오류로 인해 변형 대상 구간에서 이벤트가 다르게 발생합니다.
• 샘플 오염. 노출 전 편향은 Amplitude가 사용자를 변형에 할당하기 전에 사용자가 콘텐츠를 받았을 때 발생합니다.
• 통계 구성. 유의성 임계값이 잘못되었거나 적절한 수정 없이 여러 번 테스트되었습니다.

A/A 테스트를 실행해야 할 시기

A/A 테스트는 진단 도구이며 일상적인 절차가 아닙니다. 설정을 검증해야 할 때 이를 전략적으로 실행하십시오.

A/A 테스트를 실행해야 하는 좋은 이유

• 초기 설정입니다. Amplitude 실험을 처음 구현하는 경우. 모든 것이 제대로 작동하는지 확인하십시오.
• 주요 인프라 변경 사항. SDK 버전을 업데이트한 후에는 추적 구현을 변경하거나 새 플랫폼으로 마이그레이션하십시오.
• 예기치 않은 결과에 대한 문제 해결. A/B 테스트가 놀라운 결과를 보여주어 실제 사용자 행동 차이가 아닌 기술적인 문제가 의심되는 경우.
• 새로운 팀원들. 엔지니어를 실험에 참여시킬 때 A/A 테스트를 통해 구현에 대한 실제 검증을 실시할 수 있습니다.

다음에 대한 A/A 테스트를 실행하지 마십시오.

• 이미 설정을 검증한 후의 일상적인 실험.
• 모든 새로운 실험. 모든 실험에 대해 A/A 테스트를 실행하면 트래픽이 낭비되고 실제 인사이트가 지연됩니다.
• 특별한 문제없이 검증을 수행합니다.

웹 실험에서 A/A 테스트 실행

사용자 지정 코드 접근 방식

1. 웹 실험에서 새 실험을 만듭니다.
2. 트래픽을 50/50으로 분할하는 두 가지 변형(제어 및 처리)을 설정합니다.
3. 두 변형에 모두 동일한 변경 사항을 적용하십시오.
   • 옵션 1: 사용자 지정 코드를 통해 console.log구문을 추가합니다.console.log('A/A test variant');
   • 옵션 2: 사용자 경험에 영향을 주지 않는 HTML 주석을 삽입하십시오. ``.
4. 성공 지표(확인하고자 하는 전환 이벤트)를 설정하세요.
5. 최소 하나의 전체 비즈니스 주기에 대해 실험을 실행하십시오.
6. 결과를 분석하여 변형 대상 구간에 유의미한 차이가 없는지 확인합니다.

시각적 편집기 접근 방식

1. 웹 실험에서 새 실험을 만듭니다.
2. 트래픽을 50/50으로 분할하는 두 가지 변형(제어 및 처리)을 설정합니다.
3. 각 변형에 대해 시각적 편집기를 엽니다.
   1. 변형을 선택하여 사이트에서 비주얼 편집기를 엽니다.
   2. 요소 선택기를 사용하여 페이지의 전체 요소(예: 머리글, 단추 또는 div)를 선택합니다.
   3. 자세히를 선택한 다음 오른쪽 패널에서 요소 선택기 필드를 찾습니다.
   4. 선택기를 페이지의 아무 항목과도 일치하지 않는 유효하지 않은 선택기로 변경하십시오(예: #nonexistent-element-aa-test).
4. 성공 지표(확인하고자 하는 전환 이벤트)를 설정하세요.
5. 최소 하나의 전체 비즈니스 주기에 대해 실험을 실행하십시오.
6. 결과를 분석하여 변형 대상 구간에 유의미한 차이가 없는지 확인합니다.

이 접근 방식은 사용자에게 표시되는 내용을 변경하지 않고도 실험이 올바르게 로드되고 추적되도록 보장합니다.

기능 실험에서 A/A 테스트 실행

1. 두 가지 변형을 사용하여 새로운 플래그 기반 실험을 생성합니다.
2. 두 변형 모두 동일한 기능 플래그 값 또는 구성을 반환하는지 확인하십시오.
3. 코드에 플래그를 구현하되, 변형에 관계없이 동일한 경험을 유지하세요.
4. 두 그룹에 대해 동일한 전환 이벤트를 추적합니다.
5. 며칠 동안 실험 대시보드를 모니터링하여 적절한 트래픽 분배 및 지표 추적을 확인하십시오.

A/A 테스트 결과 해석

A/A 테스트에서 무작위적인 변동을 예상하십시오. 건강한 A/A 테스트의 핵심 지표는 변형 대상 구간에 통계적으로 유의미한 차이가 없다는 것입니다.

성공적인 A/A 테스트

변형 대상 구간에 통계적으로 유의미한 차이는 없으며, Amplitude는 트래픽을 균등하게 분할하며, 메트릭스는 비교 가능합니다. 자신감을 가지고 실제 A/B 테스트를 실행할 수 있습니다.

A/A 테스트 실패

전체 통계적으로 유의미한 결과는 조사가 필요한 잠재적 구현 문제를 나타냅니다. 상당한 차이가 발견되면 다음을 확인하십시오.

• 실험 대시보드에 표시된 트래픽 할당 비율입니다.
• 변형에 다르게 영향을 줄 수 있는 조건부 논리에 대한 이벤트 트래킹 구현.
• 실험은 결과에 영향을 줄 수 있는 페이지 콘텐츠보다 먼저 시작됩니다.
• Amplitude는 두 변형에서 일관되게 귀하의 지표를 계산합니다.

모범 사례

• 대표적인 트래픽 기간 동안 A/A 테스트를 실행하십시오. 결과를 왜곡시킬 수 있는 휴일이나 비정상적인 트래픽 패턴을 피하세요.
• 실제 실험에 사용할 것과 동일한 샘플 크기를 사용하십시오. 일치하는 표본 크기는 통계적 검정력 계산을 검증합니다.
• 가장 중요한 메트릭을 테스트하십시오. 귀사의 비즈니스에 가장 중요한 전환 이벤트에 집중하십시오.
• 설정을 문서화하십시오. A/A 테스트는 향후 실험 문제를 해결할 때 참조할 수 있는 기준 검증 기능 역할을 합니다.
• 노이즈를 과도하게 해석하지 마십시오. 무작위적인 변동을 예상하십시오. 변형 간의 백분율 차이의 크기보다는 통계적 유의성에 초점을 맞추십시오.
• 일부 변형 점핑 현상이 발생할 수 있음을 예상하십시오. 소수의 사용자는 세션마다 다른 변형을 얻을 수 있습니다. 변형 점핑은 정상적인 현상이며 올바르게 구성된 테스트에서 통계적으로 유의미한 차이를 일으키지 않아야 합니다.

A/A 테스트를 건너뛰어야 할 경우

A/A 테스트는 유용한 검증 도구이지만 모든 실험에 대해 이를 실행할 필요는 없습니다. 다음과 같은 경우 A/A 테스트를 건너뛰십시오.

• 검증된 인프라를 갖춘 성숙한 실험 프로그램을 보유하고 있습니다.
• 여러분은 이전에 검증한 것과 비슷한 실험을 하고 있습니다.
• 최근 진행한 A/A 테스트 결과는 정상적인 것으로 나타났습니다.
• 통찰력을 얻는 데 걸리는 시간은 매우 중요하며 귀하는 현재 설정에 대해 매우 신뢰하고 있습니다.

A/B 테스트에서 예기치 않은 결과가 나오거나 구현에 상당한 변경이 있을 경우, A/A 테스트를 통해 기술적 문제를 신속하게 배제하고 디버깅 시간을 절약할 수 있습니다.