이벤트 트래킹

Experiment의 종합적인 플랫폼은 두 가지 이벤트에 의존합니다.

• 할당 이벤트: 사용자를 등록된 참여자로 전환합니다.
• 노출 이벤트: 사용자가 실험 변형을 경험할 때를 나타냅니다.

이 두 이벤트와 각 실험에 대한 실험 사용자 속성은 실험 분석, 모니터링 및 디버깅을 지원합니다.

Amplitude가 노출을 수집할 때 올바른 실험 사용자 속성을 설정하도록 Amplitude에서 정의한 노출 또는 할당 이벤트를 실험의 노출 이벤트로 사용하십시오. Amplitude는 실험 사용자 속성을 설정하기 전에 사용자 지정 노출 이벤트를 수집할 수 있으므로 이러한 이벤트는 실험 분석에서 수행 회수가 계산되지 않습니다.

• 할당:
  • 실험은 원격 평가(fetch()) 또는 서버측 로컬 평가(evaluate())를 통해 사용자를 할당할 때 할당 이벤트를 추적합니다.
  • 하나 이상의 플래그 및 실험에 대한 할당 정보를 포함합니다.
  • 모니터링 및 디버깅에 유용하거나 서버 측 실험을 위한 노출 경험론적 도구로 사용됩니다.
• 노출:
  • 실험은 사용자가 변형을 발견했을 때 노출 이벤트를 추적합니다. 일반적으로 코드가 SDK(variant())의 변형에 액세스할 때 클라이언트 측에서 발생합니다.
  • 단일 플래그 또는 실험에 대한 노출 정보를 포함합니다.
  • 클라이언트측 실험을 위한 노출 이벤트로 작동합니다.
  • 노출된 플래그 또는 실험에 대한 실험 사용자 속성을 설정합니다.

실험 사용자 속성

실험은 각 플래그와 실험에 대해 사용자 속성을 사용하며, 노출 이벤트는 이 속성을 설정하거나 설정해제합니다. 사용자 속성을 사용하면 실험에서 실험 분석을 위해 사용자가 속한 변형을 결정할 수 있습니다. Amplitude는 각 프로젝트에 대해 최대 1,500개의 실험 사용자 속성을 지원합니다.

사용자 속성 형식은 [Experiment] <flag_key>이고 값은 실험이 사용자에게 할당하거나 노출한 변형 키입니다. 이 사용자 속성을 실험에서 플래그 또는 실험 변형별 세분화 기준으로 설정한 후 발생하는 비실험 이벤트에 대한 쿼리에 사용하십시오.

할당 이벤트

Amplitude의 평가 서버 또는 SDK는 자동 할당 추적을 위해 구성된 서버 측 SDK를 사용하여 원격 평가 또는 로컬 평가를 통해 할당 이벤트를 추적합니다. 할당 이벤트를 서버측 실험을 위한 휴리스틱 노출 이벤트로 사용하고, 활성 플래그 또는 실험을 모니터링하고, 문제를 디버깅할 수 있습니다. 클라이언트측 노출 추적이 불가능한 서버측 실험의 경우, 실험을 구성할 때 Amplitude Assignment 이벤트를 노출 이벤트로 선택하십시오.

할당 이벤트를 수동으로 추적할 필요가 없습니다.

할당 이벤트 정의

할당 이벤트 [Experiment] Assignment는 평가된 각 플래그 또는 실험에 대한 이벤트 속성 [Experiment] <flag_key>.variant을 포함합니다. 속성 값은 할당된 변형 키이거나 실험이 변형을 할당하지 않은 경우off입니다.

할당 이벤트에는 내부 디버깅을 지원하는 [Experiment] Environment Name및 [Experiment] <flag_key>.details과 같은 속성도 포함되어 있습니다.

{
    "user_id": "123456789",
    "event_type": "[Experiment] Assignment",
    "event_properties": {
        "[Experiment] my-flag.variant": "off",
        "[Experiment] my-experiment.variant": "treatment"
    }
}

자동 할당 추적

실험은 기본적으로 원격 평가를 위한 자동 할당 추적을 지원합니다. CDN 캐시를 누락하고 유효한 사용자 또는 장치 ID를 포함하는 원격 평가 요청은 평가 후 비동기 할당 이벤트를 트리거합니다.

서버측 로컬 평가의 경우 초기화 시 로컬 평가 SDK를 구성하여 evaluate()의 할당 이벤트를 추적합니다. Amplitude는 사용자 ID, 장치 ID, 할당된 플래그 및 변형의 정규화된 목록의 해시, 날짜 스탬프를 포함하는 insert_id를 사용하여 각 사용자에 대한 서버측 로컬 평가 SDK에서 할당 이벤트를 중복 제거합니다.

사용자당, 고유한 평가 결과당 하루에 한 번씩 할당될 것으로 예상됩니다.

노출 이벤트

노출 이벤트는 사용자가 실험 또는 기능 플래그의 변형을 발견했다는 것을 실험에 알리는 엄격하게 정의된 분석 이벤트입니다. 노출 이벤트에는 플래그 키와 사용자가 이벤트 속성에서 발견한 변형이 포함됩니다.

Amplitude는 노출 이벤트를 수집할 때 플래그 키와 변형을 사용하여 연결된 사용자에 대한 사용자 속성을 설정하거나 설정을 해제합니다. 이러한 사용자 속성은 기본 및 보조 성공 지표에 대한 실험 분석 쿼리를 지원합니다.

노출 이벤트 정의

사용자 속성을 조작하지 않고도 전체 분석 구현 또는 고객 데이터 플랫폼을 통해 노출 이벤트를 전송할 수 있습니다.

{
    "user_id": "123456789",
    "event_type": "$exposure",
    "event_properties": {
        "flag_key": "my-experiment",
        "variant": "treatment"
    }
}

노출 트랜스포메이션

Amplitude가 $exposure이벤트를 수집할 때 Amplitude는 해당 이벤트를 변환합니다. Amplitude는 다른 Amplitude 속성과의 일관성을 위해 이벤트 유형과 이벤트 속성의 이름을 바꾼 다음 정확한 실험 분석을 위해 실험 사용자 속성을 설정하거나 설정 해제합니다.

자동 노출 추적

클라이언트측 실험 SDK는 노출 추적 공급자 구현을 통해 자동 노출 추적을 지원합니다. 연동 또는 사용자 지정 구현이 없으면 실험은 노출 이벤트를 자동으로 추적하지 않습니다.

노출 추적 예제

1
2
3
curl --request POST \
  --url 'https://api2.amplitude.com/2/httpapi' \
  --data '{"api_key":"","events":[{"event_type":"$exposure","user_id":"","event_properties":{"flag_key":"","variant":""},"device_id":""}]}'

프록시 노출 이벤트

프록시 노출 이벤트는 실험을 실행하기 전에 트래픽 및 기준선 전환을 모델링하기 위해 사용자가 선택한 일반적인 분석 이벤트입니다. 프록시 노출 이벤트는 기간 추정기 및 관련 계산을 지원합니다. 프록시 노출 이벤트는 실험이 라이브 상태가 된 후 분석 다음 기간동안 Amplitude가 사용하는 실제 노출 또는 할당 이벤트와 동일하지 않습니다.

사용자가 귀하의 실험을 접하게 될 시기를 가장 잘 나타내는 프록시 노출 이벤트를 선택하십시오. Amplitude는 과거 트래픽을 사용하여 실험 기간을 예측하고 플래그가 비활성화되었을 때 기준선을 설정합니다. 지속 기간 추정기는 프록시 노출 이벤트의 최근 트래픽에 의존합니다. Amplitude는 실험 시작 전 7일 다음 기간동안 프록시 노출 이벤트를 완료한 사용자로부터 "통제 평균" 기준선을 계산합니다.

작업 로그에는 프록시 노출 변경 사항이 기록되므로 구성 변경 사항은 플래그 기록에 나타납니다.

Amplitude는 프록시 노출 이벤트를 실제 노출 이벤트의 배열과는 구별되는 단일 ExposureEvent모양의 오브젝트로 분석 매개변수에 저장합니다.