지표 급증 및 하락 디버깅

실험 지표에서 예기치 않은 급증이나 하락을 발견할 경우 변경된 사항을 파악하고 데이터가 신뢰할 수 있는지를 판단하십시오. 이 가이드는 이러한 비정상성을 디버깅하기 위한 체계적인 접근 방식을 제공합니다.

트래픽 변화에 대한 누적 노출 확인

실험 대시보드에서 누적 노출 차트를 검토하십시오. 이 차트는 시간별 노출 패턴을 보여주며 데이터 품질 문제를 강조합니다.

누적 노출 차트의 주황색 점은 노출 트래픽에서 감지된 이상 현상을 표시합니다. 주황색 점은 다음을 나타냅니다.

• 노출 횟수의 갑작스러운 증가 또는 감소.
• 실험 구성에 대한 변경.
• 계측 또는 추적 문제.

데이터 품질 검사 실패는 실험에 대한 트래픽이 크게 감소할 때 나타납니다. 이러한 경고를 검토하여 급증이나 급락이 지표 변경이 아닌 노출 문제와 관련이 있는지 확인하십시오.

자세한 내용은 누적 노출 그래프 해석을 참조하십시오.

실험 구성 변경 사항 검토

지표의 급증이나 하락을 발견한 기간 동안 실험의 롤아웃 비율이나 트래픽 할당이 증가했는지 확인하십시오.

최근 변경 사항을 검토하려면 다음과 같이 하십시오.

1. Amplitude 홈페이지의 실험 또는 플래그 테이블로 이동하십시오.
2. 최종 수정일별로 정렬하여 최근에 변경된 실험을 확인합니다.
3. 실험의 구성 기록을 확인하여 변경된 내용과 시기를 확인하십시오.

Management API 관리 또는 Slack 알림을 사용하여 특정 기간 동안의 플래그 구성 버전을 검색하십시오. 구성을 비교하여 지표의 급증이나 하락을 설명할 수 있는 변화를 식별합니다.

릴리즈 타임라인 및 배포 여부 확인

지표 변경 기간 동안 코드 릴리스 타임라인, 앱 버전 업데이트 또는 기능 배포가 발생했는지 확인하십시오.

대시보드의 릴리즈 타임라인과 주석은 배포와 지표 변경 간의 시간적 상관 관계를 식별하는 데 도움이 됩니다. 아직 주석을 추가하지 않은 경우 사고의 원인을 파악한 후 주석을 추가하여 문서화하십시오.

플랫폼 및 버전별 세분화 기준

지표 급증이나 하락은 종종 모든 사용자에게 영향을 미치지 않고 특정 플랫폼이나 앱 버전에 영향을 미칩니다. 다음과 같은 기본 사용자 속성으로 분석을 그룹화합니다.

• 앱 버전: 새로운 앱 릴리스는 버그나 동작 변경을 유발할 수 있습니다.
• OS 버전: 운영 체제 업데이트는 앱 성능에 영향을 줄 수 있습니다.
• 플랫폼: 문제는 iOS, Android 또는 웹 사용자에게만 영향을 줄 수 있습니다.
• 장치 유형: 특정 장치 모델이나 화면 크기는 다르게 작동할 수 있습니다.

Amplitude SDK는 이러한 속성을 자동으로 추적하여 디버깅을 위한 신뢰할 수 있는 차원이 됩니다. 자세한 내용은 사용자 속성을 참조하십시오.

이러한 차원별로 분석하려면 다음을 수행하십시오.

1. 실험 결과에 관련 속성에 대한 속성별 절을 추가하십시오.
2. 특정 세그먼트에만 영향을 미치는 급증이나 급락을 찾아보십시오.
3. 영향을 받는 세그먼트의 고유한 특징을 조사하십시오.

이상값 식별 및 필터링

이상값 사용자나 데이터 품질 문제로 인해 일부 지표 급증이 발생합니다.

봇 트래픽

자동화된 봇 트래픽은 메트릭을 크게 왜곡시킬 수 있습니다. Amplitude는 봇을 처리하는 몇 가지 방법을 제공합니다.

• 봇 트래픽 차단을 사용하여 알려진 봇을 자동으로 필터링합니다.
• 특정 트래픽 패턴을 제외하도록 블록 필터 및 드롭 필터를 구성합니다.

계측 문제

단일 사용자로부터 연속적으로 빠르게 발생하는 이벤트는 계측 버그를 나타낼 수 있습니다.

• 자주 다시 렌더링되는 구성 요소는 각 렌더링에서 이벤트를 전송할 수 있습니다.
• 중복 추적을 방지하기 위해 이벤트를 디바운스해야 할 수도 있습니다.
• 이벤트 핸들러가 실수로 여러 회 실행될 수 있습니다.

빈도 차트를 사용하여 이벤트 수가 비정상적으로 많은 사용자를 식별하십시오. 측정 기준을 왜곡시킬 수 있는 이러한 이상치를 조사하십시오.

분석에서 이상값을 필터링하려면 다음을 수행하십시오.

1. 지표의 빈도 분포를 생성합니다.
2. 극단적인 값을 가진 사용자를 식별하십시오.
3. 이러한 사용자가 진정한 행동을 나타내는지 아니면 데이터 품질 문제를 나타내는지 조사하십시오.
4. 필터를 적용하여 실험 결과에서 확인된 이상값을 제외합니다.

플래그 키별로 노출 이벤트 분석

이벤트 세분화 차트를 생성하여 특정 플래그 키에 대한 노출 이벤트의 급증을 식별하십시오.

1. 분석 > 이벤트 세분화로 이동합니다.
2. [Experiment] Exposure이벤트를 선택합니다.
3. flag_key속성별로 그룹화합니다.
4. 행 변경별로 정렬하여 노출 변경이 가장 큰 플래그를 확인합니다.

이 분석은 특정 실험이 갑자기 더 많은 트래픽을 받았는지 여부를 밝힐 수 있으며, 이는 지표의 변화를 설명할 수 있습니다.

근본 원인 분석 사용

근본 원인 분석은 어떤 사용자 세그먼트가 지표 변경에 가장 큰 영향을 미쳤는지 파악합니다. 실험 속성만을 기준으로 필터링할 수는 없지만 다음을 수행할 수 있습니다.

1. 급증 또는 하락을 보인 지표로 이동하십시오.
2. 근본 원인 분석을 사용하여 기여 요인을 파악하십시오.
3. 사용자 속성, 동작 또는 세그먼트에서 패턴을 찾습니다.

해결 및 재발 방지

지표 급증 또는 하락의 원인을 파악한 후:

1. 대시보드에 주석을 사용하여 결과를 문서화하십시오.
2. 버그로 인해 문제가 발생한 경우 계측을 수정하십시오.
3. 봇이나 이상값이 문제를 일으킨 경우 필터를 구성하여 향후 발생을 방지하십시오.
4. 구성 변경으로 인해 문제가 발생한 경우 안정적인 설정으로 실험을 다시 시작하십시오.
5. 급증이나 하락이 노출 분포 변화와 관련이 있는 경우 샘플 비율 불일치 문제 해결을 검토하십시오.