주요 용어

주요 실험 용어 집합

기간	정의
할당 이벤트	등록 이벤트의 다른 이름입니다.
대상자	실험의 대상이 되는 사용자 그룹입니다. Amplitude는 일반적으로 이 오디언스를 '대조군'과 '변형군' 그룹으로 균등하게 분할합니다.
기준 전환율	이 실험 이전의 주요 성공 지표의 현재 비율입니다.
본페로니 보정법	다중 비교 문제(다중성 또는 룩 엘스웨어 효과라고도 함)를 해결하는 통계 기법입니다.
신뢰 구간	관심 있는 매개변수를 포함하는 그럴듯한 값의 범위입니다. 추정할 매개변수는 실험군과 대조군 대상 구간 평균의 차이입니다. 예를 들어 신뢰 수준이 95이고 동일한 실험을 100회 실행한 경우 각 실행의 신뢰 구간에는 최소 95회 참 매개변수가 포함됩니다.
신뢰도/유의성 수준	거짓 양성의 확률입니다. 예를 들어 신뢰 수준이 95%일 경우 실제 변경이 없을 때 성공 지표에 대한 변경을 감지할 확률은 5%입니다.
등록 이벤트	사용자나 고객을 등록된 참여자 또는 구성원으로 전환시키는 이벤트입니다.
노출 이벤트	사용자가 실험을 기반으로 한 변경을 보았을 때를 나타내는 이벤트입니다.
가드레일 지표	성공 지표를 높이는 동안 회귀로부터 보호하려는 지표입니다. 예를 들어 사용자가 귀사의 비즈니스 제품을 무료 체험하도록 유도할 경우 귀사의 소비자 제품에 대한 체험은 반대 지표로 사용될 수 있습니다. 비즈니스 테스트가 증가하면 소비자 테스트가 감소합니다. 순 효과가 긍정적인지 확인하십시오.
CUPED	기존 데이터를 사용한 통제된 실험(CUPED)은 실험의 분산을 줄이는 선택적 통계 기법입니다.
가설	문제 진술을 해결하거나 완화시킬 수 있는 방법에 대한 가정과 이러한 방법의 배후에 있는 이유입니다.
p-값	치료와 통제 대상 구간 차이가 없다고 가정할 때 본 것과 동일하거나 그 이상인 데이터를 관찰할 확률입니다.
페이로드	변형에 첨부된 변수입니다. 페이로드를 사용하여 코드를 변경하지 않고 원격으로 플래그를 변경하고 실험할 수 있습니다.
주요 성공 지표	이 실험을 실행하여 이동하려는 주요 지표입니다. 이상적으로 고객과 비즈니스 모두의 성공을 이끌어냅니다.
문제 설명	귀하가 해결하려는 내부 비즈니스 또는 사용자 문제에 대한 설명입니다.
주요 지표	목표에 대한 실험을 평가하는 정량적 측정값입니다. 주요 지표는 가설이 채택되는지 기각되는지, 그리고 실험이 성공했는지 실패했는지를 결정합니다.
런타임	변형별로 필요한 샘플 크기와 트래픽 수준에 따라 실험을 실행하는 데 걸리는 시간입니다.
롤아웃 비율	이 변형을 수신하는 대상 사용자의 비율 또는 수입니다.
표본 크기	통계적 유의성을 안정적으로 감지하기 위해 각 실험 변형에서 필요한 사용자 수 또는 트래픽 양입니다.
2차 성공 지표	이 실험을 통해 변화할 것으로 예상되는 추가 지표입니다.
순차 테스트	표본 크기가 사전에 고정되어 있지 않은 통계 분석입니다. 순차 테스트를 통해 A/B 테스트를 수행하고 결과를 검토하며 위양성을 높이지 않고 테스트를 종료할 수 있습니다.
통계적 검정력	감지할 변경 사항이 있을 때 성공 지표에 대한 변경을 감지할 확률입니다.
T 검정	두 데이터 집단의 대상 구간 평균을 비교하여 차이가 통계적으로 유의미한지 여부를 결정하는 통계 분석입니다.
목표 상승력 / 최소 감지 가능 효과(MDE)	이 실험의 결과로 주요 성공 지표에 영향을 줄 것으로 예상되는 변화의 비율입니다.
제1형 오류	치료와 통제 대상 구간에 통계적으로 유의미한 차이가 존재하지 않을 때 이를 잘못 분류하는 행위.
제2형 오류	차이가 있을 때 치료와 통제 대상 구간에 차이가 없다고 잘못 분류하는 것.

이 내용이 도움이 되었나요?