컴퍼스로 귀사의 변화 지표를 찾아보세요

컴퍼스는 리텐션 또는 전환을 예측하는 행동을 식별하는 데 도움을 줍니다. 컴퍼스는 사용자가 제품에서 중요한 임계값에 도달한 순간을 포착하는 변곡 지표를 식별합니다. 이러한 지표는 사용자 그로쓰를 촉진하는 데 도움이 됩니다.

예를 들어 페이스북은 초기 10일 동안 7명의 친구를 추가한 것이 장기간 리텐션에 대한 가장 강력한 신호라는 사실을 발견했습니다. 최근에 넷플릭스는 시청자가 매료되기 위해 TV 프로그램 당 몇 개의 에피소드를 시청해야 하는지에 대한 분석을 발표했습니다.

진행하기 전에 Amplitude는 먼저 컴퍼스에 대한 헬프 센터 문서를 읽어보라고 권장합니다. 이 문서의 나머지 부분에서는 분석 작동 방식에 대한 일반적인 이해를 가정합니다.

읽기 편의성을 위해 Amplitude는 새로운 사용자 리텐션 활용 사례를 예제로 사용합니다. 신규 사용자를 전체 기본 코호트로 대체할 수 있으며 유지된 사용자를 전체 대상 코호트로 대체할 수 있습니다.

변곡 지표를 찾으려면 먼저 목표 코호트를 결정하십시오. 변곡 지표는 종종 신규 사용자가 유지 사용자로 성장하도록 장려하는 데 중점을 둡니다. 이 문서의 예제에서 기본 코호트는 신규 사용자이고 대상 코호트는 유지된 사용자를 포함합니다.

기본 코호트는 분석 중인 초기 사용자 집합입니다(예: 신규 사용자 또는 로그인 사용자). 대상 코호트는 대상 작업(예: 리텐션 또는 전환)을 완료한 사용자 집합입니다.

이는 일반적인 사용 사례이며, 컴퍼스 차트의 기본 설정입니다. 차트를 편집하여 특정 분석 요구사항을 반영할 수 있습니다.

변곡 지표를 찾을 때는 이것이 절대적이지 않다는 것을 기억하세요. 이는 사용자가 정확히 그 시점에 전환한다는 것을 의미하지는 않습니다. 대신, 이 정보는 조직(예: 제품 및 마케팅 팀)이 사용자에게 장려하기를 원하는 행동의 유형을 제시합니다.

컴퍼스 시작하기

컴퍼스를 시작하는 가장 좋은 방법은 어떤 이벤트가 리텐션을 예측하는 데 유용한 지표가 되는지 스스로에게 물어보는 것입니다. 분석할 이벤트를 선택한 후에는 사용자 행동에 대해 흥미로운 점을 드러낼 수 있는 상관관계에 대해 생각해 보십시오.

임계값 이상의 비율

임계값을 초과하는 비율은 처음 _N_일 동안 얼마나 많은 신규 사용자가 이벤트를 트리거했는지 알려줍니다. 이는 임계값을 충족하는 사용자 샘플이 컴퍼스가 이벤트와 리텐션의 상관관계가 얼마나 좋은지를 이해할 수 있을 만큼 충분히 커야 하기 때문에 중요합니다.

비율을 변경하는 한 가지 방법은 창의 성능 일수를 늘리는 것입니다(Amplitude에서는 1일 대상 구간 7일까지 허용합니다). 성능 일수가 길어질수록 사용자가 임계값에 도달하는 데 더 많은 시간을 할애하게 되므로 비율도 높아집니다. 이벤트 속성을 조사하는 경우 전체 이벤트를 살펴보는 것이 좋습니다. 전체 이벤트는 임계값보다 높은 비율을 가질 수 있습니다.

임계값 이상에 완벽한 비율은 없습니다. 너무 낮으면 해당 이벤트를 수행할 신규 사용자를 많이 확보할 수 없으며, 너무 높으면 전체 개선할 여지가 없습니다.

일부 극단적인 경우에는 임계값을 초과하는 비율이 낮아도 여전히 높은 상관 관계를 생성할 수 있습니다. 예를 들어 트래픽이 많지만 모든 신규 사용자에게 강제로 로그인해야 하는 웹 애플리케이션이 있을 수 있습니다.

이 지표는 변곡 지표를 찾는 데 필요한 균형을 설명하기 때문에 중요합니다. 페이스북의 예로 돌아가서, 새로운 사용자에게 한 명의 친구를 추가하도록 하는 것은 변곡 지표에 적합한 선택이 아닙니다. 왜냐하면 대부분의 사용자가 이미 그렇게 하고 있기 때문입니다. 그러나 신규 사용자가 친구를 100명까지 추가하도록 유도하는 것은 비록 리텐션과 상관관계가 높지만 실제로 그 수준에 도달하는 사용자는 거의 없기 때문에 어렵습니다.

진정한 양성비: PPV 및 민감도

임계값을 합리적으로 초과하는 비율이 있는 경우 이벤트 빈도에 도달함과 리텐션 대상 구간 상관 관계를 확인하십시오. 양성 예측값**(PPV)**과 민감도를 살펴보십시오.

PPV는 이벤트 빈도에 도달하여 유지된 사용자(참 양성)와 이벤트 빈도에 도달한 모든 사용자(참 양성 + 거짓 양성)의 비율을 살펴봅니다. 민감도는 리텐션이 유지되고 이벤트 빈도에 도달한 사용자(진양성)와 리텐션이 유지된 모든 사용자(진양성 + 거짓 음성)의 비율을 살펴봅니다. 둘 다 높아지길 원합니다.

분할 행렬의 진양성, 거짓 양성 및 기타 값에 대한 자세한 내용은 Wikipedia의 혼동 행렬을 참조하십시오.

예 1: 높은 PPV, 낮은 감도

PPV는 높지만 민감도가 낮다고 상상해 보십시오. 이 이벤트는 리텐션을 예측하지만, 임계값에 도달하는 신규 사용자는 거의 없습니다. 이 이벤트는 더 많은 사용자가 이 이벤트를 트리거하도록 유도할 수 있는지 확인하기 위한 실험에 유망한 후보입니다. 이 결과는 또한 이 빈도에 도달하지 않은 사람들이 여전히 유지되기 때문에 아직 살펴보지 않은 또 다른 변곡 지표가 존재할 수 있음을 의미합니다.

예 2: 낮은 PPV, 높은 감도

이벤트 빈도는 리텐션된 사용자의 대부분을 포착하지만 제품의 총 리텐션은 낮을 가능성이 큽니다. 이는 제품의 리텐션이 낮거나 이벤트 빈도를 충족하는 사용자 중 높은 비율이 리텐션되지 못하기 때문에 변곡 지표에 적합하지 않습니다.

진음성 비율: NPV와 특이도

변곡 모멘트는 긍정적인 예측 변수여야 합니다. 또한 사용자가 임계값에 도달하지 못할 경우 이 실패가 리텐션의 부정적인 예측 인자(즉, 이탈)가 되도록 해야 합니다. Amplitude는 음의 예측값**(NPV)**과 특이도를 통해 이를 포착합니다.

NPV는 이벤트 빈도에 도달하지 못했고 유지되지 못한 사용자(진음수)와 이벤트 빈도에 도달하지 못한 모든 사용자(진음수 + 거짓음수)의 비율을 살펴봅니다.

특이도는 이벤트 빈도에 도달하지 못했고 리텐션되지 않은 사용자(진음성)와 리텐션되지 않은 모든 사용자(진음성 + 가양성)의 비율을 살펴봅니다. 위의 예제와 마찬가지로 이 두 값을 모두 최대화하려고 합니다.

예 3: 높은 NPV, 낮은 특이성

이 예제에서는 두 가지 중 하나가 발생할 가능성이 큽니다. PPV 역시 낮거나(예 2에서와 같이), 임계값 이상의 비율이 너무 높아서 이 조치를 장려함으로써 개선할 여지가 없기 때문입니다. 둘 다 훌륭한 변곡 지표를 만드는 것은 아닙니다.

예 4: 낮은 NPV, 높은 특이성

여기서는 민감도도 낮거나(예시 1과 같이), 리텐션이 너무 높아 전환할 사용자가 거의 남지 않은 경우인데, 이는 긍정적인 문제입니다.

컴퍼스 분석은 분할 행렬의 왼쪽 위(진양성)와 오른쪽 아래(진음성) 사분면을 최대화하는 이벤트 빈도를 발견하려고 시도합니다. 통계에 익숙하다면 이 방법으로 유형 I 및 유형 II 오류가 최소화됩니다.

이러한 변곡 지표는 분할 행렬의 5가지 상세 통계 모두의 균형을 맞춥니다. 제품 유형에 따라 양호한 상관 관계는 이벤트의 실시 일수(1일~7일)에 따라 0.2~0.4 범위입니다.

샘플 크기가 결론을 도출하기에 충분히 큰지 확인하십시오. 전체 사용자 수량에 따라 달라지므로 마법의 숫자는 없지만, 상관 관계 옆에 있는 파란색 +- 숫자(95% 신뢰 구간)를 클릭하면 표본 크기의 영향을 확인할 수 있습니다. 날짜 범위를 변경하여 샘플 크기를 늘립니다. 최대 90일간의 데이터를 사용할 수 있습니다.

컴퍼스는 데이터의 상관 관계를 노출하며, 이는 제품 또는 생애주기 분석 마케팅을 변경함으로써 테스트할 수 있는 가설입니다. 인과 관계를 증명할 수 있는 유일한 방법은 A/B 또는 분할 테스트를 실행하여 이러한 변경사항을 격리하는 것입니다. Amplitude에서 A/B 테스트 결과를 분석하는 방법에 대해 자세히 알아보십시오.