Compassで会社の変曲指標を見つける

Compassは、リテンションまたはコンバージョンの予測で行動を特定するのに役立つ強力な機能です。 変曲指標（ユーザーがプロダクトで重要なしきい値に達した瞬間をとらえる指標）を特定するもので、これはユーザーの増加を促進するのに不可欠です。

例えば、Facebookは、最初の10日間で7人の友だちを追加することが、長期リテンションの最も強いシグナルであると早い段階で発見しました。 最近では、Netflixがテレビ番組に夢中になるためにかかる番組ごとのエピソード数についての分析を公開しました。

先に進む前に、まず、Compassのヘルプセンタードキュメントをお読みになることをお勧めします。 この記事の残りの部分は、分析がどのように機能するかについての一般的な理解がある方を読者として想定しています。1

分かりやすさに配慮して、ここでの新しいユーザー/リテンションのユースケースを使用しますが、新しいユーザーは任意のベースコホートに、リテンションユーザーは任意のターゲットコホートに置き換えられます。

変曲指標を見つけるには、まずターゲットコホートを決定する必要があります。 多くの場合、変曲指標は新規ユーザーにリテンションユーザーになることを奨励するプロセスの中心です。 この記事で使用されている例では、ベースコホートは新規ユーザーであり、ターゲットコホートはリテンションユーザーです。2

ベースコホートは、分析しているユーザー（例：新規ユーザーまたはログインユーザーなど）の初期セットです。 ターゲットコホートは、ターゲットアクション（リテンション、コンバージョンなど）を正常に完了したユーザーのセットです。

これは一般的なユースケースであり、Compassチャートのデフォルトセットアップです。 ただし、チャートは簡単に編集できるため、特定の分析ニーズを反映できます。

変曲指標を探す場合、これは絶対的な指標ではないことに留意してください。 ユーザーがその時点で必ずコンバージョンすることを意味するものではなく、組織（例：プロダクト＆マーケティングチームなど）からユーザーに奨励してほしい行動のタイプを示唆するものです。

Compassを開始する

Compassを使い始めるのに一番良い方法は、どのイベントがリテンションの良い予測因子になりうるかを自分自身に問いかけることです。 分析するイベントを選択したら、ユーザー行動について興味深い内容を明らかにする可能性がある相関関係について考えてみましょう。 しかし、その前にCompassの指標を解釈する方法を詳しく説明していきます。

しきい値を超える比率

しきい値を超える割合は、最初のN日間に実際にイベントをトリガーした新規ユーザーの数を示しています。 これは重要です。なぜなら、しきい値を満たすユーザーのサンプルが十分にあることで、しきい値とリテンションの間にどれだけ相関関係があるかをCompassが理解できるからです。

割合を変更する1つの方法は、ウィンドウのパフォーマンス日数を増やすことです（Amplitudeは、1日から7日間まで可能です）。 パフォーマンス日数が多いほど、ユーザーには長い時間が与えられ、しきい値に達する割合が増加します。 さらに、イベントプロパティを調査している場合、しきい値を優に超える割合が存在する可能性があるため、イベント全体を見るようにしてください。

しきい値を超えるベストな割合というものは存在しません。 低すぎる場合、新しいユーザーに何度もそのイベントを実行させることは難しいでしょう。逆に、高すぎる場合はそれ以上改善の余地がありません。 3

しきい値を超える割合が低くても、高い相関関係が得られる極端なケースもあります。 例えば、Webアプリケーションのトラフィックが多くても、すべての新規ユーザーに強制ログインさせている場合がそうです。

この指標は、変曲指標を見つけることのバランスを考慮しているため、重要です。 Facebookの例に話を戻すと、新しいユーザーに友だちを1人追加してもらうことは、ほとんどすべてのユーザーがそのようにするため、変曲指標としては最適とは言えません。 一方、新しいユーザーに100人の友だちを追加してもらうことはリテンションと高い相関関係がありますが、実際にそのレベルに達するユーザーの割合が非常に低いため、実現できません。

真陽性：PPVと感度

しきい値を超える合理的な割合が存在する場合、次はイベントのフリークエンシーへの到達とリテンションとの間の相関関係を確認します。 これは、正の予測値**（PPV）と感度**を見て確認します。

PPVは、イベントのフリークエンシーに達してリテンションされたユーザー（真陽性と呼ばれます）の、イベントのフリークエンシーに達したすべてのユーザー（真陽性+偽陽性）に対する比率を指します。 感度は、リテンションしてイベントのフリークエンシーに達したすべてのユーザー（真陽性）の、リテンションしたすべてのユーザー（真陽性+偽陰性）に対する比率を指します。 両方とも高い方が良いのです。

コンティンジェンシーマトリクスの真陽性、偽陽性、および他の値に関するさらなる解説はこちらをお読みください。

例1：高PPV、低感度

例えば、PPVは高いが、感度は低いものとします。つまり、このイベントはリテンションの予測因子ですが、多くの新規ユーザーがしきい値に達していません。 したがって、より多くのユーザーにトリガーを促すことができるかどうかを確認する実験の有力な候補の1つです。また、まだ見ていない別の変曲指標があるかもしれないことを意味します。この頻度に達していないユーザーはまだリテンションされていないため、他にもリテンションと相関しているものがあるでしょう。

例2：低PPV、高感度

この例では、イベントのフリークエンシーがリテンションされている多くのユーザーをキャプチャしていますが、プロダクトの全体的なリテンションは低いものとみられます。 これは、プロダクトのリテンションが低いか、またはイベントのフリークエンシーを満たすユーザーの多くがリテンションされていないため、変曲指標の良い候補ではありません。

真陰性比：NPVと特異性

変曲モーメントは、正の予測因子である必要がありますが、ユーザーがしきい値に達していない場合、リテンションの負の予測因子、つまりチャーンであることも確認したいでしょう。 これは、負の予測値**（NPV）と特異性**を通じて把握されます。

NPVは、イベントのフリークエンシーに達せず、リテンションもされなかったユーザー（真陰性）の、イベントのフリークエンシーに達しなかったすべてのユーザー（真陰性+偽陰性）に対する比率を指します。

特異性は、イベントのフリークエンシーに達せず、リテンションもされなかったユーザー（真陰性）の、リテンションされなかったすべてのユーザー（真陰性+偽陽性）に対する比率を指します。 上記の例のように、これらの値の両方を最大化することが望ましいでしょう。

**ヒント：**ただし、高NPVと高い特異性が、変曲指標として使用するには不適切な強い相関につながる可能性があるエッジケースが存在します。これは、ユーザーの非常に高い割合が真陰性バケットに入り、しきい値を超える割合が非常に低い場合に発生します。例えば、非常に小さな割合のユーザーがログインすることで、他のすべてのイベントが発生するのをブロックするウェブサイトがそれにあたります。 この例では、ほとんどのユーザーはイベントをトリガーしないため、ほとんどのイベントにリテンションと高い相関関係があります。 これを防ぐには、ベースコホートを、実際のユーザー（ログインするユーザーなど）をよりよく反映するように変更します。

例3：高NPV、低特異性

この例では、2つのうち1つが起こっている可能性が高いでしょう。 PPVも低いか（例2に示す通り）、またはしきい値を超える割合が非常に高いため、このアクションを奨励することで改善を妨げます。 どちらもよい変曲指標ではありません。

例4：低NPV、高特異性

ここでは、感度も低いか（例1に示す通り）、またはリテンションが非常に高く、コンバージョンするユーザーが多くないため、くみしやすい問題です！

結論

もうお分かりかもしれませんが、私たちは基本的にCompass分析を実行して、コンティンジェンシーマトリクスの上部の左（真陽性）と下部の右（真陰性）象限を最大化するイベントのフリークエンシーを明らかにしようとしています（または、統計に精通されている場合はタイプIとタイプIIのエラーを最小化してください）。

これらの変曲指標は、説明した詳細な5つの統計値すべてのバランスをとることでこれを達成する傾向があり、プロダクトのタイプとイベントのパフォーマンス日（1～7）の数に応じて、良好な相関は0.2～0.4の範囲になります。5

サンプルサイズが結論を導くのに十分であることをチェックすることも重要です。全体的なユーザーボリュームに依存するため、マジックナンバーはありませんが、相関係数の横にある青色の +- 番号（95％信頼区間）をクリックすることで、サンプルサイズの効果を確認できます。 サンプルサイズは、日付範囲を変更することで増やすことができます。最大90日分のデータを利用できます。

Compassは、データを基に相関係数を公開するものです。これは、プロダクトおよび/またはライフサイクルマーケティングに変更を加えることによってテストできる仮説です。 因果関係を証明する唯一の方法は、A/Bまたは分割テストを実行して、それらの変更を分離することです。 AmplitudeでA/Bテストの結果を分析する方法について、さらに読み進めましょう。