詳細メトリクスの使用例

この記事では、実験結果を分析する際に遭遇する可能性のある高度なユースケースについて説明します。

ケース1: 実験のメトリクスに基づいてファネル分析を作成する

5つのステップからなるコンバージョンファネルを想像してください。ステップ3が実験の露出イベントにあたります。ノイズを減らし、統計的有意性に達する可能性を高めるために、Amplitude 実験は露出イベントの後にのみメトリクスイベントをカウントします。露出イベントがファネルのステップ 3 で、ファネル全体をメトリックとして含める場合、ファネルのコンバージョン数はゼロになります。 ファネルの実際のコンバージョン率を測定するには、ステップ3～5を実験の独立したメトリックにします。

実験のコンバージョン率をさらに分析するには、ファネル分析が必要になることがあります。

実験のメトリクスをファネル分析チャートで使用するには、以下の手順に従ってください。

1. イベントモジュールにファネル分析用のイベントを追加します。
2. 測定基準モジュールで、コンバージョン時間枠を選択し、カウント方法（ユニークユーザー数または合計数）を指定します。
3. セグメントモジュールで、分析単位またはグループタイプ（例：任意のユーザー）を選択します。
4. 実験の各バリアントに対してユーザーセグメントを作成します。
5. 実行済みを選択して、実験のフラグキーとバリアントを使用してフィルタを追加します。実験を再開した場合は、実験キーフィルタを追加してください。
6. 実験の開始日に合わせて、日付範囲を開始以来に設定してください。

ファネル分析チャートの結果は、実験結果とわずかに異なる場合があります。 ファネル分析と実験では、バリアントジャンプが発生したユーザーの処理方法が異なります。

たとえば、ファネル分析には、フィルタ要件を満たすすべてのユーザーが含まれます。 次に、ファネル分析は、フィルタリングされたユーザーに基づいてファネルのコンバージョン率を計算します。 ユーザーがファネルを完了した後にエクスポージャーイベントに到達した場合でも、ファネル分析にはユーザーが含まれている可能性があります。

他のAmplitude アナリティクス メトリクスを使用して実験データを分析する

Amplitude アナリティクスは、Amplitude 実験が提供していないメトリクスを提供します。前のセクションの手順を使用して、変換時間またはリテンションのリターンまたはその後を分析します。

詳細については、ヘルプセンターのファネル分析に関するFAQ記事を参照してください。

ケース 2: ユーザーのサブセットに基づいて実験結果を分析する

実験がすべてのユーザーを対象としているものの、米国の曝露ユーザーのみなど、ユーザーのサブセットに対する実験の効果を検証したい場合を想定してください。国プロパティにフィルタを追加しても、期待通りの結果は得られません。

メトリクスを作成すると、Amplitudeはすべての露出ユーザーについてそのメトリクスを計算します。米国のユーザー向けのフィルターをメトリックイベントに追加した場合、分子にはフィルターが含まれますが、分母には含まれません。

実験結果のユーザーのサブセットをフィルタリングするには、次の手順に従ってください。

1. 実験で、アクティビティ > 分析 > 外部リンクアイコンに移動します。
2. Variants Performed By（バリアントの実行元）セクションで、フィルタを選択して、国プロパティにフィルタを追加します。

実験結果を1つのサブセットのみに基づいて分析することは避けてください。 統計的に有意な真の結果を探している場合、偽陽性が発生することがあります。

この状況で多重仮説検定を実行すると、セグメントごとに個別の仮説検定が実行されます。あるサブセットでは上昇が見られ、別のサブセットでは低下が見られる場合があります。このような状況でロールアウトするかロールバックするかの判断は必ずしも明確ではありません。 1つのオプションは、リフトを示すグループのみに展開することです。

ケース 3：しきい値メトリック

場合によっては、ユーザーがイベントを複数回実行したことを成功と定義したい場合があります。 たとえば、ユーザーが3回連続して購入を行わないと、コンバージョンとしてカウントされません。この設定にするには、3つの購入イベントを使用してユニークでカウントするファネルを作成します。