インパクト分析：初回のエンゲージメントがユーザーの行動に与える変化をトラック

この記事のテーマ：

• あるイベントの実行が、ユーザーが他のイベントを実行する頻度に与える影響を知る
• 因果推論を効果的かつ適切に活用する

Amplitudeのインパクト分析チャートでは、ある機能の初回のエンゲージメントが他の行動をとる頻度に与える影響を知ることができます。

インパクト分析を使うと、例えば音楽アプリのプロダクトマネジャーなら、ユーザーが曲をお気に入りに追加する機能を初めて発見した後の、曲を再生する平均回数の変化を見ることができます。

インパクト分析チャートは以下のように活用できます。

• ユーザーがある機能を初めて発見したことで、別の特定の行動をとる頻度に変化が生じるかを知る
• 新機能または変更された機能を使ったユーザーが、新機能を初めて使う前と比べて、特定の行動をとる頻度が上がったかを判断する

**注：**この機能はエンタープライズ、グロースおよびスカラーシッププランのお客様にのみご利用いただけます。

始める前に

まず最初に、実装が完了するまでイベントはAmplitudeチャートに表示されないため、予め実装を完了してください。Amplitudeのユーザーインターフェースの基本について解説したAmplitudeでのチャートの作成も併せてご参照ください。

さらに、インパクト分析チャートを使うときは、相関関係は必ずしも因果関係を意味しないことを常に意識しましょう。

インパクト分析チャートの設定

インパクト分析チャートを構築するには、以下のステップに従ってください。

1. イベントモジュールで、トリートメントイベントを選択します。これは、ユーザーがプロダクト内の何らかの重要なアクションをとる可能性に影響を及ぼすかもしれないと考えられるユーザーアクションです。トリートメントイベントは3つまで選択できます。
2. 次に、アウトカムイベントを選択します。これは、ユーザーがトリートメントイベントを初めて実行した後に変化があったかもしれないと考えられる行動です。アウトカムイベントも3つまで選択できます。
3. 希望に応じて、（+ whereをクリックし、プロパティの名称を選択後、対象とするプロパティの値を指定して、イベントにプロパティを追加します。
4. セグメンテーションモジュールで、分析に含めるユーザーセグメントを指定します。保存されたセグメントをクリックし、リストから希望のセグメントを選択することで、過去に保存したセグメントをインポートできます。セグメントを選択しなければ、Amplitudeはすべてのユーザーを分析対象とする前提からスタートします。
5. 保存済みのユーザーセグメントをインポートしない場合は、プロパティを追加して新しいユーザーセグメントを作成できます。ユーザーセグメントを作成するには、+ whereをクリックし、含めたい属性を選択して、関心のあるプロパティ値を指定します。
6. 既に何らかのアクションを実行したユーザーのみを含めるようにAmplitudeに指示することで**、**さらに属性を絞り込むこともできます。これを行うには、+ performをクリックして、関心のあるイベントを選択します。
7. 日付ピッカーを使用して、タイムゾーンを指定し、分析のインターバルと時間枠を設定します。 指定された期間中にトリートメントイベントを初めて実行したすべてのユーザーが分析の対象となります。

この場合の「初めて」は、選択された期間の初日から遡って一定の日数の期間内にユーザーがトリートメントイベントを初めて実行したときと定義されます。 一定の日数は、選択されたインターバルによって変化します。

• • 1日ごと：90日間
    * 1週間ごと：91日間（13週間）
    * 1か月ごと：120日間（4か月間）
    * 四半期ごと：360日間（4四半期）

例えば、対象期間を2020年10月15日から2020年11月18日までに設定し、1週間ごとのインターバルを指定すると、結果に含まれるユーザーは、トリートメントイベントをその期間内に実行し、2020年7月17日から2020年10月15日まで（選択された期間の初日から91日前）の間に一度もそのイベントを実行していなかったすべてのユーザーとなります。

インパクト分析の解釈

インパクト分析チャートは、各ユーザーがトリートメントイベントを初めて実行したときから数えたn日後をベースに、アウトカムイベントの回数を表示します。Amplitudeが各ユーザーの相対的な時系列を自動的に揃えるので、パターンがわかりやすくなります。中央の線はユーザーが初めてイベントを実行した日または週を表します。

上図の例では、11月1日から11月30日までの間に初めて曲をお気に入りに追加したユーザーが、初めてお気に入り機能を試した週に曲または動画を再生した回数は、平均で1日あたり3回強だとわかります。これに対して、お気に入り機能を発見する前の週には、同じユーザーは平均で1日あたり2回ほどしか曲を再生していません。

指標の選択

Amplitudeではインパクト分析チャートに4種類の指標を用意しています。平均実行回数、アクティブ率、実行回数分布、プロパティです。

Screen_Shot_2018-12-16_at_9.27.19_PM.png

平均実行回数

平均実行回数を使うと、チャートのY軸には相対的なn日・n週間の各インターバルでユーザーがアウトカムイベントを実行した平均回数が表示されます。イベントを1回以上実行したユーザーのみがカウントされます。各データポイントにカーソルを合わせると、各インターバルで何人のユーザーがアウトカムイベントを1回以上実行したかを確認できます。

アクティブ率

このオプションでは、相対的なn日・n週間の各インターバルでアウトカムイベントを1回以上実行したユーザーの割合がY軸に表示されます。インターバル中に何らかのアクティブイベントを実行したすべてのユーザーが含まれます。各データポイントにカーソルを合わせると、各インターバルで何人のユーザーがアウトカムイベントを1回以上実行したかを確認できます。

下図の例では、初めて曲をお気に入りに追加した後の1週間では66,339人のユーザーがアクティブだったこと、92.9%が曲または動画を再生したことがわかります。

実行回数分布

この指標では、相対的なn日・n週間の各インターバルでユーザーがアウトカムイベントを1回以上実行した回数の分布がチャートのY軸に表示されます。

下図の例では、7,540人のユーザーが、初めて曲をお気に入りに追加した後の1週間で、曲または動画を4回再生しています。

プロパティ

プロパティの指標では、特定のアウトカムイベントについてイベントプロパティの平均または合計を計算できます。これらの計算では、相対的なn日・n週間の各インターバルで実行されたアウトカムイベントのすべてが対象となります。例えば、曲をお気に入りに追加する前の週と後の週にユーザーが再生したすべての曲または動画の長さの平均をグラフ化できます。

因果推論の解釈についてのベストプラクティス

インパクト分析は、ユーザーの行動による影響をより深く理解するための仮説の検証に役立ちます。ただし、因果関係を特定する定番の手法であるランダム化実験の代わりにはなりません。インパクト分析チャートは、ユーザーによるプロダクトとのエンゲージメントをより成功させるための実験プログラムで注目すべき点を特定するために役立つツールとして捉えましょう。

因果関係を結論付ける前に、以下の点を考慮しましょう。

• 他の**仮説：**トリートメントイベントを初めて実行するときと同じ時期にユーザーがとる可能性のある他の行動について考えてみましたか？これらの行動も、アウトカムイベントの頻度に影響を与えているかもしれません。こうした他の行動も計装されているのであれば、それらをトリートメントイベントにして別のインパクト分析チャートを作ってみましょう。似たような結果が示された場合、それぞれのトリートメントイベントがアウトカムの変化にどの程度影響しているのか、ユーザーリサーチや可能な場合はランダム化実験などを通じた追加の調査が必要です。
• ユーザ**ー数：**成果の指標が高い変動率を示している（インターバルによって大幅に変化している）場合やトリートメントの前後のインターバルで大幅に変化している場合は、ユーザー数を確認しましょう。一貫性のなさや大きな変化は、ユーザー数が少なすぎるためかもしれません。分母となるユーザー数が少ないと、少数のユーザーでも指標を大幅に上振れまたは下振れさせますが、ユーザー数が増えれば、一般的に指標がなだらかになり、より安定します。一般的なパターンを反映できていないこともあるため、少数のユーザーをもとに結論を導く場合は十分に注意しましょう。