AmplitudeでA/Bテスト結果を分析

AmplitudeでA/Bテストの結果を分析するには、各ユーザーにユーザーが体験した実験バリエーションをユーザープロパティとしてタグ付けし、その後、各バリエーションがABテストビューでどのようにパフォーマンスを発揮するかを比較します。A/Bテストでは、ウェブサイトやアプリケーションのメトリックを改善するために、管理およびランダム化された実験を実施します。ABテストビューでは、アプリケーションにおける各実験グループの動作を比較することでその影響を測定します。

たとえば、2つの異なるオンボーディングフローを異なるグループの新規ユーザーに表示し、その結果を使用してより多くのユーザーがオンボーディングを完了するよう促すフローを特定できます。また、さまざまなチェックアウトフローをテストして、どのフローがより多くの売上を生み出すかを確認することもできます。

実験の計測

結果を分析する前に実験を計測してください。 Amplitudeは、ユーザープロパティを使用してユーザーを特定の実験バリエーションに関連付けることを推奨しています。 ユーザープロパティは、プロダクトを使用する各個人の特性を反映しています。これらを使用して、Amplitude Analyticsで分析をセグメント化できます。

ユーザープロパティを更新するには、主に2つの方法があります。

1. SDKおよびHTTP API：イベントアクションに関するユーザープロパティを更新します。

   • 方法：AmplitudeのSDKまたはHTTP APIを通じて、各イベントとともにユーザープロパティを送信します。
   • 長所：ユーザープロパティは、アプリがイベントを送信したときに有効になります。プロパティは、ユーザーが明示的に値を更新するまで、その後のすべてのイベントに引き継がれます。
   • 短所：これらのイベントは毎月のイベント数にカウントされます。また、イベントはデフォルトでユーザーをアクティブユーザーとしてカウントします。A/Bテスト関連のイベントはすべて非アクティブイベントとしてマークします。

2. Identify API：イベントを送信することなくユーザープロパティを更新できます。

   • 方法：AmplitudeのIdentify APIは、イベントを送信することなくユーザープロパティを更新します。
   • 長所：イベントを送信することなくユーザープロパティを非同期に更新できます。 この更新プログラムは、毎月のイベント数に影響を与えません。
   • 短所：ユーザープロパティには、ユーザーがアクションを実行するまで反映されません。 これはほとんどの実験では問題ではありません。 この遅延は、非アクティブなユーザーがアプリケーションに戻ってきたかどうかを追跡する実験に影響を与える可能性があります。

たとえば、7日以上アクティブでないユーザーをアプリに戻そうとしており、メールにそのユーザーを呼び戻す効果があるかどうかをテストしているとします。Identify APIを使用してユーザープロパティを更新する場合、その更新は、アプリケーションに戻ってイベントをトリガーしたユーザーにのみ適用されます。ユーザーが電子メールを受信した後もアクティブになっていない場合、ユーザープロパティはそのユーザーに適用されません。その結果、ユーザープロパティが紐付けられなかったため、その非アクティブなユーザーはメールを受信した実験グループには含まれません。このような状況では、代わりにイベントアクション（たとえば、Email Sentと呼ばれるイベントなど）でユーザープロパティを更新してください。

Amplitudeがユーザープロパティをどのように同期するのかについて詳しくは、こちらをご覧ください。

送信するユーザープロパティの数

Amplitudeユーザーは、スプリットテストを計測する際に2つのアプローチのいずれかを採用する傾向があります：

実験ごとに1つのユーザープロパティを使用する

すべてのユーザープロパティはキーと値のペアとして届きます。 このアプローチでは、実験名をキーに設定し、実験のすべてのバリエーションを潜在的な値に設定します。

ユーザープロパティキー：Experiment 1 ユーザープロパティ値：variation_a

長所：ユーザーセグメンテーションタブからセグメンテーション対象の実験を選択できます。 短所：ユーザープロパティのリストは、アクティブな実験の数に応じて長くなることがあります。

すべての実験に1つのユーザープロパティを使用する

すべてのユーザープロパティはキーと値のペアとして届きます。 このアプローチでは、キーをSplit Tests（または同様のもの）に設定し、値を配列に格納します。

ユーザープロパティ：Split Tests ユーザープロパティ値：[experiment_1_value、experiment_2_value]

チャートのセグメンテーションモジュールで適切な値またはテストグループを選択することで、そのユーザープロパティSplit Testsをセグメント化できます。

長所：スプリットテストに関連するユーザープロパティは1つしかないため（実験ごとにひとつではなく）、ユーザープロパティのリストはダッシュボードで管理しやすい状態に保たれます。 短所：appendまたはprependを使用する場合、配列を10,000文字以上にすることはできません。配列がこの制限を超える場合、Amplitudeはしきい値を超えた文字を記録しません。

Amplitudeでは、各実験のユーザープロパティを更新するOptimizelyとの完全な連携も提供しています。

Amplitudeで結果を表示

各実験グループのユーザープロパティが更新された後にスプリットテストの結果を確認します。この分析を実行するには、ABテストビューを使用してください。

チャートコントロールパネルのセグメントモジュールで、実験グループ間の活動を比較できます。これを行うには、実験グループを追加してください。