実験をテストして開始する

ユーザーが実験を閲覧する前に、バリアントが意図したとおりの外観で問題なく機能することを確認してください。ExperimentではユーザーID、デバイスID、またはコホートごとに特定のバリアントを割り当てることができるため、テストデバイスが実験に参加したときにAmplitudeが正しいバリアントを提供していることを確認できます。

実験やフラグからユーザーを除外するには、ユーザーをOFFバリアントに追加します。

実験の概要ページで、概要、配信、バリアント、およびターゲティングの各セクションを確認してください。 各セクションが計画と一致していることを確認してください。

インストルメンテーションのテストをクリックすると、実験のオーディエンスを設定したときに指定したテスターに実験のバリアントが送信されます。

実験を開始する

実験が意図したとおりに機能したことに満足したら、「実験を開始」をクリックして、すぐにバリアントの配信を開始してください。 後で開始するか、後で停止するか、またはその両方を行うには、「実験を開始」を展開し、「スケジュール」をクリックします。

分析終了日を設定することも、デフォルトの実験分析範囲を受け入れることもできます。 分析終了日は、結果に表示される日付を制御します。 これによりバリアントの配信が停止されることはありません。 配信を指定した時間に停止するには、停止をスケジュールします。

実験の実行後、統計的有意性に達した時点、または分析終了日に達した時点で、実験に関する決定を行うことができます。

このスケジューリングフローは、ウェブ実験にも適用されます。

実験をスケジュールする

開始、停止、またはその両方をスケジュールすることで、Amplitudeは選択した回数にバリアント配信を開始および終了できます。

将来Amplitudeが新しいユーザーをバリアントに割り当てることを停止させたい場合は、スケジュールされた停止を使用してください。 結果ウィンドウの範囲を制限したい場合は、分析終了日を使用します。これらの設定は独立しています。

1. 「実験を開始」を展開し、「スケジュール」をクリックします。
2. 開始時刻、終了時刻、またはその両方を設定します。少なくとも1時間前には開始をスケジュールしてください。 終了時刻は開始時刻より後でなければならず、両方の時刻は未来である必要があります。
3. スケジュールをクリックします。

実験がすでにスケジュールされているか、実行されている場合は、「スケジュールの編集」をクリックして開始時刻または終了時刻を変更または削除します。

停止をスケジュールした場合、分析終了日が空の場合、Amplitudeは分析終了日を停止時間で埋めます。 分析終了日をすでに設定している場合、Amplitudeはそれを変更しないまま残します。停止をスケジュールした後も、停止時刻以降の日付を含め、分析日付範囲を編集できます。

停止時間が経過すると、Amplitudeは新しいユーザーをバリアントに割り当てることを停止します。 決定が下されるまで、経験にはCompleted (Pending decision)が表示されます。

機能フラグの場合は、有効フラグを展開し、スケジュールをクリックします。Amplitude は開始時にフラグをオンにし、終了時にフラグをオフにします。

スケジュールされた停止は、相互排除グループやホールドアウトグループのバランスを調整しません。 実験が自動停止した後も、その相互排他スロットは未使用のまま残り、ホールドアウトの除外枠は引き続きユーザーを実験から除外し続けます。

ロールアウト後のQA

ロールアウト後は、各バリアントにAmplitudeが露出したユーザーの数を日単位で確認できます。

_「実験」>「実験」>「アクティビティ」タブ>「診断」_に移動して、Amplitudeが各バリアントに割り当てたユーザー数を確認できます。

このビューは、割り当てプロセスをQAするのに役立ちます。 あるバリアントの登録ユーザー数が予想よりも大幅に多かったり少なかったりする場合、その違いは調査すべき問題を示している可能性があります。

問題となる異常値や異常を発見した場合は、チャートや情報をクリックして潜在的な原因を調査してください。 異常を理解する方法の詳細については、この記事「根本原因分析」を参照してください。

実験の実装と割り当てロジックをより詳細に検証するには、完全な A/B テストを開始する前に A/A テストを実行してください。