実験について決断を下す

実験が統計的有意性に達した後、または分析終了日や予定された停止日に達した後、次に何をするかを決定します。この記事では、実験を終了する方法と利用可能なオプションについて説明します。

実験を終了

分析終了日に達した場合、または統計的有意性に達した場合に実験を終了してください。 終了するには、実験を完了をクリックします。

停止をスケジュールしていた場合、停止時間が経過した時点でAmplitudeはすでに新しいユーザーをバリアントに割り当てることを停止していました。 実験にはCompleted (Pending decision)と示されます。実験を完了をクリックしてロールアウト、ロールバック、または続行します。

次に、次のいずれかを選択します。

• 勝利したバリアントをロールアウトします。
• すべてをロールバックし、実験前の状態に戻します。
• 実験を続けます。

この決定は後で再検討できます。

実験が終了するとどうなるか

実験が完了すると、Amplitudeは分析用の新しいデータの収集を停止します。 実験は実験リストに残りますが、新しいユーザーをバリアントに割り当てることはありません。 履歴データと分析結果は、引き続きレビュー用に利用できます。

ロールアウトまたはロールバックを行うと、Amplitudeは選択した変更を適用します。 実験を続行した場合、指定した新しい終了日まで実験は有効なままとなります。

バリアントを展開します

すべてのユーザーに勝利したバリアントをロールアウトすると、Amplitude：

• ロールアウト率を100%に設定します。
• 配分の重みを勝ち取ったバリアントの場合は100に変更し、その他のすべてのバリアントの場合は0に変更します。
• スティッキーバケット化を無効にします（falseに設定）。

ユーザーの割合をカスタムに設定した場合、Amplitudeはこれらの自動変更を適用しません。 ロールアウトの決定を確認した後で、変更を手動で適用する必要があります。

また、「対象ユーザーのみ」に展開することもできます。 このオプションを使用すると、実験結果を過度に一般化することを避けることができます。 たとえば、米国のユーザーをターゲットに設定した場合、5%の改善が見つかりました。この結果は、すべてのユーザーにロールアウトすることで米国外で5％のリフトが生じるという意味ではありません。米国のユーザーの場合は5%、その他のすべてのユーザーの場合は-2%のリフトが見られる可能性があります。

実験をロールバックする

実験をロールバックするとき、Amplitude:

• フラグをオフにします。
• ロールアウトの割合を 0% に設定します。

実験を続行する

実験を継続するには、新しい終了日を入力してデータを収集し、実験を開始をクリックしてください。

新しい結果で実験を再開するには（たとえば、インストルメンテーションの問題がデータの品質に影響を与えた後など）、新しい実験ランを作成してください。新しい実行では、以前のユーザーデータは監視と分析から除外されます。

機能フラグをクリーンアップする

実験を決定した後は、不必要なオーバーヘッドや混乱を避けるために機能フラグを整理してください。

実験を無効化またはアーカイブする

ロールアウト、ロールバック、または実験を継続した後は、Amplitudeでその実験を無効化するかアーカイブしてください。 アーカイブは不要なロジックを削除し、偶発的な再アクティブ化や分析の混乱を防ぎます。

実験を無効化またはアーカイブするには：

1. Amplitude 実験で使用する実験に移動します。
2. 実験を完了またはフラグをオフにするの横にあるメニューをクリックします。
3. 実験をアーカイブするには、［アーカイブ］を選択します。

アーカイブされた実験は、アーカイブされたラベルとともに実験リストに残ります。 必要に応じてアーカイブを解除できます。

実験コードを削除する

勝利したバリアントを展開する際には、エンジニアリングチームと協力して勝利した体験を本番コードベースに直接実装してください。 このバリアントをコードに実装することで、100%のトラフィック割り当てで実験を継続する必要性がなくなります。

エンジニアリングチームが選択したバリアントをコードに実装した後、コードベースから実験ロジックを削除してください。 ロジックを削除することで技術的負債が軽減され、パフォーマンスが向上します。