実験後の手順

Amplitude 実験のウェブ実験は、仮説を検証し、アイデアを検証し、データに基づいたプロダクト決定を下すのに役立ちます。Amplitudeでは、成功したバリアントを特定した後、実験にトラフィックを100％割り当てで継続するのではなく、そのバリアントを本番コードベースに移行することを推奨します。

実験が終わったら

実験を終了し、勝者を選ぶ準備ができたら:

1. 結果を分析し、勝者を決定します。 実験が統計的有意性に達成したこと、および成功したバリアントがビジネス目標と一致していることを確認してください。
2. 成功したバリアントをコードに実装します。エンジニアリングチームと協力して、成功した体験を実稼働コードベースで再現します。詳細については、「勝利したバリアントを移行するメリット」を参照してください。
3. Amplitudeで実験を無効にするか、アーカイブしてください。 実験を無効にすると、不要なロジックを削除し、偶発的な再起動や分析の混乱を防ぐことができます。
4. 結果を文書化します。 目標、重要な学習内容、下された決定事項、実装フォローアップなどの実験の詳細を社内のナレッジベースに記録します。

機能フラグを有効にする

変更にロールバック機能または差分ロールアウトが必要な場合は、機能フラグを使用します。 機能フラグを使用すると、実験ロジックやメタデータのオーバーヘッドなしで、継続的な制御が可能になります。

成功をおさめたバリアントを移行することのメリット

勝利したバリアントを本番コードベースに移行することにより、次のような利点が得られます。

• パフォーマンスとユーザー体験: ウェブ実験を100%で実施すると、ページに回避可能なクライアント側のオーバーヘッドが追加されます。このオーバーヘッドはページ読み込みの実行時間を増加させ、パフォーマンスに悪影響を及ぼす可能性があります（特に大規模な場合）。 Amplitudeによるパフォーマンスの最適化については、ウェブ実験パフォーマンスをご覧ください。
• 技術的負債: 長期にわたる実験は、ダッシュボードや実験環境を混乱させます。 決定後も実験を有効にしておくと、不必要な設定オーバーヘッドが発生し、ユーザーに影響を与えるエラーが発生するリスクが高まります。
• プラットフォームコストとインプレッション数：各実験評価は、Experimentの毎月のインプレッション数にカウントされます。 テストが学習を提供しなくなった後もテストを100%で実行した場合でも、実験はページ読み込みごとに評価を行います。こうした評価は時間の経過とともにコストを増やし、予算編成を非効率化します。