実験から学ぶ

実験を設計し、それをユーザーに展開し、ユーザーが新しいバリアントとやり取りするのに十分な時間を与えました。さて、仮説が正しいかどうかを確認してください。

「アクティビティ」タブでは、実験で統計的に有意な結果が得られたかどうか、またその結果がどのようなものであったかを一目で確認できます。 実験は設計およびロールアウトの段階で提供された情報を自動的に使用するため、作業の繰り返しが不要になります。[アクティビティ] タブでは、結果がバリアント別に分類され、詳細な内訳が表形式で表示されます。

フィルタカード

フィルタカードで、ページ上の分析を更新する基準を設定します。 実験結果を以下の項目でフィルタリングします。

• 日付
• セグメント
• プロパティ

日付フィルター

日付フィルターは、デフォルトで実験の分析開始日と終了日に設定されます。範囲を調整して、実験結果をこれらの特定の日付に合わせます。スケジュールされた停止により、バリアントの配信が停止されます。 この分析フィルタを置き換えるものではありません。

セグメントフィルター

セグメントフィルターを使用すると、事前定義されたセグメントを選択したり、アドホックに作成したりできます。事前定義されたセグメント：

• 実験
  • すべての公開対象ユーザーバリアントを確認したユーザー。
  • テスト担当者。 実験の設定時にテスターとして追加されたユーザー。
  • テスターを除外します。 実験の設定中にテスターとして追加されたユーザーは除外されます。
  • バリアント間の切り替えが発生したユーザーを除外します。複数のバリアントを見たユーザーは除外されます。
  • テスターとバリアントジャンパーは除外します。 テスターとして追加されたユーザーと、複数のバリアントを確認したユーザーは除外されます。
• Amplitude
  • 新規ユーザーです。 選択した日付範囲内に少なくとも1つの新しいユーザーイベントをトリガーしたユーザー。
  • モバイルウェブ。 モバイルデバイスからウェブ上のイベントをトリガーしたユーザー。
  • デスクトップ Web です。 デスクトップデバイスから Web 上のイベントをトリガーしたユーザー。

これらのセグメントはリアルタイムで更新されます。

セグメントアイコンをクリックし、「セグメントを作成」をクリックしてセグメントビルダーを開き、新しいセグメントを定義します。 ある実験で作成したセグメントは、他のすべての実験で使用でき、「すべての保存済みセグメント」カテゴリに表示されます。

プロパティフィルタ

ユーザープロパティに基づいて実験結果をフィルタリングします。 たとえば、特定の国や地理的地域のユーザーや、プラットフォーム上で特定のアカウントタイプを持つユーザーを除外するフィルタを作成できます。

［フィルタを追加］ をクリックしてプロパティフィルタを作成します。

データ品質カード

Amplitudeは、各バリアントに100人のユーザーと25回のコンバージョンが存在するまで、バイナリ指標（ユニークコンバージョンなど）を使用した実験のp値や信頼区間を生成しません。非バイナリ指標を使用した実験では、バリアントごとに100人のユーザーに到達する必要があるだけです。

カテゴリを展開するか、[ガイド] をクリックすると、サイドパネルにデータ品質ガイドが開き、問題に対処したり無視したりできます。

サマリーカード

概要カードには、実験の仮説が記述されており、それが統計的有意性に達したかどうかが示されます。

概要カードには、実験が統計的有意性に達した場合に「有意」とラベル付けされたバッジが表示され、そうでなかった場合には「有意でない」とラベル付けされたバッジが表示されます。 このカードは同時に複数のバッジを表示できます。

• 不確定: テストは主要メトリックについて決定的ではありませんでした。
• 目標を上回るまたは目標を下回る：主要指標の平均値は、テストの方向に応じて目標を上回るか下回っています（増加 = 上回る、 decrease = below).
• コントロール値を上回るかコントロール値を下回るか: テストの方向に応じて、主要指標の平均値がコントロール値を上回ったか下回ったかのいずれかでした (増加 = 上回る)。 decrease = below).これらのバッジは統計的に有意な結果にのみ適用されます。

分析カード

分析カードの上部には、実験がどのように行われたかを説明する概要が表示され、メトリックとバリアントごとに分類されています。概要の下に、メトリック別に分析できる実験結果のチャートのコレクションがあり、以下の情報が表示されます。

• 信頼区間。
• 累積エクスポージャー。
• イベントの合計数。
• 経時的な平均値。

詳細については、「実験結果を使用して実験データをより深く掘り下げる」を参照してください。

「チャートで開く」をクリックすると、実験結果のコピーが新しいチャートで開きます。

必要に応じて、実験の信頼度を調整してください。 デフォルトは 95% です。 また、シーケンシャルテストと T 検定の間で選択することもできます。

グループ化基準

実験を実施する際、実験が異なるユーザーに異なる影響を与えたかどうか、つまり異質な処置効果が存在するかどうかを知りたいことがよくあります。その方法を知るには、Platform = iOSをフィルタリングし、次にPlatform = Androidをフィルタリングし、最後にPlatform = Webをフィルタリングします。結果を Platform でグループ化すると、より少ないクリック数で同じ結果が得られます。詳細については、「グループ化基準: Amplitude がチャート結果をどのように絞り込み、並べ替えるか」を参照してください。

ダッシュボード上のグループ化基準の設定は一時的なものです。 ダッシュボードを更新すると、定義したグループ化基準がリセットされます。

診断カード

診断カードには、実験の成果状況に関する情報が表示されます。 診断カードには、次の項目に関するグラフが表示されます。

• 割り当てイベント（累積および非累積）。
• エクスポージャーイベント（累積および非累積）。
• 露出コンバージョンへの割り当て。
• バリアント間の切り替え。
• 匿名のエクスポージャー（累積的および非累積的）。
• 割り当てのないエクスポージャー（累積および非累積）。

より詳細な制御を行うには、これらのチャートのいずれかを分析チャートモードで開きます。

通知を有効にする

実験に関する通知は、専用のSlackチャンネルまたはWebhook経由で受信できます。「Slackの統合」から「実験通知」に移動して、これらの通知アラートを設定してください。

次のイベントに対する通知を設定できます。

• **実験が開始される直前：**Amplitudeはスケジュール済みの実験が開始される直前にこの通知を送信します。
• **実験終了に達しました：**実験が完了すると、Amplitudeからこの通知が送信されます。
• **SRMが検出されました：**Amplitudeはサンプル比率の不一致に関する問題を特定した場合にこの通知を送信します。
• **長期実行実験：**長期実行実験が完了すると、Amplitudeからこの通知が送信されます。
• **レコメンデーションメトリクスが統計的有意に達しました：**実験のレコメンデーションメトリクスが統計的有意に達したときに、Amplitudeからこの通知が送信されます。

Amplitude実験は実験の編集者に通知を送信します。

次のステップ

実験に失敗などあり得ません。 たとえ望んだ結果を得られなかったとしても、そのプロセスから学ぶことができます。この結果を起点として、行った変更、得られた成果、顧客がプロダクトに何を期待しているか、そしてそれらの期待にどう応えるかについて問いかけてみてください。

一般的に、次のステップは、より多くの証拠を収集するために仮説を裏付ける別の実験を実行するか、最良の結果をもたらしたバリアントを実装するかを決定することです。また、実験をAmplitude アナリティクスの実験分析にエクスポートして詳細なレビューを行うこともできます。そこでユーザーをセグメント化してより多くのインサイトを生成できます。