Amplitude English Documentation
Amplitudeのチャート：分析に適したチャートを探す Amplitudeチャートの基本 Amplitudeでチャートを構築：イベントを追加 Amplitudeでチャートをビルド：ユーザーセグメントを追加する イベントエクスプローラ：イベントストリームをリアルタイムで表示する 内訳表でチャートデータを確認する
イベントセグメント分析を構築する イベントセグメンテーション分析を解釈する、パート1 イベントセグメンテーション分析の解釈、その2：高度な機能 ファネルとイベントセグメンテーション分析でインラインカスタムイベントを作成する カスタム数式：構文と定義
リテンション分析を構築する リテンション分析を解釈する リテンション分析チャートの解釈：利用インターバル リテンション分析チャートによるリテンション計算方法 リテンション分析で時間がどのように機能するか
ジャーニー：プロダクト内でユーザーがたどるパスと、コンバージョンする理由を理解する ジャーニービジュアライゼーションを理解して使用する
コンパスチャート：ユーザーがひらめく瞬間を発見 コンパスチャートを解釈する Compassで会社の変曲指標を見つける
スティッキネス：あなたのプロダクトにユーザーを引きつける機能を特定 粘性分析を解釈する
ユーザーコンポジションチャート：共通するプロパティでユーザーを閲覧 Amplitude QueryでカスタムSQLを作成する
Amplitudeでチャートを作成：セグメンテーションモジュールの高度な機能 Amplitudeの配列演算子 グループ化：Amplitudeはどのようにチャート結果を選定し、並べるか [イベント]モジュールで、1つのステップとして2つ以上のイベントをグループ化する。 カート分析：オブジェクト配列を使用して、行動インサイトを促す
ブレッドクラム：分析をトラッキングし、組織化し、共有する 検索：チャート、ダッシュボード、コホート、ノートブックを検索する ワークスペース：チャートを見つけて、作業をトラッキングする
スペースを使用して分析で共同作業する ノートブック：チームメイトとステークホルダーに重要なインサイトを説明する テンプレート：分析を再利用する
社内でダッシュボードを共有する チャート、ダッシュボード、ノートブックを社外のステークホルダーと共有する AmplitudeでAtlassianスマートリンクを使用する NotionドキュメントにAmplitudeチャートを埋め込む MiroとAmplitudeを統合する SlackとAmplitudeを統合する
行動オフセット：2つの異なる期間にわたってユーザーをセグメントする 個々のユーザーのイベントデータを検索する マイクロスコープ：チャートで個々のデータポイントを探る リリースでプロダクトの変更を追跡する 異常+予測：データで異常を見つける インサイト：アラートで指標に異常をすばやくスポットする 根本原因分析：データ内の異常をトラックする
Amplitude Experimentの概要：A/Bテストを通じてプロダクトエクスペリエンスを最適化する Experiment Analysisビューを理解する Experimentでアプリレベルのユーザー権限を設定する Amplitude Experiment: 重要な用語
実験を構成する 実験デザインフェーズ：新しい実験を作成する 実験設計フェーズ：実験の目標を定める 実験ワークフロー：実験のトラフィックを割り当てる 実験設計フェーズ：バリアントを追加する 統計設定で実験結果を修正する 実験ワークフロー：実験をロールアウトする 実験から学ぶ 実験のトラブルシューティング 期間推定ツールを利用して実験を計画する 機能フラグと機能ロールアウトでの作業

T検定で実験データを分析する

" 
この記事のテーマ：* Amplitude ExperimentでT検定を使用する方法を理解する

異なる統計検定を実施することの利点を理解するのは難しい場合があります。この記事では、最初から最後まで実験を行うことを検討している場合でも、実験結果チャートにデータセットをインポートする場合でも、Amplitude ExperimentでT検定を使用する方法や、検定がどのように計算されるかについて、わかりやすく説明します。

T検定は、統計的に有意な差があるかどうかを判断するために、2つのデータ集団の平均を比較します。Amplitudeコンピューティングは、ウェルチのT検定を使用します。この検定では、データセットについていくつかの前提があります。

  • Central Limit Theorem（中央極限定理）が、指標に適用されます。
  • 2つの母集団は同じバリアンスを使用しません。
  • 期間推定ツールで指定されたサンプルサイズに達するまで、T検定を実行しないでください。

T検定は、両側検定（指標の変化をどちらの方向にも求める）か、片側検定（増加または減少を求める）のいずれかで完了できます。両側検定では、統計的に有意な増加または減少は明示的に述べられませんが、片側検定では明示的に述べられます。（増加を選択した場合、信頼区間の上限は正の無限大になります。減少では、信頼区間の下限は負の無限大になります。）

注：まだ実験を実行していない場合、サンプルサイズが十分に大きい場合は、T検定を実行する代わりに、逐次検定を使用してください。検定オプションの違いについて詳しくは、こちらのブログをご覧ください。

T検定でデータを分析する

Amplitude Experimentの*[Plan]（計画）タブまたは[Analyze]*（分析）タブからT検定にアクセスできます。

片側検定を実行する場合は、[Plan]（計画）タブから*[Increase]（増加）または[Decrease]（減少）を選択し、両側検定を行う場合は、[Any]*（すべて）を選択します。

あるいは、次のステップに従って、T検定で実験結果を分析します。

  1. Experiment Resultsチャートから、T検定の方向をクリックして変更します（[Increase]（増加）、[Decrease]（減少）、または*[Any]*（すべて））。

  2. 次に、統計設定をクリックします。[T-test]（T検定）をクリックして、[Test Type]（検定の種類）を変更します。

  3. [Samples Per Variant Needed]（バリアントごとに必要なサンプル）で必要なユーザー数を入力します。

注：T検定は、特定の偽陽性と偽陰性の割合を制御する前に、まず必要なサンプルサイズを計算することで機能します。サンプルサイズのしきい値に達する前にデータを分析すると、エラー率が高くなります。途中で確認することにより実験プロセスを妨げる可能性について詳しくは、こちらの記事をご覧ください。

[Samples Per Variant]（バリアントごとのサンプル数）に入力するサンプルサイズがわからない場合は、Amplitudeの期間推定ツールを使用します。詳細は、ヘルプセンターの記事「期間推定ツールを使用して実験を計画する」をご覧ください。

  1. 最後に*[Apply]*（適用）をクリックして、統計設定をT検定に変更します。

[Analyze]（分析）タブに、実験データのT検定結果が表示されます。デフォルトの検定の種類は逐次検定ですのでご注意ください。検定の種類をT検定に変更しても、ページをリフレッシュするか閉じると元に戻り、Amplitude Experimentには保存されません。検定結果の解釈についての詳細は、ヘルプセンターの記事「Amplitude's Experiment Results chart」（AmplitudeのExperiment Resultsチャート）をご覧ください。

T検定に必要なサンプルサイズを管理する

T検定を実行する前に、最小サンプルサイズに達する必要があります。T検定の*[Analyze]*（分析）タブでは、データセットが小さすぎる場合に警告されます。

サンプルサイズの要件の詳細は、[Cumulative Exposure]（累積露出）グラフと対応する表をご覧ください。グラフは、Sample Size Target（サンプルサイズの目標）という名前の一定の点線を表示しています。これは、バリアントごとに必要な合計ユーザー数です。グラフの横にある表は、各バリアントに必要なユーザー数であるExposure Remaining（露出残）をハイライトしています。この情報から、T検定を実行する前に必要なユーザー数を確認できるだけでなく、T検定を使用して結果を解釈する前に、実験を完了するために必要な時間の推定値がわかります。

残念ながら、必要なサンプルサイズに達しても、結果が統計的に有意であることを保証するものではありません。例えば、リフトがMDEよりも小さい場合、統計的に有意な結果が得られないことがよくあります。

"

Need help? Contact Support

Visit Amplitude.com

Have a look at the Amplitude Blog

Learn more at Amplitude Academy

© 2024 Amplitude, Inc. All rights reserved. Amplitude is a registered trademark of Amplitude, Inc.