このページでは

For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.

実験にバリアントを追加する

実験には少なくとも1つのバリアントが必要です。 実験では、バリアント体験とコントロール体験を比較します。コントロール体験は通常、プロダクトの現在のユーザー体験(UX)です。実験は、既知の量(現在のアプリのパフォーマンス)に対するバリアントのパフォーマンスを測定します。

バリアントを追加および管理

実験は初期バリアントを自動的に作成します。デフォルトでは、このバリアントはtreatmentという名前になります。バリアントの名前を変更して、実行中の実験を説明できます。

バリアントをさらに追加するには
  1. 「実験」セクションで、新しい実験を作成するか、既存の実験を開きます。
  2. バリアントを追加をクリックします。
  3. バリアントの名前を入力し、値を含めます。 デフォルトでは、この値はバリアント名のハイフン付き(スラグ)バージョンです。

コードでバリアント値を使用する

コードベースで実験を実装する場合は、バリアントの値を使用してその実験を参照してください。Experiment SDKは、バリアント値をスペースなしの小文字で返します。

  1. バリアントの説明を追加します。 他の人があなたの実験が何をしているのか理解できるように具体的にしてください。

  2. オプションのペイロードを追加します。 ペイロードは、追加のコードを必要とせずにバリアントのエクスペリエンスを動的に変更するJSONオブジェクトです。

    たとえば、マーケティング用ウェブページで新しいスプラッシュ画面をテストしている場合、初期の結果から、異なるコンテンツによってパフォーマンスが向上する可能性が示唆されます。コードベースを編集する代わりに、変更内容をペイロードに含めると、実験は自動的に変更内容を適用します。

    コードをウィンドウに貼り付けるか入力します。

  3. 適用をクリックします。

実験にバリアントをいくつでも追加できますが、追加しすぎると、実験が統計的有意性を達成することが困難になる可能性があります。 実験は必要なバリアントの数を最小限に抑えてください。

バリアントは任意の順序でドラッグ&ドロップできます。 controlラベル付きのバリアントは、リスト内の位置に関係なく、常にコントロールバリアントです。

バリアントにトラフィックを分散する

別途指定がない限り、実験はトラフィックをバリアント間で均等に分割します。特定のバリエーションにより多くのトラフィックを送信するには、バリエーションの分布をカスタマイズします。実験で、ターゲティング > 分布に移動して分布率を変更します。

層別化サンプリングと実験バイアス

含めたユーザーセグメントごとに異なる方法でトラフィックを分散するには:

  • セグメント1:Country = USA || 80% treatment, 20% control。
  • セグメント2:Country = Canada || 50% treatment, 50% control。

このアプローチは、実験結果にバイアスをもたらす可能性があります。 一般的に、実験ではすべてのユーザーセグメントに均一な割り当て比率を使用してください。

割り当て比率が均一でないことは、実験の実行中にユーザーがロールアウトやバリアントを変更した場合に偶然発生することがよくあります。

Amplitude 実験は必要に応じて階層化されたサンプリング(均一でない割り当て比率)を提供します。「セグメントごとのロールアウトコントロールを許可」トグルをオンに切り替えます。このオプションは、対象ユーザーを選択した場合にのみ表示されます。

このスイッチは、フィーチャーフラグではなく、実験の場合にのみ表示されます。実験がアクティブな間は、Amplitudeによってスイッチが無効になります。

続行をクリックしてロールアウトフェーズに進みます。

ロールアウト率

次のステップでは、この実験のロールアウト率を設定します。 ロールアウト率とは、実験のユーザーセグメント内の実験に参加しているユーザーの割合です。 実験デザインパネルの「ロールアウト」セクションでロールアウト率を確認してください。

実験のバケット化の対象となるオーディエンスの割合を入力してください。ユーザーの100%未満に実験を展開した場合、残りのユーザーはデフォルトのプロダクト体験を表示し、実験の計算には含まれません。

実験では、ユーザーセグメントに含まれていないユーザーよりも先に、ルールベースのユーザーセグメントのユーザーを評価します。実験では、両方を評価する前に、個々のユーザーIDまたはデバイスIDを評価します。

次に、実験の統計設定を完了します。

これは役に立ちましたか?