マルチアームドバンディットテストは、複数のクリエイティブを同時に見せて、テストを続けながら勝っている案へと予算を寄せていく手法です。ふつうのA/Bテストは、最後まで待ってから勝者を選びます。ローンチ期間が短く、広告費を使うソーシャルチームにとって、バンディットは負ける案に使うお金を減らせる方法です。
TLDR: バリエーションが3つ以上、広告予算があり、期間が1〜2週間というときにバンディットを使いましょう。指標は1つに絞り、すべてのバリエーションに公平なスタートを用意し、それぞれに十分なインプレッションが出てから配分を動かします。オーガニック投稿では、厳密なテストではなく「効いたものを繰り返す」ルールとして同じ考え方を使いましょう。
バンディットがA/Bテストより優れるとき、そうでないとき
名前はスロットマシンに由来します。各「アーム」がバリエーションで、ダメなアームにコインを失いすぎずに、最高のアームを見つけたい、というわけです。
| 状況 | より良い選択 |
|---|---|
| バリエーション2つ、期間に余裕、きれいな答えがほしい | A/Bテスト |
| バリエーション3〜8個、広告予算あり、10日後にローンチ | バンディット |
| オーガニック投稿、誰が見るかをコントロールできない | 効いたものを繰り返すルール |
| 1ブランド・1市場・低ボリューム | テストはせず、投稿して月1回振り返る |
バンディットは「お金の使い方」のためのツールで、理論を学ぶためのものではありません。テスト中に何もリスクがないなら、A/Bテストのほうがすっきりした結果が得られます。
多くのソーシャルチームが最初につまずく「ノイズ」の問題
ソーシャルの結果はノイズだらけです。Mydropのデータでは、Instagram投稿の中央半分はエンゲージメント率1.1%〜6.7%の範囲に収まっていました。初日に4%を取ったバリエーションが勝ちとは限りません。たまたま反応の良いオーディエンスに見せられただけかもしれません。
だからこそバンディットには公平なスタートが必要です。配分を動かす前に、すべてのバリエーションに同じ最低ラインを用意しましょう。良い目安は、バリエーションごとに1,000インプレッション、または3日間の、遅いほうまでです。
1つのキャンペーンで実践する4ステップのバンディット計画
- 指標を1つ選ぶ。 リンククリック、保存数、または結果あたりのコスト。「パフォーマンス」ではダメです。3つ選ぶと、結局もともと好きだった勝者を選んでしまいます。
- アームを組み立てる。 アームごとに変えるのは1点だけ。フック、最初の画像、オファーの文言のどれかです。4アームで十分。8アームは、多くのチームが持つ予算では足りません。
- 公平なスタートとシフトのルールを決める。 最低ラインに達したら、毎日、最も弱いアームから最も強いアームへ予算の20%を移します。最初の1週間でアームをゼロにしてはいけません。
- 始める前に停止ルールを書く。 たとえば、1つのアームが3日連続で首位になったとき、または期間が終わったときに停止します。
終盤まで、弱いアームに予算の約10%という小さな「探索」シェアを残しましょう。序盤にたまたま首位に立った案に引っ張られるのを防げます。
データを混ぜずに複数ブランドで実行する
バンディットの結果は、テストしたオーディエンスに対してのみ有効です。米国のブランドAで勝ったフックが、ブラジルのブランドBでは負けるかもしれません。
複数ブランドのテストを誠実に保つ3つの習慣があります。
- ブランドと地域の内側でテストし、またいでテストしない。 結果をまとめてよいのは、同じ勝者を2回確認してからです。
- すべてのバリエーションを同じルールで命名する。 ブランド、地域、テストID、アーム。命名ルールがあれば、結果を読むときに何時間も節約できます。
- テストをカレンダーに記録する。 影響する投稿の隣にテストが見えなければ、誰かがその上に別の投稿をスケジュールしてしまいます。
Mydropでは、各ブランドがそれぞれ専用のワークスペースとカレンダーを持っているので、あるブランドのテストはそのブランドのスケジュールに収まります。複数ブランドのカレンダーでは、すべてのバリエーションがスケジュール済みの投稿として表示され、プラットフォーム別のアナリティクスでステップ1の指標がわかります。
オーガニック投稿ではどうするか
オーガニックのリーチをきれいなアームに分けることはできませんが、考え方は借りられます。同じテーマの2〜3バージョンを別々の週に投稿し、それぞれをアカウントの典型的な投稿と比べましょう。Mydropのアナリティクスでは、投稿が自分の中央値と比べてどうだったかがわかります。生のいいね数より公平なものさしです。
ルールはシンプルです。中央値に勝った構成は2回繰り返し、負けた構成は2回で引退させ、週に1枠は新しい何かのために残しましょう。
今週、小さなキャンペーン1つから始めましょう
次の有料ローンチを選び、フックを3つ決めて、指標1つ、公平なスタート、停止ルールをカレンダーの1つのメモに書き留めましょう。まずは1回実行してみてください。それで、皆さんのボリュームがバンディットに十分か、それともシンプルなA/Bテストのほうが合っているかがわかります。投稿の計画から結果の確認までを一か所で行うなら、無料のMydropアカウントがおすすめです。
Google review
Trustpilot review
Product Hunt comment
