Yahoo!ディスプレイ広告のA/Bテスト機能とは？概要から設定方法、活用のコツまで

Yahoo!広告のディスプレイ広告は入札戦略やクリエイティブを一つ変えただけでも、大きく成果が改善するケースが珍しくありません。しかし、逆に変更を加えることでのパフォーマンス低下の恐れも同時に存在します。

自分の仮説が正しいのか不安に感じる。また、変更を加える前に試したい施策が本当に効果的なのかを確かめたいと思ったことはないでしょうか。
今回はこのような不安を解消する、Yahoo!ディスプレイ広告のA/Bテスト機能の概要と使い方を紹介します。

Yahoo!ディスプレイ広告のA/Bテストとは？　

Yahoo!ディスプレイ広告のA/Bテストとは、広告の配信機会を分割した平等な配信環境において広告効果の比較ができる機能です。

こういった機能において、インプレッション数が同数になるテストだと勘違いしてしまうケースがよくありますが、あくまで「配信機会」の均等化であり、その後のオークションの結果でインプレッション数が同値になるとは限らない点は注意しましょう。

これまでYahoo!ディスプレイ広告でA/Bテストを実施しようとした場合、期間をずらしての比較やキャンペーンを作成し、同時に配信することで検証を行っている方も多いと思います。前者は季節性などの外的要因、後者ではターゲティングが同じものを使うことによるオークションへの影響などを考慮した上で結論を出す必要がありました。

しかし本機能は、テスト設定した２つのキャンペーンの広告の配信機会を均等に分割し、比較できるように配信されるため、同時配信により季節性などの外的要因に左右されにくく、ターゲティングの重複などの影響も受けにくいため、より正確な比較が可能となります。

比較対象にできるもの

キャンペーン毎に設定を変えることで比較対象にできるものはたくさん出てきますが、次のような項目での比較が考えられます。

これら以外にもさまざまな比較が可能です。

また、Yahoo!ディスプレイ広告のA/Bテストは、元あるキャンペーンをコピーして編集することができるため、比較対象以外の要素を簡単に揃えることができるので積極的に活用しましょう。

参考：コピー機能を使う - ヘルプ - Yahoo!広告

A/Bテストの始め方

それではさっそく、A/Bテストの設定方法を説明していきます。A/Bテストの設定を行う前には、必ず比較対象にするキャンペーンを作成しておきましょう。

設定項目

A/Bテストを実施する際は、以下の項目を設定します。

設定項目名	内容	作成後の編集可否
テスト名	テスト名を入力	編集可
説明	テストの説明を入力	編集可
テスト対象キャンペーン	テストするキャンペーン（A・B）を選択	編集不可
テスト期間	テスト開始日・終了日を選択 ※日付指定のみ。時間指定不可 ※最大90日間	・テスト開始前：開始日・終了日編集可 ・テスト開始後：終了日のみ編集可 ・テスト終了後：編集不可

注意点として、既存のテストにひもづいているキャンペーンはそのテストが終了しても他のテストに追加できない仕様のため、追加したい場合は終了した既存のテストを削除する必要があります。

参考：ディスプレイ広告に待望の「A/Bテスト」リリース - Yahoo!広告

A/Bテストの設定方法

実際の広告管理画面を用いて設定方法を説明します。

①管理画面を開き「ツール」を選択します

②「運用支援」から「A/Bテスト」をクリックします

③「＋A/Bテストを作成」をクリックします

④必要事項を入力後、「作成」をクリックすることでA/Bテストが作成されます

作成したA/Bテストは、「運用支援」→「A/Bテスト」から一覧として確認することが出来ます。

また、テスト名をクリックすることで、テストの設定内容と配信状況を簡易的に確認できます。

A/Bテスト機能の活用例

次にこのA/Bテスト機能を使ってどのようなケースで広告効果の比較ができるのか見ていきましょう。

ケース１　自動入札を導入したいが、成果悪化を懸念している時

このような時は次のような設定でABテストを実施するとよいでしょう。

テストケース	設定方法(例)	評価方法(例)
手動入札 VS 自動入札「コンバージョン単価の目標値」	手動入札で運用していた際のコンバージョン単価に近しい目標コンバージョン単価を設定	同じコンバージョン単価内でコンバージョン数が多いキャンペーンを勝ち評価とする
手動入札 VS 自動入札「コンバージョン数の最大化」	手動入札で運用していた際の一日当たりの配信金額に近しい日予算を設定	同予算内でコンバージョン数が多いキャンペーンを勝ち評価とする

自動入札を適用する際は、機械学習を効果的に機能させるためにも、実績が溜まっているキャンペーンを自動入札とし、実績の少ないキャンペーンは手動入札として設定しましょう。

なお、実績が少なくともパフォーマンスの向上は期待できますが、十分なデータ量があるほうがより正確に機械学習が行われるため、より慎重にスタートしたい場合には手動入札からがおすすめです。

参考：機械学習の階層モデルの適用でコールドスタート問題に対処する - Yahoo!JAPAN

自動入札「コンバージョン単価の目標値」を適用するには、配下の広告グループ単位で直近30日間にコンバージョン数が40件以上発生しているキャンペーン。自動入札「コンバージョン数の最大化」を適用するには、キャンペーン単位で直近7日間にコンバージョン数が20件以上発生していることがそれぞれ推奨されています。

ケース２　パフォーマンス向上のためにクリエイティブを変更したい時

クリエイティブの違いによって、クリック率やコンバージョン率等のパフォーマンスを比較したい場合、同一の広告グループ内で複数のクリエイティブを配信する方法も考えられますが、均等には配信されず配信比率の偏りが発生する可能性が高いため正確なテストはおこないづらいでしょう。

このような偏りを避けるためにA/Bテスト機能を利用することで、より正確なテストが可能となります。

テストケース	設定方法(例)	評価方法(例)
クリエイティブの比較	クリエイティブ別にキャンペーンを設定 ※検証したい内容以外の条件を揃えることが重要 ※広告数が多すぎると1広告あたりの実績確保が難しいため、広告数は広告タイプ×サイズで3～5本を目安に配信	クリック率が向上したバナーを勝ち評価とするなど、あらかじめ定めていた評価指標によって評価

クリエイティブの変更といっても、挙げだしたらキリがないほど検証できる項目は多岐に渡ります。

ただ、一度に複数の項目を変更すると、どの要素が成果に影響しているのか判断しにくいですよね。そのため、検証したい部分以外は条件を揃えてA/Bテストを実施し、それを何回も繰り返すことで継続的に成果の向上に取り組むのがおすすめです。

ケース３　コンバージョン率を上げるためにランディングページを変更したい時

ランディングページを変えることでコンバージョン率が大幅に改善した、という事はよくあることです。しかし、悪化することもあり、慎重に判断を行う場合には遷移先のランディングページだけ変更するA/Bテストも有効です。

テストケース	設定方法(例)	評価方法(例)
遷移先ランディングページの比較	遷移先ランディングページを分けてキャンペーンを設定 ※ランディングページ以外の条件を揃えることが重要	コンバージョン率が向上したランディングページを勝ち評価とするなど、あらかじめ定めていた評価指標によって評価

こちらで紹介したケースの他にも自動入札の種類別で比較し結果がどう変わるのかなど、さまざまなケースでA/Bテストは活用できるでしょう。

結果の確認方法

テストを実施したらやって終わりではなく、必ず結果を確認しましょう。結果はパフォーマンスレポートから確認できます。

パフォーマンスレポートの設定、確認方法

①管理画面を開き「レポート」をクリック

②「レポート・テンプレート作成」をクリック

③任意のレポートを作成して配信結果を確認しましょう。

注意点として、自動入札のキャンペーンで「学習中」が表示されている間は一定期間待ち、表示がなくなった段階で評価しましょう。

参考：自動入札の学習状況について - Yahoo!広告ヘルプ

効果的なA/Bテストを行うために気をつけたいこと

ここまでA/Bテストの設定方法から結果の確認方法までを説明してきましたが、A/Bテストを意味のあるものにするために気をつけたいポイントはいくつか存在します。

明確な目的、仮説をたてる

何を目的としてテストをするのか、また現状の課題やその目的を達成するためにどう改善すれば良いかを事前に仮説を立てましょう。

そうすることで明確にテストの結果を評価できるとともに、その後のアクションに繋げやすくなります。

A/Bテストの変数は一つにとどめる

変数が複数あると、どの変数が結果に影響したのか判断することが難しくなるため、基本的には変数を１つにとどめることをおすすめします。

コンバージョンサイクルを考慮して実施期間を設定する

クリックからコンバージョンに至るまでは、扱う商材によって異なります。コンバージョンサイクルの長い商材に対して短い期間でのテストを実施しても、信頼性の高い結果を得ることはできません。

扱う商材のコンバージョンサイクルを考慮し、それよりも長いテスト期間の設定をすることが理想的と考えられます。なお、Yahoo!ディスプレイ広告のA/Bテストの最大期間は90日です。

テストのためのテストをしない

A/Bテストを実施するにあたって、どのくらいの期間テストをする必要があるのか判断しづらい場合もあるでしょう。こちらは商材によってテストに必要な期間は大きく異なるため一概には言えませんが、どのような商材であれ、ある程度の傾向や有意差が確認できるまではテストをつづけた方が良いでしょう。

しかしながら、正確なテスト結果を得たいがあまり、いつまでも実績が溜まらず有意な差がつかないのを理由に、”テストのためのテスト”になってしまい目的を見失っているケースを目にすることも少なくありません。ほとんどの場合には意思決定に足るデータがあれば十分です。できる限り速やかに結果が得られるテスト設計やテストの期限をもうけるなど、次のアクションに活かすことを前提に有効に活用したいですね。

テスト結果から次のアクションを起こす

当たり前のことですが、テスト結果を踏まえて考察し、次のアクションを起こさなければA/Bテストを実施した意味はありません。

次のアクションを起こすためにはテスト結果に対する考察が大切であり、その考察もテストの目的が明確になっていれば難しいことではありません。このことからもテストの前に明確な目的と仮説を立てることは重要だと考えられますよね。

A/Bテストを実施するにあたって大事な心構えをまとめた記事がありますので併せてご覧ください。

失敗しないA/Bテストのための心構え

まとめ

これまで説明した通り、A/Bテスト機能を活用することで既存の配信を守りつつも、別の打ち手にトライすることができるため、リスクを抑えて成果向上に繋がる施策を探すことができます。

しかし、テストを実施しただけで満足せずに、テストの結果を次の施策へうまく繋げられるかどうかが、いちばん重要であると思います。事前の仮説に対してどのような結果が得られたのか、良い結果が得られたとしても、なぜその結果につながったのかまで考え抜くことでさらなる成果の向上につながるのではないでしょうか。