Facebook広告「ホールドアウトテスト」とは？コンバージョンリフトを簡単に計測

運用型広告では多くの場合、広告をクリックしたあとのアクション（商品の購入など）をコンバージョンとみなします。

けれど、広告を見て気になったけどクリックはせず、後日SNSの口コミを見てから検索をして商品を買う。こんな経験が誰しもあるのではないでしょうか。

この場合、クリックされなかった広告に効果はないかといえば、そうではなさそうですよね。

Facebookではクリックされずとも広告がビジネスへどれほど貢献しているかを計測できる「コンバージョンリフト」という機能を提供しています。
今回はこのコンバージョンリフトを計測できる、「ホールドアウトテスト」の実施方法を紹介していきます。

ホールドアウトテストとは

購入や問い合わせなど、選択したコンバージョンイベントにFacebook広告がどれほど貢献しているかを検証するテストです。ホールドアウトテストは以下の手順で行われます。

Facebook広告を見たグループと見ていないグループを無作為に分けて、それぞれのグループから発生したコンバージョンの差分によって評価されます。広告を見せないグループはテスト対象母集団の10%が対象になります。広告を見ないグループによるコンバージョン結果は適宜拡張されたうえで広告を見たグループと比較され、リフトが計算されます。

ホールドアウトテストは、テスト期間中に100件以上のコンバージョン数が見込めれば管理画面から設定できるため、ユーザーへのアンケートや媒体社との連携を伴う従来のリフトテストと比較すると実施のハードルは高くありません。

ホールドアウトテストの設定方法

ホールドアウトは以下の手順で設定できます。

①広告マネージャのメニューから「テスト」をクリックします。

②ホールドアウトテストの「スタート」をクリックします。

③テストの対象と期間を選択し、テスト名を入力します。対象は広告アカウント全体か、複数のキャンペーンを選択するキャンペーングループか、単一のキャンペーンから選択します。

④計測するコンバージョンイベントを選択します。複数選択すればイベントごとの結果を確認できます。

⑤「テスト詳細を確認」をクリックして設定内容の確認画面に進みます。「テストのパワー」では選択したテスト対象のコンバージョンイベント、予算、期間などからどの程度有意なテスト結果が得られるかの推定値が確認でき、テストのパワーは80%以上が理想とされています。

⑥「テストを作成」をクリックしてテストを開始します。

ホールドアウトテストの推奨事項

テストの結果はあくまで推定ではありますが、因果関係を証明できる可能性を高めるために以下の推奨事項に沿って設定します。

十分に件数のあるコンバージョンイベントを設定する

テストするイベントは、テスト期間中に100件以上確保できそうなものを対象にしてください。もし件数が不足する場合は、マイクロコンバージョンをテスト対象にすることが推奨されています。

外部要因の大きな期間を避ける

大型連休やセールなど、広告パフォーマンスへ影響するイベントなどがある期間を避けてテストしてください。

十分なテスト期間を確保する

テスト期間は少なくとも1ヶ月、最低でも7日間以上が推奨されています。

ホールドアウトテストの結果確認

テストが完了すると、広告マネージャのメニューからテストの結果を確認できます。テストの結果から、テスト対象に設定したコンバージョンイベントごとのリフトや、テスト期間中に配信された広告の一覧が確認できます。

Facebookによれば、テストの結果が90%以上であれば統計的に信頼できるとしているので一つの目安にすると良いでしょう。

参考：Facebookのテストにおける信頼性について

テスト結果が悪くても悲観的になる必要はない

ホールドアウトテストで高いリフト率が確認できれば、管理画面で確認できる指標をさらに改善することに安心して注力できるでしょう。しかし配信していた広告が成果にほとんど貢献していないことが判明したら、真面目な運用者ほど落ち込んで手が止まってしまうかもしれません。そんな時に思い出してほしい言葉を紹介します。

もし結果が仮説を裏付けたなら、あなたは何かを計測したことになる。
もし結果が仮説の反対であったなら、あなたは何かを発見したことになる。

エンリコ・フェルミ

テストの結果が良いものだからといって広告アカウントを放置して良いことにはなりませんよね。十分なリフト率がないからと落ち込むのではなく、ターゲットを絞り込んだり、よりユーザーのためになるクリエイティブを追求するなど、ホールドアウトテストの結果を踏まえたうえで何をするべきか決めていくことが大切です。