DOORS DX

ベストなDXへの入り口が
見つかるメディア

【シリーズ】マーケティングの意思決定とデータ第2回:マーケティングの意思決定とKPI

執筆者
公開日
2020.11.17
更新日
2024.08.16

マーケティング領域での意思決定とデータとの関わりを論じる本シリーズ。
第2回からは「意思決定とKPIとの関わり」について、データ活用の側面から考察してみます。

第1回の記事はこちらからお読みいただけます。

本記事の執筆者
  • データサイエンティスト
    佐藤 洋行
    会社
    株式会社ブレインパッド
    役職
    執行役員 トランスフォーメーション担当
    九州大学院修了(農学博士)。大学院でリモートセンシング画像解析を研究。2008年ブレインパッド入社。2014~2017年、Qubitalデータサイエンス取締役(兼任)。プロジェクトマネジャー、データサイエンティストとして幅広いプロジェクトに携わる。2016~2019年多摩大学経営学部経営情報学科准教授を兼任した後に客員教授に就任。株式会社電通クロスブレイン取締役執行役員(出向)を経て、2023年7月より現職。

”単純な”ABテストの結果にもとづく意思決定

非常に単純な、「ABテストにまつわる意思決定」について考えてみます。

今、下図にあるように、トップページのメインバナーに、2種類の異なるデザインのものを用意して、ランダムに表示するテストを行ったとしましょう。どちらも、クリックした際の遷移先は同じコンテンツです。

図1. 単純なABテストのイメージ

1週間ほどテストを行い、それぞれのバナーのインプレッション数が50,000を超えた時点で、バナーのクリック率(以下、CTR)と、クリックしたユーザーのコンバージョン率(以下、CVR)を確認したところ、以下のようになったとしましょう。

表示バナークリック率クリックユーザーのCVR
デザインA4.5%6.5%
デザインB5.4%6.3%

表1. ABテストの結果

そしてこの結果から今後、「メインバナーとしてデザインBを表示」することにしたとします。これほど単純なABテストを行う機会はあまりないかもしれませんが、同様の意思決定は、マーケティングの現場でよく行われているように感じます。

皆さんは、この意思決定をどのように評価しますか?
少なくとも私は、このような意思決定に賛同できません。

その理由として、私は「論理的な意思決定の必要条件」を、

① 問題の構造をきちんと理解すること
② 数値の大小だけでなく、数値の背後にある実体を見ること

と考えるからです。

以下は、まず①についてご説明します。


論理的な意思決定の必要条件① 問題の構造を理解して行われている

問題の構造をきちんと把握する step1: KGIとのつながりで施策を考える

先程の意思決定について、私が賛同しかねる理由の1つ目は、「問題の構造をきちんと理解せずに意思決定を行っている」ように見えるからです。

バナーのCTRとCVRとは、確かに本件のKPIでしょう。
しかし、当然ながらKPIは、KGIとの関わりの中で考察されなければなりません。
KGIをどのように設定するかということも、議論されるべき重要な課題ですが、例えば本件でいえば、サイト全体のCV数をKGIとすることができるでしょう。

そうしたとき、本件に係る問題の構造は、どのようになるでしょうか。
まず、先程の意思決定で無意識に想定した問題の構造は、以下のようなものになるでしょう。

図2. 単純なABテスト後の意思決定で想定された問題の構造

このような構造は、今回のABテストを受けた意思決定を行う上で、十分なものでしょうか。確かに、ABテストを実施したマーケターにとっては、今回のABテストは、このような導線でのユーザーの行動を意図したものであり、この構造の中に興味の対象がもれなく含まれているかもしれません。
しかしそれは、完全に「マーケターの目線」であり、「ユーザーの目線」での問題の構造は、これとは全く異なります。

問題の構造をきちんと把握する step2: ユーザー目線で問題を眺める

今回例として挙げたサイト全体のCV数というKGIに限らず、マーケティングに関わるKGIは、そのほとんどが「ユーザーの行動によって変化する」ものになるかと思います。
そうであるならばマーケターは、どのような施策を評価するにしても、まずユーザー目線で捉える必要があるでしょう。

本件に関する問題の構造を「ユーザー目線」で捉えるなら、少なくとも下図のように考えるべきです。なぜなら、ユーザーは、メインバナー以外からでもそのコンテンツに遷移できるはずですし、別のコンテンツを経由してCVすることもあるはずだからです。

図3. ユーザー目線で捉えた今回のABテストに関する問題の構造

当然、ユーザーの行動は多様ですので、もっと複雑に問題の構造を考えることもできます。しかし、データを用いた意思決定を行う際には、問題の構造は必要最小限に留めるべきでしょう。なぜなら、「問題の構造を複雑にすればするほど、分析と分析結果との複雑さも増し、結果についての考察が難しくなる」からです。

問題の構造をきちんと把握する step3: みるべき数値をみる

図3は、サイト全体のCVを、今回のABテストとの関わりの中で、 最も単純に構造化したものになっています。こうして見ると、先程の意思決定に利用した表1にある数値が、如何に断片的な情報しか与えていないかが分かるでしょう。
最も単純な問題の構造を想定しただけでも、今回のABテストを受けた意思決定を行うには、下図のような数値を確認しなければならないことは明白です。

図4. 今回のABテストで確認すべき数値のイメージ

改めて、数値を確認した結果、下表のようになったとします。
先程、表1を用いて意思決定したときと同様、デザインBを今後も採用すべきでしょうか?

表示バナークリック率別経路での遷移率遷移率合計対象コンテンツからのCVR別経路でのCVR
デザインA4.5%20.5%25.0%7.2%1.2%
デザインB5.4%18.5%23.9%6.5%1.1%

表2. ABテストの結果

当然ながら、表1と同様、バナーのCTRは「デザインBの方が高く」なっています。しかし、別経路での遷移率が低くなっているため、トップページから対象コンテンツに遷移するユーザーの割合の合計は、「デザインBで低く」なっています。

その上、対象コンテンツからのCVRも、「デザインBで低く」なっているのです。もしかすると、デザインBはユーザーのクリックは誘発するものの、それは、「本来対象コンテンツに興味のないユーザーによるものが主であった」ため、このようなことが起こったのかもしれません。

そう考えると、今後の表示バナーとして「デザインBを採用」するという意思決定は、素直に受け入れることが難しいでしょう。では逆に、「デザインAを採用」するという意思決定はどうですか?

私はそれにも簡単には賛同できません。

なぜなら、前述した論理的な意思決定の必要条件である、

① 問題の構造をきちんと理解すること
② 数値の大小だけでなく、数値の背後にある実体を見ること

②が満たされていないからです。

私のような、データサイエンスに携わる者が、そのようなことを言うのには違和感を覚えられるかもしれませんが、意思決定が論理的であるためには、数値の大小だけをみるのではなく、その「数値の背後にある実体」をみなければいけません。次回は、「論理的な意思決定の必要条件② 数値の大小だけでなく、数値の背後にある実体を見ること」について議論してみたいと思います。楽しみにしていただけると幸いです。

シリーズ】マーケティングの意思決定とデータ

第1回:マーケティングとDX
第2回:マーケティングの意思決定とKPI
第3回:マーケティングの意思決定とKPI
第4回:消費者理解のためのデータ活用
第5回:データとビジネス機会の関係
第6回:数式の果たす役割
第7回:意思決定とデータ
第8回:データによる結果と確率の推定


このページをシェアする

株式会社ブレインパッドについて

2004年の創業以来、「データ活用の促進を通じて持続可能な未来をつくる」をミッションに掲げ、データの可能性をまっすぐに信じてきたブレインパッドは、データ活用を核としたDX実践経験により、あらゆる社会課題や業界、企業の課題解決に貢献してきました。 そのため、「DXの核心はデータ活用」にあり、日々蓄積されるデータをうまく活用し、データドリブン経営に舵を切ることであると私達は考えています。

メールマガジン

Mail Magazine