組織の意思決定に効く！効果検証のコツと実践

組織の意思決定に寄与する効果検証に必要な要素

組織の意思決定に寄与する効果検証を行うために必要なのは、効果検証の分析が、その組織において必要とされる意思決定スピードと質の要求を満たせるものになっていることです。

組織の意思決定に寄与する効果検証に必要なこと

意思決定に関連する組織

「組織」とは、検証対象の施策などを実行している当事者の組織に加えて、意思決定者が所属する組織の両方を指しています。スピードと質の要求水準を考える上では、それらの組織間での動きも考慮せねばなりません。

例えば、マーケティングチームが新規キャンペーンのテストを行っており、そのサービスインの可否を判断するのが経営層であるとします。意思決定フローは、「マーケティングチーム内での意思決定」「マーケティングチームが経営層にコミュニケーションを取る（新規キャンペーン実装の説得）」「経営層内部での意思決定」で構成されており、それぞれにおいて必要なスピードと質が異なります。加えて、このステップ間においても、次の段階に進めるか否かの意思決定も行われます。

組織において必要とされる意思決定スピードと質のことを考える場合、関連する最小単位の「組織内」に加えて、「組織間」の意思決定という二種類の視点を持っておかねばならないということです。

意思決定のスピードと質は組織間と組織内の二つの視点で考える

質とスピードを満たさねばならない理由

効果検証の分析がステークホルダーとなる組織の意思決定スピードと質の要求を満たせない場合、不足部分の追加対応が発生するか、あるいは「使われない分析」として「お蔵入り」となったりします。分析者の見えないところで、自分たちが思っている以上に使われない分析が生まれていることもあるかもしれません。そして効果検証の分析設計もこれら意思決定スピードと質によって大きく左右されるため、分析者自身が組織の意思決定スピードと質をしっかりと把握しなければいけません。

意思決定のスピードと質とは、ここでは、「意思決定フローの期日」と「答えるべき問い」と考えます。つまり、意思決定に寄与する分析とは、「期日までに、必要な問いに答える最低限の分析」です。組織内での意思決定と、組織間での意思決定それぞれに「期日」と「次に進むために答えるべき問い」があり、それらを最低限満たす結果を得るための分析設計が求められることになります。

意思決定に寄与する分析とは「期日までに必要な問いに答える最低限の分析」

まとめると、組織の意思決定に寄与する効果検証に必要な要素とは、次のように分解することができます。

• ステークホルダーとなる組織内部および組織間の意思決定スピードと質を満たすこと
• 意思決定に寄与する分析とは、「期日までに必要な問いに答える最低限の分析」であり、そのための分析設計ができていること

では次に、効果検証に求められる要素のうち「スピード」について述べていきます。

活用される効果検証に必要な「スピード」と進め方

効果検証に必要な「スピード」は、納期そのものです。期日は議論せずとも明確なことが多いため、設計という観点では、求められる期日までに完遂できる分析設計を行えばよいということになります。

ただ、「求められる期日」までのコミュニケーションについては注意や工夫が必要です。

基本的に、事業部門の意思決定スピードは、一般的な機械学習プロジェクトと比較して速いことがほとんどです。一般的に1-2週間、早い場合は数日以内の対応が求められることも珍しくないでしょう。手戻りの余裕がない中で、依頼主や意思決定者との認識の齟齬が発生しないように注意すべきというのは、言うまでもありません。

齟齬の発生を防ぐために分析者が取れるアクションとしては、依頼主への小まめな現状共有のほかに、分析開始前の時点での設計の合意が有効です。意思決定者に「算出方法の頭出し」までを行えると理想的でしょう。設計時点で確認を取ることで、そもそもの「問い」の設定が全くの見当違いというケースや、必要な水準の見積もりが甘い、というような初歩的な齟齬を防げる可能性が各段に上がります。

ステークホルダー間で効果検証の設計やアウトプットの認識を揃える

効果検証の分析設計に必要な「問い」の見つけ方

次に、必要な「質」、すなわち「答えるべき問い」について考えてみたいと思います。

効果検証で最も基本的な内容は、「施策Aの効果を知りたい」というようなものです。分析者がこのような場面に遭遇すれば、施策担当者へのヒアリングなどを通して「施策Aの目的は何か」「効果を測る指標は何か」を明確にしようとするはずです。

この段階において、「効果検証が組織で有効活用されるために必要な問い」を改めて意識してみます。「必要」とは、施策の効果を立証するために必要な問いではありません。あくまで、施策Aに関する意思決定において依頼主が望む意思決定がなされるために必要な問いです（もちろん、健全な意思決定の前提で進めます。もしも組織の都合で「効果がないものを、あるように見せたい」と言われるようなケースがあった場合は、そのまま引き受けるのではなく、社会的に健全な方向を目指すべきでしょう）。

効果の立証のための問いではなく、意思決定判断材料とするための問いが必要

分析者は依頼主と同じ目線で状況を把握する

「施策Aの効果を知りたい」という依頼内容と、施策Aの詳細だけを頼りに分析設計を進めてしまっては、分析者が思う施策Aの効果の立証に留まってしまいます。「依頼主が望む意思決定」に持ち込むための分析の設計を行えなければ、組織の意思決定に寄与できない可能性が大きくなります。

まずは依頼主へのヒアリングを通して、効果検証の依頼が発生した背景の状況を詳らかにします。

ヒアリングでは、依頼主が効果検証の結果を用いて何を達成したいのか、つまり、「誰にどのような意思決定をしてもらいたいのか」、そして「意思決定者は何がどうなっていればその意思決定を下しそうか」を明確にします。分析者目線で考えるのではなく、視点を分析者から依頼主中心に移して考えていく必要があります。

効果検証の事前ヒアリングで明確にしたい２つのこと

例えば、施策Aについて依頼主にヒアリングを行うと、下記のような状況だったと仮定します。

• 現在は2024年9月で、依頼主は消費者向けの自社電気製品のECサイトのマーケティング部の新規顧客獲得チーム所属の企画職である
• 新規顧客獲得のための施策Aを実施した
• マーケティング部内では、前年同月と比較して実施期間内の新規ユーザが多かったことから、次の年度（2025年4月）から施策を継続して行いたいと考えている
• 施策継続のためには予算を確保する必要があり、ECサイト事業を管掌する執行役員の合意が必要

例として考える施策Aの状況設定

「2025年4月からの施策A恒常実施のための執行役員の許可を得ること」を目的に、依頼主は分析者に「施策Aの効果を確認したい」と依頼を持ち込んだことにしましょう。

「依頼主が望む意思決定がなされるため」に分析者がどのように動いて分析設計と実施をしていくべきかについて、順を追って考えていきます。

分析設計の元となる問いの作り方

誰にどのような意思決定をしてもらいたいのかは明確で、「ECサイト事業を管掌する執行役員に、2025年4月以降に施策Aを恒常実施するための予算確保の許可を出してほしい」ということになります。

「意思決定者は、何がどうなっていればその意思決定を下すのか」がまだ明らかでない場合は、依頼主やその上長であるマーケティング部の部長を巻き込むなど、あらゆる手段を駆使して、「問い」を明確にしていきます。具体的には、下記のような観点で議論していくとよいでしょう。

1.執行役員の判断基準と、分析による実施可否の議論を行います。前者は特に事業部側の知見が、後者は特に分析側の知見が必要になるため、必ず双方の観点で議論します。理想的には、依頼主と分析者が初回の会話を行うまでにそれぞれで揃えておくべき情報です。

• 判断の指標や水準は何か
• 挙げた各指標は今あるデータから分析可能か、その精度はどうか
• 結果はいつまでに必要か

執行役員の判断基準の例）
執行役員は、コストが○○円を超えることなく、新規顧客を昨対比〇%で獲得できそうであれば、2025年4月からの施策実施許可を出すと思われる

2.分析で出すべき「問い」とスケジュールを決定します。
コストが〇〇円を超えないという条件に関しては、運用でコントロール可能なケースもあるため、必ずしも分析によって見積もることだけが解決策ではありません。
施策の効果についての問いを「施策Aが獲得した新規顧客は何人か」と設定しないことが重要です。今回は「少なく見積もっても、昨対比〇%は施策で獲得できているか？」という問いに答えられれば、意思決定に必要な最低限の情報が揃います。絶対値を見積もるのではなく、可能であれば指標に制限を付ける方法を選ぶことをおすすめします。制限を付ける分析の方が容易というだけでなく、結果の不確実性が相手に伝わりやすくなり、信ぴょう性や解釈性が比較的高く保たれるからです。

分析ハードルや理解コストを下げるための「問い」の設定

問いの例）施策Aが獲得した新規顧客は、昨対比〇%を超えているか

3.この状況を可能な限りステークホルダーに共有します。可能であれば執行役員に説得の枠組みまで含めた頭出しを行います。

このように理想的なルートを進むことができれば、分析者は「施策Aが獲得した新規顧客は、昨対比〇%を超えているか」という問いに答えるための設計と分析に集中することができます。因果推論等の手法の選び方については本記事の扱う範囲を超えるため、今後の連載をお待ちください。基本的にはスピードとステークホルダーの説得のしやすさを優先し、可能な限りシンプルな方法を選ぶべきでしょう。

問いの議論を引き出すために分析者ができる工夫

依頼主と議論すれば自然に問いが見つかるかのように書きましたが、実際はそうはいきません。データ分析という特殊な領域が関係するため、依頼主側だけで問いを明確にできないケースもあるでしょう。

データ分析による解決が求められる場面での「問い」の考案には、データ分析や関連指標の知見が必要です。解ける問いを考え出さねばならない状況で、出てきた問いが解けるかどうかを判断できない場合、問いを決めることは困難でしょう。「何なら解けるのか」「何があれば説得できるのか」のバランスを保った問いを見つけ出すことがゴールとなりますので、ビジネス側か分析側の少なくともいずれかの担当者が、自身の領域からはみ出た知見を備えていることが求められます^*1。

良い問いは分析とビジネスとの染み出した領域

^*1組織内でデータ分析を成果に繋げるために必要な技能・人材については、書籍では「ビジネストランスレーター　データ分析を成果につなげる最強のビジネス思考術 /木田 浩理、石原 一志、佐藤 祐規、神山 貴弘、山田 紘史、伊藤 豪 著/ 日経BP」が非常におすすめです。

分析者側がその知見を得るためには、対象となるビジネスの構造や、その組織において作用する力と影響の関係などをある程度理解し、それを数字やデータの領域の言葉で置き換えるという経験を多く積む必要があります。事業会社内の分析部門や、受託分析企業の分析者は、相対する組織の”力学”を理解するための機会を見つけ、その経験を地道に積み重ねていく必要があります。

そのようにして分析者側がビジネス側の視点を少なからず持てるようになっていれば、問いを導き出す議論のきっかけを与えることが可能です。たとえば先ほどの例においては、以下のように判断基準について議論の呼び水となる材料を出すことができるでしょう。

• 判断の指標や求める水準は何か。
  • 売上アドオンか、施策Aの当初の目的である新規顧客獲得数か、あるいは新規顧客の継続率や、その施策で獲得した顧客のLTVか。
  • それらの指標がどうなっていれば継続判断されそうか。「〇〇を下回らない」「○○よりも優れている」など、具体的にどうか。

効果検証による説得力を補強するためには、組織のKPIの把握はもちろんのこと、過去に納得感が得られなかった指標、あるいは今後ホットになりそうな指標の把握なども有効です。また、本命の指標が算出困難な場合に、その中間指標の把握や検討、説得可否の可能性の確認も必要になるでしょう。その上で、判断に必要な確実なラインの見極めを行い、分析の設計を行っていくことになります。

このようにして、分析者の立場に軸足を置きつつ、依頼主やその先の意思決定者の視点を可能な限り取り込むことが、組織の中で意思決定に寄与する効果検証を実施する第一歩となるのです。

まとめ

組織の意思決定に寄与する効果検証の分析を行うために、手法選択の前に分析者がやるべきことを述べてきました。

まずは取り組みそのものに齟齬がないよう、可能な限り早い段階から意思決定者を含めたステークホルダーとコミュニケーションを取ることが有効です。

また、関係組織内部および組織間の意思決定スピードと質を満たせる効果検証を設計する必要があります。意思決定に寄与する分析とは、「期日までに、依頼主が望む意思決定のために必要な問いに答える最低限の分析」です。その問いを適切に設定するためには、背景を事業部門目線で把握し、「何なら解けるのか」「何があれば説得できるのか」という観点をデータや数字の言葉に置き換えることが必要です。そのためには分析者が当該組織の文化や組織の”力学”の理解を深めることが大切です。

ここで述べた内容は理想が高すぎると感じられるかもしれませんが、効果検証だけでなく、分析を通じて意思決定に貢献するためには、あらゆる手段を駆使し全力で取り組む覚悟が必要です。効果検証がうまくいかない場合や進め方に迷った際には、このアプローチを参考にしていただき、実務に役立てていただければ幸いです。