データサイエンティストが集まる夜 白金鉱業Meetup Vol.15 効果検証 開催レポート

白金鉱業Meetupとは

白金鉱業Meetupは、ブレインパッドデータサイエンティストの有志メンバーが主催しているデータサイエンティストや機械学習エンジニアをはじめとしたデータ系職種のための勉強会兼交流会イベントです。

第15回の今回は、効果検証をテーマにブレインパッドのオフィスにて開催しました。

業界を問わず、社内外から登壇者を募り、バラエティのある発表をしていただきました。
簡単ではございますが、ひとつずつ発表内容を紹介します。

登壇１：DMLによる条件付処置効果の推定

最初はブレインパッドの泉さんによるDML（Double Machine Learning）についての発表です。

まずはCATE（条件付き平均処置効果）を考慮する必要があるという導入から始まり、その推定方法としてのDMLを紹介しました。

CATEを推定する場合の選択肢としてMeta learnerが挙げられると思いますが、DMLはMeta learnerよりも推定量の分散が小さいというメリットがあります。

今後CATEを推定する際の選択肢としてDMLを入れるのはいかがでしょうか。

実装の際は、Microsoftが提供しているPythonライブラリ、EconMLのサンプルコード等をご参照いただければと思います。
https://github.com/py-why/EconML/blob/main/notebooks/Double%20Machine%20Learning%20Examples.ipynb

• 登壇資料

登壇２：効果検証の怖い話

二番手はブレインパッドのデータサイエンティスト、阿部さんによる発表です。
テーマは夏にぴったりな「効果検証の怖い話」です。

だいぶお茶目な導入から始まりましたが、内容としては実務で様々な効果検証に取り組んできた阿部さんだからこそ語れる「ステークホルダーにも状況にも効果検証にも真摯に向き合おうという話」でした。

• 登壇資料

登壇３：経験値ゼロから始める A/B テスト布教活動 と 意思決定に活かしやすいA/B テスト設計の一案

次は日本経済新聞社より増田さんと西川さんのお二方に発表していただきました。
お二方からは効果検証のカルチャーを根付かせた話、ベイズ統計を用いたコスト最適化の観点からの意思決定の話をしていただきました。

前半パートは増田さんから、効果検証の布教活動についてです。
データサイエンスチームから能動的にプロダクトに分析を提案するために、A/Bテストのケイパビリティを獲得する。それを自部署のみならずほかの部署にも横展開し、会社全体、ひいては社外発信と、どんどんその活動の影響範囲が広くなった様子をお話してくださいました。

実務でデータ分析に取り組んでいる方は身をもって体感していると思いますが、施策の効果検証は事後だと手が打ちづらく、せっかくのデータ分析の力を十二分に発揮できないケースが多々あります。
私自身、分析で力を発揮するためにも、事前の設計段階からどれだけ関われるかも大事だと考えています。そのため、ビジネスサイドにまで効果検証を根付かせる文化醸成は大変ですが非常に意義のある活動だと思っています。

そして、後半パートは西川さんによる発表です。

A/Bテストなどのサンプルサイズは大きすぎても小さすぎてもデメリットという、コストの最適化についてお話をしてくださいました。

特にグラフでの表現がわかりやすく、実験初期は群を間違えるコスト（緑の折れ線）が大きく減っていきますが、いずれはその減り方がゆるやかになっていきます。
一方でサンプル取得コスト（青の折れ線）は線形に増加していくため、このシミュレーション例では100回を超えたあたりからコストの合計（赤の折れ線）が上昇する傾向が見受けられます。

ベイズ統計を用いた、利益の期待値の最大化（損失の最小化）の観点からの意思決定についての発表でした。

• 登壇資料

登壇４：『Pythonで学ぶ効果検証入門』の歪なところ、その理由

最後はサイバーエージェントより、「Pythonで学ぶ効果検証入門」の著者である伊藤寛武さんの発表です。

効果検証は色んな意見が出やすい分野という印象ですが、それにも関わらず明確なスタンスをとった理由が語られており、書籍への熱い思いが伝わってくる発表でした。

私自身、一読者として項目によってはあっさりしていると思う部分があった一方で、実務での適用に非常に寄り添った書籍だと感じていました。今回の発表でその裏に隠れた思いを知れて非常に楽しかったです。

このブログだけでは伊藤さんの熱量を表現しきれないので、気になった方はぜひ登壇資料と書籍をご確認ください！

• 登壇資料
• Pythonで学ぶ効果検証入門

懇親会

発表の後に懇親会をしました。効果検証をしている実務者ばかりということもあり、コンテキストが共有されていて話が非常に盛り上がりました。
マスコミ、ヘルステック、エンタメやアパレルなど様々な業界の方がいたり、効果検証に興味のある学生の方も参加されていてバラエティにも富んだメンバーでの懇親会でした。

さいごに

理論、実ビジネス、効果検証の布教活動とコスト最適化、書籍の裏に隠れた思いなど非常にバラエティに溢れたテーマの発表でした！
一方で、共通項もあり、

• 施策実施する際は事前・事後にしっかりコミュニケーションをとって真摯にプロダクトと分析に向き合うことが重要
• 手法選びは、分析結果として得られる情報がリッチであり、いかに正しい意思決定に寄与できるかが大事

というスタンスなどは、業界や会社は違っていても共通する実務における効果検証との向き合い方が見えておもしろかったです。

Meetupの資料はすべて公開しておりますので、ぜひぜひご確認ください！

• [白金鉱業 Meetup Vol.15@六本木（効果検証） – 資料一覧 – connpass]

当日の様子はX/Twiterのハッシュタグ「#白金鉱業」でも確認できます！

白金鉱業Meetupでは、今後もさまざまなデータサイエンスに関するテーマで開催を予定しています！

また、オンラインでは白金鉱業.FMというpodcastを配信しているので、こちらもぜひぜひご愛聴をお願いします！

• 白金鉱業.FM