DOORS DX

ベストなDXへの入り口が
見つかるメディア

データサイエンティストが集まる夜 白金鉱業Meetup Vol.15 効果検証 開催レポート

公開日
2024.10.18
更新日
2024.10.21
データサイエンティストが集まる夜 白金鉱業Meetup Vol.15 効果検証 開催レポート

「効果検証」をテーマに、勉強会兼交流イベントである白金鉱業Meetupを開催しました!
本記事は主催者であるブレインパッドのデータサイエンティスト浅野による開催レポートです!

白金鉱業Meetupとは

白金鉱業Meetupは、ブレインパッドデータサイエンティストの有志メンバーが主催しているデータサイエンティストや機械学習エンジニアをはじめとしたデータ系職種のための勉強会兼交流会イベントです。

第15回の今回は、効果検証をテーマにブレインパッドのオフィスにて開催しました。

業界を問わず、社内外から登壇者を募り、バラエティのある発表をしていただきました。
簡単ではございますが、ひとつずつ発表内容を紹介します。


登壇1:DMLによる条件付処置効果の推定

最初はブレインパッドの泉さんによるDML(Double Machine Learning)についての発表です。

まずはCATE(条件付き平均処置効果)を考慮する必要があるという導入から始まり、その推定方法としてのDMLを紹介しました。

CATEはDMLで推定しよう!

CATEを推定する場合の選択肢としてMeta learnerが挙げられると思いますが、DMLはMeta learnerよりも推定量の分散が小さいというメリットがあります。

CATEはDMLで推定しよう!

今後CATEを推定する際の選択肢としてDMLを入れるのはいかがでしょうか。

実装の際は、Microsoftが提供しているPythonライブラリ、EconMLのサンプルコード等をご参照いただければと思います。
https://github.com/py-why/EconML/blob/main/notebooks/Double%20Machine%20Learning%20Examples.ipynb


登壇2:効果検証の怖い話

二番手はブレインパッドのデータサイエンティスト、阿部さんによる発表です。
テーマは夏にぴったりな「効果検証の怖い話」です。

ふつうの人から見た効果検証
霊感がある人から見た効果検証

だいぶお茶目な導入から始まりましたが、内容としては実務で様々な効果検証に取り組んできた阿部さんだからこそ語れる「ステークホルダーにも状況にも効果検証にも真摯に向き合おうという話」でした。

「効果検証が価値を発揮するには分析の前後も大事ですよね」
展開済みの施策がやってきた
分析者(チーム)が幽霊にならないために

登壇3:経験値ゼロから始める A/B テスト布教活動 と 意思決定に活かしやすいA/B テスト設計の一案

次は日本経済新聞社より増田さんと西川さんのお二方に発表していただきました。
お二方からは効果検証のカルチャーを根付かせた話、ベイズ統計を用いたコスト最適化の観点からの意思決定の話をしていただきました。

「Pythonで学ぶ効果検証入門」が愛読書

前半パートは増田さんから、効果検証の布教活動についてです。
データサイエンスチームから能動的にプロダクトに分析を提案するために、A/Bテストのケイパビリティを獲得する。それを自部署のみならずほかの部署にも横展開し、会社全体、ひいては社外発信と、どんどんその活動の影響範囲が広くなった様子をお話してくださいました。

ABテスト不況活動の流れ
ABテスト輪読会

実務でデータ分析に取り組んでいる方は身をもって体感していると思いますが、施策の効果検証は事後だと手が打ちづらく、せっかくのデータ分析の力を十二分に発揮できないケースが多々あります。
私自身、分析で力を発揮するためにも、事前の設計段階からどれだけ関われるかも大事だと考えています。そのため、ビジネスサイドにまで効果検証を根付かせる文化醸成は大変ですが非常に意義のある活動だと思っています。

実験設計テンプレートの制定
テスト実行

そして、後半パートは西川さんによる発表です。

A/Bテストなどのサンプルサイズは大きすぎても小さすぎてもデメリットという、コストの最適化についてお話をしてくださいました。

実験継続の決定のトレードオフ
実際のシミュレーション例

特にグラフでの表現がわかりやすく、実験初期は群を間違えるコスト(緑の折れ線)が大きく減っていきますが、いずれはその減り方がゆるやかになっていきます。
一方でサンプル取得コスト(青の折れ線)は線形に増加していくため、このシミュレーション例では100回を超えたあたりからコストの合計(赤の折れ線)が上昇する傾向が見受けられます。

ベイズ統計を用いた、利益の期待値の最大化(損失の最小化)の観点からの意思決定についての発表でした。

登壇4:『Pythonで学ぶ効果検証入門』の歪なところ、その理由

最後はサイバーエージェントより、「Pythonで学ぶ効果検証入門」の著者である伊藤寛武さんの発表です。

Pythonで学ぶ効果検証入門

効果検証は色んな意見が出やすい分野という印象ですが、それにも関わらず明確なスタンスをとった理由が語られており、書籍への熱い思いが伝わってくる発表でした。

本で目指したこと →「中立的な表現をしない」「態度を明らかにする」
今日の目的
思想:運用しづらい手法は実務/組織では用いるべきではない
そもそもA/Bテストですら運用は難しい

私自身、一読者として項目によってはあっさりしていると思う部分があった一方で、実務での適用に非常に寄り添った書籍だと感じていました。今回の発表でその裏に隠れた思いを知れて非常に楽しかったです。

このブログだけでは伊藤さんの熱量を表現しきれないので、気になった方はぜひ登壇資料と書籍をご確認ください!

懇親会

発表の後に懇親会をしました。効果検証をしている実務者ばかりということもあり、コンテキストが共有されていて話が非常に盛り上がりました。
マスコミ、ヘルステック、エンタメやアパレルなど様々な業界の方がいたり、効果検証に興味のある学生の方も参加されていてバラエティにも富んだメンバーでの懇親会でした。

さいごに

理論、実ビジネス、効果検証の布教活動とコスト最適化、書籍の裏に隠れた思いなど非常にバラエティに溢れたテーマの発表でした!
一方で、共通項もあり、

  • 施策実施する際は事前・事後にしっかりコミュニケーションをとって真摯にプロダクトと分析に向き合うことが重要
  • 手法選びは、分析結果として得られる情報がリッチであり、いかに正しい意思決定に寄与できるかが大事

というスタンスなどは、業界や会社は違っていても共通する実務における効果検証との向き合い方が見えておもしろかったです。

Meetupの資料はすべて公開しておりますので、ぜひぜひご確認ください!

当日の様子はX/Twiterのハッシュタグ「#白金鉱業」でも確認できます!

白金鉱業Meetupでは、今後もさまざまなデータサイエンスに関するテーマで開催を予定しています!

また、オンラインでは白金鉱業.FMというpodcastを配信しているので、こちらもぜひぜひご愛聴をお願いします!



このページをシェアする

株式会社ブレインパッドについて

2004年の創業以来、「データ活用の促進を通じて持続可能な未来をつくる」をミッションに掲げ、データの可能性をまっすぐに信じてきたブレインパッドは、データ活用を核としたDX実践経験により、あらゆる社会課題や業界、企業の課題解決に貢献してきました。 そのため、「DXの核心はデータ活用」にあり、日々蓄積されるデータをうまく活用し、データドリブン経営に舵を切ることであると私達は考えています。

メールマガジン

Mail Magazine