機械学習プロジェクトを推進するにあたって大切なこと～DX推進時の「企画・PoC」フェーズの落とし穴にはまらないために～

企画フェーズ：プロジェクトの目的およびPoC の検証内容を具体化

企画フェーズでは、お客様と弊社でプロジェクト全体の目的およびPoCの目的をすり合わせます。このプロセスは非常に重要でPoCの検証目的が具体化されていないと、いつまでもPoCをやることになりかねません。

PoCの目的で多いのは機械学習モデルの精度検証

現状持っているデータを用いて機械学習モデルの精度がどれくらい出るかを検証し、「プロジェクトの実現可能性を検証する」というパターンが最も多いです。しかし、機械学習をビジネスに適用しようと思うと、機械学習モデルの精度以外にも考慮すべきものが多くあります。

下記の図は「Hidden Technical Debt in Machine Learning Systems (機械学習システムの隠れた技術負債)」の引用です。機械学習システムにおいて、図中央の黒い四角で示されている「ML Code（機械学習コード）」で構成されているのはごく一部で、必要とされる周辺インフラは膨大で複雑であることを図示したものになります。この図では、機械学習コード以外の部分は、データ収集、データ検証、リソース管理やモニタリングなどで構成されています。
「機械学習コード」は機械学習モデルを指し、精度検証もここにあたります。
企画フェーズ の段階で、機械学習モデル以外の部分についても粗方目途を立てておく必要があります。

企画フェーズの落とし穴

では、機械学習モデルの精度以外について検討しなかった場合、どういったことが起きてしまうのでしょうか。いくつか具体例をご紹介します。

● 学習時間や推論速度などの処理速度が業務上耐え得る速度ではなく、検証がやり直しになってしまった
● 機械学習モデルの解釈性が低く、運用後のモニタリングやカスタマイズが難しくなってしまった
● 既存システムとの連携を考慮せず、開発フェーズ のコストが想定よりかかってしまった

上記以外にも、企画フェーズでの落とし穴は下記が挙げられます。

● 適切な問題設定を行わないままPoCに進んでしまったため、PoC が終わらない
● 機械学習への期待値が高すぎる
● そもそも、ビジネス課題の解決手段として機械学習が適切でなかった

実際に、私が担当したプロジェクトでも「マーケティング施策のために、今までにないインサイトを得たい」という、目的が曖昧なままスタートしたプロジェクトがありました。
何かを予測・最適化するようなプロジェクトではなく、データから知見を抽出しレポートを提示するプロジェクトです。
「今までにないインサイト」といえば、「おむつとビールはセットで買われる」というのが有名な話かもしれません。（この結果に対しては、子どものおむつを買いに来た父親がついでにビールを買って帰る、というストーリーが考えられると言われています。）
しかし、データ分析を通してそんな目から鱗な分析結果が得られることはほとんどありません。また、分析の切り口も膨大にあるため、やみくもに分析を実施したところで役に立つ結果は得られないでしょう。目的が曖昧なため評価方法も曖昧で、分析結果の定量評価ができません。そのため、分析結果をお客様に適宜共有してはフィードバックをいただいていました。
最終的な分析結果は、お客様には「面白い結果だ」と言っていただけたものの、「直接施策に活かせるかはなんとも言えない」といった形で検証は終わりました。
このプロジェクトでは、進めていく中でどんどんスコープも広がり、当初の予定よりも工数が増え、社内で多数の追加人員が必要になりました。（徹夜したのはいい思い出です）

まとめると、企画フェーズで重要なのは「データ活用で解決可能な目標を設定する」ことです。
上記のような落とし穴にはまらないよう、企画フェーズではPoCで何を検証するのかを明確にする必要があり、加えてそれらは機械学習モデルの精度以外についてもあらかじめ検討項目として含んでいる方がよいでしょう。

PoCフェーズ：目的に沿った検証を実施

PoCフェーズでは、企画フェーズで設定した目的に沿って実際に検証を実施します。
以降、皆さまに具体的にイメージを掴んでいただけるよう、ブレインパッドにおけるPoCの進め方や成果物などを記載していきます。

PoCの一般的なスケジュール

ブレインパッドでは、PoCは3か月程度で実施することが多いです。大まかなスケジュールは下記の通りです。

あくまでも一例にはなりますが、大体上記のようなタスクが存在します。
進捗次第でタスクの追加やスケジュールの前後はしますが、都度お客様と連携を取りながら進行していきます。

成果物に含まれるもの

● スケジュールの予実績
● 検証結果
　機械学習モデルの精度や処理速度　など
● 結果に対する考察
● PoCで明らかになった課題に対する次フェーズに向けたアクションと、その優先度や期待効果

上記もあくまでも一例になりますが、基本的には報告書に上記を含んだ形で納品させていだたきます。

PoCフェーズの落とし穴

PoCフェーズでよくある落とし穴についてもいくつかご紹介します。

● 機械学習モデルの性能がビジネスに使えるレベルまで達しておらず、次のステップになかなか進めない
→性能が出ない理由にもよりますが、問題を設定し直す・データを集め直す・モデルはそのままで運用でカバーする、などで対応することが多いです。
● 人によるアノテーション（機械学習のモデルに学習させるための教師データを作成すること）の場合、データ受領後に正解データにブレがありそのままのデータで分析を進めることが困難
→正解データにブレがあると、機械学習モデルは何を正として学習すればよいかわかりません。そういった場合、アノテーションの方法についても一緒に検討を進めさせていただきます。

実際の例として、「アノテーションの重要性」を改めて感じたプロジェクトについてお話したいと思います。このプロジェクトでは、すでにお客様自身で機械学習活用を推進されていましたが、なかなか精度が上がらない、とのことで弊社に依頼いただきました。
画像内に映っているもの深層学習を用いて検出する「物体検出」のタスクです。
すでに機械学習モデルの検証を進められていたため、ラベル付きの画像が1万枚程度準備されている状況でした。タスクにもよりますが、1万枚もあればある程度の検証は可能と判断し、PoCを開始しました。

しかし、実際にデータを見てみるとラベルの定義が曖昧で、人によってラベルの付け方が異なったり、画像内のすべてのオブジェクトにラベルが振られていなかったりしました。1万枚のうち、どれくらいのデータのラベルが曖昧なのかを調査し、定義を見直した上でアノテーションしなおす必要がありました。
一枚一枚画像を目でみて、各ラベルの定義を検討する作業は、それはそれは泥臭い作業でした。クライアントと一緒に、色々なパターンの画像を見ながら、「このラベルの定義はこれでいいか」「こういったイレギュラーな画像はどのラベルを付けるべきか」といったことを相談しながら定義を決めていきました。
モデリングからスタートする予定のプロジェクトが、実際はアノテーション作業からスタートすることになり、当初の予定よりもモデリングの時間が削られてしまいました。

ただし、最終的には、アノテーションをし直したことにより、精度改善に成功しました。
一般的に、データは多ければ多いほど精度は上がる傾向にありますが、ただし、上記のように定義が曖昧な場合、精度向上は望めません。実際のプロジェクトを通して、お客様にも「とりあえず大量に画像を用意すれば精度は上がる」という認識が必ずしも正しいわけではないことに気づいてもらえたのはプロジェクトを前に進めるためのひとつのポイントだと思っています。

実際にいただいた質問

最後に、機械学習プロジェクトを始めるにあたって、実際にお客様からいただいた質問に対する回答をいくつかご紹介します。

Q.「深層学習を使うとブラックボックスにならないか？」
A. 手法によってはなります。ただし、ブラックボックスだと業務適用できないビジネスケースの場合は、そうした手法は選択しません。基本的に機械学習の精度と解釈性はトレードオフの関係にありますが、そういった問題を解消しようとする様々な研究が進んできているのが現状です。

Q.「将来的には機械学習システムを自社内で内製化したいが、それに向けた支援も可能か？」
A. 可能です。どこまで内製化したいかをヒアリングさせていただいた上で、ご支援内容をご相談させていただきます。とはいえ、いきなり全てを内製化することは難しいため、徐々にステップアップしていくイメージです。具体的なご支援内容としては下記があげられます。

● ブレインパッドのデータ活用人材育成サービスによる既存メンバーのスキルアップ支援
● 各プロジェクトごとにカスタマイズした勉強会やワークショップの実施
● 運用後のアドバイザー支援

Q.「他のサービスとの違いは何か？」
A. お客様のビジネス課題や業務フローに合わせて設計・実装を行うため、汎用性が高いというメリットがあります。また、運用後のカスタマイズ性という観点でも、既存サービスだとできることが限られがちですが、詳細までカスタマイズ可能なように設計することができます。

最後に

本稿では、機械学習プロジェクトをこれから取り組む方に向けて、企画・PoCフェーズについてご紹介させていただきました。
読者の皆様の中には、本稿を読んで機械学習プロジェクトに対するハードルが上がった方もいらっしゃるかもしれません。ただ、筆者個人的には、機械学習プロジェクトについてあまり理解や知識はなくても「熱量の高いお客様」と一緒に仕事がしたいと考えています。
本稿でも述べたように、機械学習プロジェクトを推進する際、企画・PoCフェーズに限らず様々な検討事項があります。実際はお客様と一緒に検討を進めるため、お客様の協力が必要不可欠です。時には、お客様内の他部署の方の協力や、上層部との調整も必要になってきます。ビジョンを語っていただいたり、積極的にアイデアを出してくれるお客様と一緒にプロジェクトを進めていくのはとても楽しいと感じます。

本稿を通して、どういったポイントに気を付けたらよいのか、ブレインパッドと一緒に取り組むとどういう進め方になるのか、少しでも感じ取っていただけたら幸いです。

ブレインパッドのDX支援への取り組みについてはこちらの記事もぜひご覧ください。
・ベンダーとのワンチームで“トランスフォーメーションの壁”を突破する
・ブレインパッドが支援したDXの成功事例5選を紹介！～業種・職種を超えて変革を起こすデータ活用の力～

機械学習に関してはこちらの記事もぜひご覧ください。
・【前編】データ分析を「システム実装」するための重要ポイントとは～機械学習を活用した業務アプリケーション構築～