データ分析の「品質担保」の勘所～分析プロジェクトを成功に導く第三者の眼～

データ分析にレビュー専門組織が求められる理由

話を進める上で、データ分析プロジェクトとは、「目的達成の主要な手段としてデータ分析を用いるプロジェクト」のことと定義します。システム開発を伴うことも多いですし、システム運用まで含まれることもありますが、どちらかというとデータ分析が主、システム開発・運用は従となるプロジェクトを想定しています。

データ分析プロジェクトの「品質担保」はそもそも難しいと言えます。

最大の理由は、分析結果がデータに依存するからです。実際にデータを見てみたら、重要な項目が不足していたということもありますし、分析に使えるようなクリーンなデータではなかったということもあります。あるいはデータはきれいで項目も揃っているものの、必要量に達していなかったり、必要な時期や地域のデータがないこともあります。これらの条件を満たしていたとしてもなお、論文や他社事例と同じ精度のモデルが得られるとは限らず、得られるモデルの精度は実際にそのデータでモデルを構築してみないとわかりません。

不確実性が伴うプロジェクトにおいて、牽引した経験が豊富なメンバーがプロジェクトに関わることは、品質担保に欠かせません。

ただ、どの会社でもこうしたメンバーは忙しく、他のプロジェクトに関わる暇などないことが普通です。したがって、専門の有識者部隊を設置して、全社横断的に対応することが大企業でも採用され始めています。ブレインパッドは社員数でいえば大規模ではないですが、「分析の専門人員」を多く抱えているため、分析品質の保証の観点で専門部隊を設立しました。それがAIプラクティス部です。

AIプラクティス部に配属される第一条件は、プロジェクトのリード経験が豊富だということです。加えて、技術に明るいことも重要です。現役でプロジェクトに関わっているデータサイエンティストに対して技術的助言を与えられるレベルでなければなりません。そのため先端技術の調査・研究業務がAIプラクティス部のもう1つの職掌となっています（※）。データサイエンティストにもビジネスの知見が求められる今、その点に関しても助言できる必要があるので、学ぶことはたくさんあります。

（※）AIプラクティス部社員の執筆記事
データ分析を用いた、ダイナミック・プライシングの実用化～DX時代における物販ビジネスへの適用、浸透～

審査やレビュー部門に現場で活躍している人材を投入するのは、その分売上が減ってしまうため、専門部隊の設置にはネガティブに捉える会社もある一方、品質に問題が発生すれば、作業のやり直し等が発生して、利益が減少することになります。また品質問題は企業の信用にも関わります。それより何より、クライアントに大きな迷惑をかけることになります。DXにおいてデータ分析は「意思決定を推進する」ため、データ分析の品質は非常に重要な役割を担うこととなります。

そこでプレインパッドでは、現場プロジェクトの第一線で活躍できるメンバーをレビュー部門の専門要員とし、全社のあらゆる分析プロジェクトに関わるかたちを取っています。

「品質担保」の勘所

ブレインパッドのレビュー業務は、提案から分析結果報告まで、プロジェクトが始まる前から終わるまでのプロセスを網羅します。

特に重要視しているのは提案レビューです。何事も最初が肝心です。プロジェクトの目的は明確か、手段はそれに対して適切か、というところに問題があれば、その後の分析がいくら技術として正しくても、成果は期待できません。

データ分析の技術は日進月歩で進歩していますし、ビジネス課題も複雑になる一方なので、どの案件も常に「新しい」。そのため過去と同じやり方ばかりでは通用しない面もありますが、過去の経験があるからこそ指摘できる事項も多いのです。たとえばデータ整備に関して現場で起こりがちな問題は今も昔もそれほどかわりません。

技術的に新しいことを常にキャッチアップするのは現場のデータサイエンティストには難しいことです。またいくら時間があっても一人で全分野を押さえるのも不可能です。さらに、データサイエンティストにも得手不得手があり、自分の得意な方法を採用しがちです。その方法が最適であればよいのですが、開発コストや運用コストがかかったり、処理速度に問題があり実業務で使えないという問題も起こりえます。

そこでAIプラクティス部が網羅的に最新技術をキャッチアップし、現場に還元するという形を取っています。

実際のデータで分析してみないと結果がわからないのは事実ですが、とはいえ専門的な知見や経験から提案段階で明らかに実現困難と判断できる計画というものもあります。そのような提案を防ぐため、提案段階で実現可能性チェックを十分行う必要があるのです。提案のためにサンプルデータを確認したり、人工的にデータを作って極めて簡易な検証を実施することもあります。

また、ビジネス課題と業務フローによっては、課題の解決手段としてデータ分析ではなく他に良い方法があることもあります。その場合はクライアントともう一度ディスカッションして意図を再確認し、提案をしないという選択肢もあり得ます。提案しないことは仕事を投げ出すのではなく、クライアントにとってそれが最適だと考えるためです。

このように、提案一つをとっても様々な問題や観点が存在します。

提案段階で正しい問題設定ができ、適切な解決策が見えていれば、そのプロジェクトの成功確率は飛躍的に高まります。提案レビューに特に力を入れる理由です。

その後も、各種計画書、設計書、報告書等の成果物のレビューを行います。

社内ステークホルダー（営業、コンサルタント、プロジェクトマネージャー、データサイエンティストなど）を集めて、我々がレビュアーとなって、ガイドラインに基づいてレビューを進行します。

明らかな間違いの有無はもちろん、分析方法は妥当か、他に最適なアプローチはないか、分析結果の解釈は妥当かなど、様々な角度からレビューしていきます。必要があれば、クライアントを交えた会議に私たちが参加することもあります。

弊社のデータ分析プロジェクトの実施期間は「1フェーズを3カ月程度」としているものが多く、1カ月に1回のレビューでは、問題点を発見したらもう手遅れということになりがちです。また、分析結果に応じて計画を修正することが多いのもデータ分析プロジェクトの特徴です。したがって、多くのプロジェクトでは最低でも週1回、状況に応じてそれ以上の頻度での品質チェックレビューを実施します。

ちょっとした方向性の違いで、大きな手戻りを引き起こさせるのがデータ分析です。こまめなレビューが重要です。分析中は、近視眼的になりやすく全体観を見失いやすいです。それに加えてプロジェクトマネージャーは他にもクライアントや協力会社等との折衝など人間系の仕事も多く、どうしても品質管理に漏れが生じることがあります。そこを私たちAIプラクティス部がサポートすることで、1つでも多くの品質事故を無くすことにつながります。

大切なことはプロジェクトマネジメントとレビューの目的を分断し、サポートに徹することです。プロジェクトやそのメンバーを評価したり、ましてや叱責したりする部門だと捉えられると、現場は気持ち良くないでしょうし、レビューへの協力もしてくれなくなります。協力も積極的ではなくなり、結果として組織としてプロジェクトの品質を担保することが難しくなってしまいます。

レビューの進め方は、プロジェクトマネージャーと相談して決めます。標準化できる部分も多いため、ベースとなる準備も行いつつ、プロジェクトの規模や速度も様々ですので、プロジェクトごとにレビューの方法もカスタマイズしています。

自社にどうやって品質担保の仕組みを根付かせるか？

データ分析、活用が急務となる現在において、大企業であれば、私たちAIプラクティス部のような品質担保のための専門部隊を設立するのがベストだと考えます。社内人材だけでは不足する場合は、新たに専門人材を採用する手もありますし、私たちのような支援会社にアドバイザリーを依頼するという手もあります。

しかし中堅・中小企業で専門部隊を持つのは難しいかもしれません。その場合には、まず「相互レビューを循環させる仕組み」を作ることから始めるのがよいと考えます。レビューについてはチェックリストやドキュメントフォーマットをしっかり決めて、レビュー記録を誰でも閲覧できるようにしましょう。

「ナレッジ共有の仕組み」を作ることも大切です。勉強会、発表会なども開催するに越したことはありませんが、普段の業務の中で得たナレッジを共有する仕組みを業務に組み込むことで、無理なく共有できるようにすることが肝心です。もちろん誰もが検索しやすい、見つけやすい形で蓄積しておくことも重要です。

データ分析は、細かくさまざまな角度でデータを見ていく仕事です。いわゆる深掘りを必要とする仕事であり、取り組むうちに視野が狭まっていくのは仕方のないことです。視野が狭くなるというのは、言い換えれば目的を見失うということです。分析にのめり込んでいくうちに、プロジェクトの当初の目的を忘れてしまいがちなのです。

そこで必要となるのが「第三者の眼」です。その分析に意味があるのか、その結果から何がわかるのかといったことを、冷静な頭で指摘する人がどうしても必要になります。それも複数の人がいるほうがいいのは言うまでもありません。

事業会社、支援会社、各社に「第三者の眼」があることで、不確実性や複雑さが増すDXにおいても効果をもたらすのではないでしょうか。

DXの本質について改めて知りたい方は、こちらの記事もぜひご一読ください。
DX（デジタルトランスフォーメーション）とは？今さら聞けない意味・定義・事例をわかりやすく解説【2024年最新版】