ChatGPTで記述式アンケート解析がゼロコストに｜LLMを経営効果に変えた！東京電力エナジーパートナーの生成AI活用事例

数千に及ぶ自由記述アンケートを人手で解析する大変さ

製品や従業員の満足度調査では、選択式と自由記述のアンケートが定番です。選択式の回答は傾向を数値化できる一方、自由記述の回答は全体像の理解が非常に厄介です。東電EPでは、人財戦略・育成推進室が組織診断アンケートの自由記述欄の解析に苦労していました。

東電EPでは、組織診断アンケートを年2回実施しており、2,800人の従業員それぞれから、3問の自由記述回答を集めています。ひとつひとつの回答は、平均で48文字、長いものでは595文字にも及ぶ長文も含まれます。この膨大な文章すべてに目を通すだけでも、如何に大変な作業かは、想像に難くないと思います。それに加えてアンケートの解析作業は、単に読むだけでは終わりません。アンケート結果を現場で活用して貰うためには、集計・整理の作業が必要となります。具体的に人財戦略・育成推進室の担当者が行う作業は、次のプロセスです。

• 数千の自由記述回答を読む
• どのような回答があるか、カテゴリ（人間関係や職場環境改善など）を網羅的に洗い出す
• それぞれの回答をカテゴリに分類
• 部門別に回答を整理して配布

これだけでも大変な作業ですが、これだけでは終わりません。次はアンケートを受け取った側の苦労が待っています。人事部で整理したアンケートは、部門の管理者に届きます。管理者は、次のプロセスを実施します。

• 自部署の課題を読み解く（部署の規模によって数十～数百のアンケート回答に目を通す）
• 優先的に対処すべき自部署の課題に対して対策を立案・実行する

従業員の生の声を聴くことのできるこのプロセスは、組織にとって重要な業務です。しかし、多忙な管理者にとって、アンケート結果を解釈して部署の改善に活かすことは決して少なくない負担があり、対策の立案はどうしても属人的にならざるを得ません。 上記のような人事・部門管理者双方の苦労は、時間に換算すると数百時間に及んでいました。次節では、この課題解決のきっかけとなった人財戦略・育成推進室とDX推進室の出会いを紹介します。

人事とDX推進室の部門を超えたコラボレーション

前節の組織診断アンケートの解析に苦労していた社員の一人が人財戦略・育成推進室の新藤氏です。はじめに新藤氏のリアルな声を聞いてみましょう。

Q. アンケートの解析作業では、実際にどんな苦労がありましたか？

東電EP／人財戦略・育成推進室・新藤氏　正直大変な作業です。数千の文章を読むことも大変ですが、何より部門管理者が解釈しやすいカテゴリを考え、分類していく作業は根気がいります。カテゴリが細かくなればなるほど受け取った管理者は全体像を理解しにくくなってしまうので、10～20個のカテゴリに整理する必要があります。カテゴリを生成した後も、それぞれの回答がどのカテゴリに当てはまるかを永遠と繰り返すため、非常に骨の折れる作業で、神経を削る日々でした。

この大変な作業をデータで解決に導いたのが、DX推進室データアナリティクスグループに所属する南條氏・笹山氏・丸山氏の３名です。

Q. どんなきっかけでDX推進室との連携がはじまったのでしょうか？

東電EP／人財戦略・育成推進室・新藤氏　社内でデータアナリティクスグループがデータ活用のテーマ募集を行っていると聞いて、まずは相談してみようと話を持ちかけました。データサイエンス全盛のこの時代とはいえ、自由記述の文章を処理することは難しい課題である認識は持っていたので、はじめは半信半疑な部分もありました。

相談を受けたデータアナリティクスグループの南條氏・笹山氏・丸山氏のチームは、従来からLLMの業務活用に期待を寄せており、この課題の解決に大きな可能性を感じた様子です。

Q. 相談を受けた時、リーダーの南條氏はどのようなことを考えましたか？

東電EP／データアナリティクスグループ・南條氏　データアナリティクスグループとして、人事領域の分析案件は初となるため、裾野を広げるチャンスだと思いました。また、継続的な案件獲得のためには、初回の分析案件のアウトプットの質がとても重要となるため、人財戦略・育成推進室の期待を超えるアウトプットを何としても出したいと思っていました。

Q. LLMが普及したとはいえ、技術的な不安要素もあったのではないでしょうか？

東電EP／データアナリティクスグループ・笹山氏　はい、正直、どこまでできるかは未知数でした。自由記述のアンケートでは回答の言い回しに一貫性がなく、LLMによって文章の要約などが行えるとはいえ、業務に耐えうるレベルのアウトプットを出すのは難しいのではないかと不安も感じていました。ただ、同時に従来の自然言語処理技術では絶対にできないテーマでもあったため、この取り組みが自然言語分析の道を大きく切り拓くチャンスになると考え、チャレンジすることを決めました。

Q. プロジェクトの立ち上げで工夫した点はありますか？

東電EP／データアナリティクスグループ・南條氏　当初のオーダーである、アンケート原文の「分類」に加え、「内容のサマリ」や「打ち手の提案」が自動生成できるようにプロジェクト範囲を拡張させた点です。今回のオーダーは人財戦略・育成推進室からのものですが、最終的なアウトプットの使い手は各事業部の管理職等になります。多忙な彼らに「使われる」アウトプットを提供するためには、課題の分類だけでは不十分だと考え、上記提案を行いました。また、技術面ではDX推進室としてもチャレンジングなテーマであったため、パートナーとして仕事を進めていたデータ分析の専門企業であるブレインパッド社にも協力を打診しました。自社のドメイン知識と社外の分析力を掛け合わせることで、万全な体制を整えることができました。

データアナリティクスグループが人財戦略・育成推進室からの相談に寄り添い、技術的なチャレンジにも恐れず立ち向かったことで、このプロジェクトは立ち上がりました。通常、ミッションの異なる事業部とデータ活用部門が円滑に連携することは簡単なことではありません。読者の中にも、それを体験している方がいるかもしれません。本ケースの成功は、データ活用部門の姿勢がひとつの鍵になっています。

また、プロジェクトが立ち上がった後に考えなければならないこととして、分析結果を現場でどのように使うかという点があります。優れた分析であっても、優れたユーザー体験を伴わなければ、そこから価値は生まれません。実際に分析結果を使ってもらうためにどういったことを考えていたか、データエンジニアの丸山氏にも聞いてみましょう。

Q. 現場での利用を想定して、どのようなユーザー体験デザインを考えたのでしょうか？

東電EP／データアナリティクスグループ・丸山氏　アンケートの解析作業は大変骨の折れる作業と聞いていたため、ダッシュボードでは少しでも作業負担を減らしたいと考えました。また、複数の事業部で多くの社員がダッシュボードを閲覧することに意識を向けて、シンプルかつ情報が把握しやすいダッシュボード*を目指しました。

*実際のダッシュボード

　

まずユーザーの視覚的な負担を考慮し、要約や対策といった主要項目は大きく、付属的なデータは最低限の情報のみ表示しています。さらにユーザーニーズにも想像を巡らせ、データをドリルダウンすることで詳細なデータを閲覧できる機能や配布用にダウンロードできる機能も提供しました。今後の組織改編や類似アンケートの実施も見据え、将来のプログラム修正やメンテナンス負荷を軽減するよう実装した点もポイントのひとつです。

次節では、アンケートの解析をLLMでどのように自動化したかについて、技術的な側面を解説します。

LLMによる自由記述アンケート分析の鍵と価値

はじめに自由記述アンケートの特徴を考えてみましょう。自由記述の回答には、複数の要素が含まれていることが通常です。たとえば、みなさんが「業務で課題に感じていることを記載してください」という質問を受けた場合、１つの回答の中に人間関係や執務環境の課題など、複数の情報を記載すると思います。このように自由記述アンケートを解析する上でもっとも難しい点は、回答の書き方が千差万別で、意味解釈なしには解析ができないことです。これはLLM登場以前の技術では、解決が難しい課題でした。

今回、東電EPはこの課題を解決すべく、ブレインパッドを業務パートナーとして選びました。LLMを使った分析を支援したブレインパッドのデータサイエンティストの岡田氏と本山氏に技術的なポイントを語ってもらいましょう。

Q. LLMで自由記述アンケートを扱う上でのポイントはありますか？

ブレインパッド／データサイエンティスト・本山氏　LLMに複雑な処理をさせるコツは、タスクを分割することです。LLMが非常に賢くなったとはいえ、人間のように「上手くやっておいてくれ」は通用しません。成功には LLM の得意な粒度に工程を分解して、命令をデザインする必要があり、LLMの活用にはデータサイエンティストのトライ＆エラーが欠かせません。東電EPの南條さんや笹山さんと議論を重ねながら、今回は、次の３つの工程をデザインしました。

• すべてのアンケートをLLMに読み込ませ、適切な粒度のカテゴリを定義
• 定義したカテゴリに回答を分類
• 部門別に課題を要約し、対策を自動的にアウトプット

Q. 品質管理面で意識したことや感じたことはありますか？

ブレインパッド／マネジャー・岡田氏　LLMの作業工程を分解し、中間品質を人間が精査するプロセスを大事にしました。LLMにはハルシネーションと呼ばれる誤った情報を生成してしまう欠点があり、それを完全に防ぐ術はありません。そこで中間ステップにデータサイエンティストが介入し、状況に応じてLLMへの命令を調整していきます。このLLMとデータサイエンティストの協調があるからこそ、実用レベルの性能が達成できます。

また、業務変革を実現できた最大のポイントは、東電EPのメンバーがカテゴリの自動分類作業だけでなく、アンケートを受け取る管理者のサポートまでこだわりきったことだと思います。カテゴリ分類が終わっても、管理者の読み解きと対策立案は簡単な作業ではありません。LLM による自動分析の一歩先まで踏み込んだ結果、管理者にとって「短時間で自部門の課題や要点を捉えられる」「標準的な対策アイデアを発見できる」という２つのメリットが生まれました。

以上のようにLLMを使ってアンケート解析実務を支援することで、どういった声がどれくらいあがっているのか、数千の回答から人間の目では把握しづらい実態を見える化しています。また、今まで見えていなかった細かい事実や気づくことのできなかった点が管理者にダイレクトに伝わるようになっています。膨大な文章を人間が読み解く際、どうしても見落としは避けられません。LLM が人間をサポートすることによって、従業員の声を漏らさず組織改善に役立てられるようになったことは大きな意味を持ちます。もちろんLLMに任せきりという話ではなく、対策を実施する管理者はダッシュボードを通じて生の声を聴くことも忘れていません。

それでは最終的に、人財戦略・育成推進室の業務オペレーションはどのように変わったのでしょうか。新藤氏の声を聴いてみましょう。

Q. プロジェクトの成果に対して、率直な感想を教えていただけますか？

東電EP／人財戦略・育成推進室・新藤氏　これまで苦労していた数千の自由記述アンケートの解析作業が完全に自動化されたことは嬉しい限りです。ただし、このプロジェクト１回で完成したとは思っていません。今後、LLMの力を借りながら自由記述アンケートを繰り返し解析し、その結果を見ながらより良い仕組みづくりを目指していきたいと思います。そのためにも、これからもデータアナリティクスグループのメンバーと二人三脚でデータ活用に取り組んでいきます。

次節では、このプロジェクトを成功に導いたデータアナリティクスグループのこだわりに迫ります。

業務オペレーションの変革で持続的成果を生むDX推進室のこだわり

このようなプロジェクトを成功に導く秘訣はどこにあるのでしょうか。業務変革を起こしたデータアナリティクスグループのマネジャーである奈良氏にインタビューしました。

Q. データ活用をする上でもっとも重視していることは何ですか？

東電EP／データアナリティクスグループ・奈良氏　マネジャーの視点では、経営効果を出すこと、そして何より我々の活動がお客さまへの価値提供や貢献につながるかを重視しています。世間一般ではDXやデータ活用と言うと、研究開発的にチャレンジすることに目が向くばかり、ビジネスインパクトにつながらないケースや、お客さま視点が欠落し自己満足に陥ってしまうケースが発生しがちです。しかし、DXが成熟し始めた現在ではその意識を変え、データ活用を持続的な経営効果に変換する努力、つまり業務オペレーションの変革までを追求し、お客さまの期待を超える価値提供につながる取り組みにすることが重要であると考えています。それにはいくつもの高いハードルがあるとは思いますが、チャレンジに値するテーマだと考えています。

Q. 東電EPのDXでこだわっていることはありますか？

東電EP／データアナリティクスグループ・奈良氏　一番は、お客さま視点にこだわること。それに加えて、データドリブンな意思決定を今以上に強化したいと考えています。DXが徐々に進んできた今でも、すべての業務でデータに基づく意思決定ができている訳ではありません。DXを推進する立場にある我々は、技術を提供するだけにとどまらず、DX推進室と他部門の連携、広くは組織・人のつながりにまで深く入り込み、持続的な成果創出とお客さまお一人おひとりの期待を超える価値提供にこだわり続けたいと考えています。この記事を読んで興味を持ってくださる方がいたら、ぜひ我々に声を掛けて下さい。一緒に何ができるか考えましょう。

これらデータアナリティクスグループのこだわりは、ブレインパッドとの連携でも相乗効果を生みました。東電EPのメンバーが業務知識や状況を紐解き、ブレインパッドがAIの専門家として課題解決を後押しするという連携です。この点について、ブレインパッドとの連携で中心的な役割を担った南條氏と山田氏の声を聴いてみましょう。

Q. 東電EPとブレインパッドの連携でどのような点がよかったと感じますか？

東電EP／データアナリティクスグループ・南條氏　信頼できる技術力があることはもちろんですが、岡田さん、本山さんともに柔和でコミュニケーション能力が非常に高く、ワクワクしながらプロジェクトを進めることができた点です。データサイエンティストは小難しいことをいう固いやつと思われることも少なくなく、そうすると依頼者の本当のニーズを引き出せずに終わってしまうことも多いので、お二人の姿勢からは多くの学びがありました。また今回、ブレインパッドからはコンサルタントとデータサイエンティストの混成チームよる支援体制が組まれており、ビジネスとテクノロジーの両面を強力にバックアップして貰えています。今後も一緒にチャレンジしていきたいと思っています。

東電EP／データアナリティクスグループ・山田氏　今回、ブレインパッドの皆さんからは、専門的かつ中長期的視点から数多くのアドバイスを頂くことができたと感じています。我々の日々の活動では目が届かないような深い知識や最新トレンドへの感度も高く、必要に応じて、情報を提供していただくことで、人財戦略・育成推進室の悩みに寄り添ったプロジェクト推進ができたと考えています。

おわりに

本記事では、東電EPが実現したLLMの先端事例と、それを実現するためのデータ活用部門の姿勢をまとめました。記載したLLMの活用方法はアンケート分析に限らず、あらゆる言語データに応用できる可能性があり、注目すべき成果と言えます。記事執筆にご協力いただいた東電EP関係者一同に感謝を申し上げるとともに、今後のエネルギー業界のさらなるデータ活用の進展・進化を楽しみにしています。