AI Challenge Dayで金融業界の審査コスト削減策を提案：イベント参加レポート 

AI Challenge Day for Financial Serviceとは？

「AI Challenge Day for Financial Service」は日本マイクロソフト株式会社主催のビジネス提案イベントです。これまでに3回開催されたAI Challenge Dayは、RAG技術の精度評価や改善がメインテーマでしたが、4回目となる今回は新しい AI Challenge Day ということで、金融業界をターゲットとした業界特化型となっていました。参加企業は、生成AIを強みとして事業を展開する日本マイクロソフトのパートナー企業9社でした。各社が4つのテーマの中から1つを選び、テーマ発表から3週間で金融業界の抱える課題を解決するソリューションを構想し、仮想提案を実施しました。

提案内容の検討：お客様のお悩みから生まれたアイデア

私たちは、「監査や業務効率化を目的としたAIによるドキュメント処理」を選択しました。ブレインパッドは多数の金融業界のクライアントを支援しており、お客様から直接お悩みを伺う機会があります。「業務効率化」に関しては、以下のようなお悩みが多くあることに着目しました。

• 配属ローテーションがあるため、期末期初は業務の引き継ぎ・キャッチアップで手一杯になる。特に、審査やマーケティングなどの業務に特化したスキルが求められる業務を担当することになった場合はキャッチアップコストが大きい。
• お客様に向けて発信するコンテンツは、法律に違反していないか、コンプライアンスの問題はないか、誤解を招く表現になっていないか、など複数部署による多数の審査が必要になる。そのため、審査担当者が審査を完了するまでのリードタイムが長い。

次に「AIによるドキュメント処理」を用いて何を実現するかを検討しました。生成AIで文章を扱う場合の用途を”確認”・”抽出”・”要約”・”生成”に分類し、部署の業務ごとに用途別で提供できるソリューションを考え出しました。
ソリューションの検討内容とクライアントの課題を鑑み、私たちは「審査にかかるコストの削減を目的としたAIエージェント」というコンセプトの提案をすることにしました。

提案内容詳細：生成AIによる文章チェックと審査効率化

「審査にかかるコストの削減を目的としたAIエージェント」は、お客様に向けて発信する文章を作成する企画担当者が利用することで、短時間で審査基準を満たす文章の作成が可能になることを目指したソリューションです。作成する文章の質が上がり、結果として審査担当者の審査コストを下げることも可能と考えています。

本ソリューションは、以下の3つの主要機能を備えています。

1. 校閲機能（Proofread）：企画担当者が作成した文章を複数の審査項目をもとにチェックする
2. 説明機能（Explain）：チェックの結果と根拠を提示する
3. 生成機能（Create）：審査項目を満たす文章を自動生成する

イベントでは、提案内容に親しみを持っていただくため、以上の3つの機能を持つAIエージェントということでPECA^*1という愛称をつけて紹介しました。

(*1)Proofread（校閲）、Explain（説明）、Create（生成）ができるAIエージェントの頭文字から付けた社内愛称。ブレインパッドのサービス名やプロダクト名ではありません。

技術詳細：マルチエージェントシステムの活用

「審査にかかるコストの削減を目的としたAIエージェント」を実現した技術を説明します。

今回は、複数のエージェントが相互に連携しながらコンテンツをチェック・生成する、マルチエージェントシステムを採用しました。システムの構築においては、エージェント開発プラットフォームであるCrewAIを活用し、エージェントの推論エンジンには、Azure OpenAIのgpt-4oを採用しました。

【参考】CrewAI：https://www.crewai.com/

コアとなるエージェントは3つあります。

1. チェックエージェント
   コンテンツを多様な観点からチェックします。例えば、景品表示法などの法律に違反していないか、コンプライアンス上問題がないか、魅力的な表現になっているか、などの審査項目を想定しており、コンテンツの内容に応じて取捨選択が可能です。チェックの結果（Pass（合格）またはFail（不合格））は、結果を判断した根拠と合わせて出力します。
   チェックエージェントは単体で校閲・説明機能として利用可能です。
2. コンテンツ生成エージェント
   訴求したいキャンペーンテーマや過去のコンテンツ例、配信媒体などを考慮しながらコンテンツを生成します。
3. フィードバックエージェント
   うまくコンテンツの生成ができない場合、ユーザーに対して以下のような訴求内容の具体的な改善アクションを提案します。
   　・キャンペーンの対象商品や実施期間を明確にしてください。
   　・法律との整合性を取るため、特典内容をXXからYYに変更してください。

コンテンツの生成機能はこれら3種類のエージェントが連携することで実現しています。

コンテンツ生成のステップ

1. コンテンツ生成エージェントによるコンテンツ生成
   コンテンツ生成エージェントは、ユーザーが入力した訴求内容をもとにコンテンツを生成します。
2. チェックエージェントによる生成コンテンツのチェック
   生成したコンテンツをチェックエージェントが審査項目をもとにチェックします。
3. チェックの結果に応じた分岐処理
   チェックの結果に応じて処理内容が分岐します。
   　a. すべての審査項目をPassした場合
   　　i. UI上に生成結果を出力して終了します。
   　b. 審査項目にFailがある場合
   　　i. チェックエージェントがFail判断理由をコンテンツ生成エージェントに返却します。
   　　ii. 再び手順1からスタートします。この際、Fail判断理由も踏まえてコンテンツを再生成します。
4. フィードバックエージェントによる最大試行回数超過時の処理
   手順1と2を最大試行回数まで実施してもFailが残る場合、フィードバックエージェントはユーザーへの具体的な改善アクションを生成し、UI上に出力して終了します。

なお、イベント当日はコンテンツ生成のデモをご紹介しました。

 技術的な工夫点：審査精度向上と効率化の取り組み

品質の高いコンテンツのチェック・生成を実現するため、以下の技術的な工夫をしています。

1. 審査精度を高める“1項目1エージェント方式”
   コンテンツのチェックでは、審査項目ごとに専用のチェックエージェントを配置する“1項目1エージェント方式”を採用しました。例えば、審査項目が5つの場合、5つの独立したチェックエージェントを起動します。本方式によって、コンテキストウィンドウ（生成AIが一度に処理可能な文章量の上限値）を考慮できるため、大量の情報を効率的に処理することが可能になります。
   一般に、法律文書などの長文を扱う場合、関係のない文を引用して誤った判断をする・チェックの一部が漏れる、といった課題があります。本方式では必要最低限の照合対象を抽出して処理をするため、厳密な照合や漏れのないチェックが実現でき、チェック精度の向上が期待できます。
   また、効率的な処理により、エージェントへの負荷軽減も実現できます。
2. 自己修正型のコンテンツ生成
   コンテンツ生成エージェントとチェックエージェントが連携し、自己修正型のコンテンツ生成を実現しています。
   チェックの結果がFailの場合、コンテンツ生成エージェントは具体的なFail判断理由を受け取るため、修正不要な箇所を避け、問題箇所のみを的確に再生成することが可能です。結果として、表現の不適切な箇所や考慮不足が次第に抑えられていき、高品質で完成度の高いコンテンツを生成できます。
   さらに、チェックと生成のプロセスが効率化されることで、エージェントの再生成回数を削減し、運用コストや計算リソースの消費の低減も期待できます。

 発表当日の様子：金融業関係者の関心を集めたポイント

当日は金融業界のお客様も多数参加されており、ブレインパッドの発表にもご質問を多く頂きました。いただいた質問の一部を紹介します。

• 審査機能はどこまでの粒度まで可能なのか。法律のどこに抵触しているのかといった細かい観点まで審査可能なのか
• 審査の対象は、内部規定や社内マニュアルまで拡張可能なのか
• 生成AIは精度が課題だが、精度の向上に向けて工夫した点は何か

皆さま、実業務に活かす際の課題点を気にされており、拡張性や精度の工夫を説明したことでさらに興味を持っていただけました。今回のデモでは一部法令のみを対象としましたが、社内マニュアルやチェックリスト、社内規定を読み込ませることも可能です。また、精度向上には社内の審査基準を明確にすることが重要であり、今後は実際の社内マニュアルを利用して検証を進め、精度改善に必要な項目を整理していきたいと考えています。

今回の「AI Challenge Day for Financial Service」の様子は、日本マイクロソフト株式会社の金融サービスブログ（Industry Blog 金融　金融サービス Archives – マイクロソフト業界別の記事）にて動画と発表資料をご覧いただけます。（ブレインパッドの発表は34:11～）

今後の展望：他業種への展開と精度改善の可能性

本システムのさらなる発展を目指し、2つの方向性を展望として述べます。

1. 幅広い業務領域への横展開
   今回のシステムは、主に金融商品のキャンペーンコンテンツに焦点を当てて説明しましたが、今後はより幅広い業種・業務領域への横展開を見据えています。
   本システムの特徴である、ドメイン固有の規制やガイドラインに対応したチェック機能は、多様な業界での活用が期待されます。例えば、法務関連文章の精査、製造業における規格適合チェック、ヘルスケア業界の遵守事項確認など、幅広いユースケースが想定されます。
2. チェックエージェントの審査精度向上
   審査プロセスにおいては、長いリードタイムをかけてでも十分な審査精度を確保することが重要です。よって、チェックエージェントの審査結果の信頼性は、本システムの根幹といえます。生成AIの活用による効果が、不十分な審査精度に基づく“見かけ上の効率化”とならないために、審査精度の継続的な改善は必須です。
   継続的な精度改善を実現する方法として、アノテーションエージェントとの連携による仕組みづくりが考えられます。アノテーションエージェントを活用することで、ユーザーからのフィードバックを継続的に収集することができ、以下の効果が期待できます。

• 判断基準の継続的な調整と最適化
  ユーザーの運用状況に応じて、審査基準を動的にアップデートし、ドメイン固有の要求や暗黙知を反映した審査が可能になります。
• 誤判定パターンの特定と修正
  ユーザーからのフィードバックに基づき、チェックエージェントが過去に誤判定したケースを特定・分析することで、同様のエラーを防止します。

私たちは、多様な業界や業務への横展開とチェックエージェントの信頼性向上という技術の深堀の両軸で取り組みを続けることで、コンテンツ作成プロセスの高度な効率化を実現し、ひいてはユーザーが戦略的な意思決定に注力できる環境づくりを目指します。