マルチモーダルAI×歯科医療〜産学連携の取り組み成果をViEW2024で発表 

Vision Engineering Workshop 2024とは 

今回発表したViEW 2024は精密工学会 画像応用技術専門委員会が主催している画像認識に関する応用技術をテーマとした学会で、先進的な画像認識技術の実応用に関する研究が多く発表される場となっています。
【参考】
ViEW 2024：https://www.tc-iaip.org/view/2024/index.html

今回はパシフィコ横浜にて12月5日～6日の2日間開催となり、延べ100件以上のオーラルセッションとポスターセッション、特別講演が行われました。

私は自分の発表を行う12月6日に現地を訪れましたが、多くの研究関係者、企業関係者などの参加者で賑わっており、画像認識技術の実応用に関する関心の高さが伺えました。

また、自身の発表前に会場に掲示されていたポスターなどを見ていて、技術を応用するスピード感を肌身で感じることができました。学生の発表も多かったのですが企業の発表も多く、実証実験に取り組んでいたり、実際に開発しているデバイスを展示していたりと様々な立場から多くの成果が発表されており、最新のトレンドを学ぶことができました。

発表までの経緯

そもそも、なぜブレインパッドが昭和大学歯科病院の先生方との共同研究成果を学会発表するに至ったのか。

まず、このプロジェクトについて簡単に概要を紹介したいと思います。

本プロジェクトは、昭和大学歯科病院の中納先生の知り合いであった弊社社員が中納先生の課題感をお聞きしたことから始動したプロジェクトで、ブレインパッドとしても珍しいヘルスケア領域かつ共同研究という形態でのチャレンジングなプロジェクトとして実施しています。

本プロジェクトにおける役回りとしては、ブレインパッドが主に分析面を担当し、先生方には歯科データの抽出やラベリングなど臨床データ面でのご協力をお願いしており、互いに各々の専門知識を活かせるような形で共同研究を進めています。

この共同研究を通じて、歯科領域という専門性の高い領域における分析能力の向上を図ります。また、それだけでなく、産学連携の強みを活かして、学会発表や論文投稿などを通して中長期的に深い学びを継続し、双方の専門分野に関する知見をさらに深める機会としたいと考えています。

そして今回、進めていた分析について一定の結論を得ることができたため、この度ViEW2024にて発表しました。

発表内容の概要

私たちが今回発表したのは基盤モデルを活用した不正咬合の分類という研究テーマです。

近年歯科業界では人工知能技術を用いたDXが進んでいますが、データ整備が進んでいない場合が多く、デジタル技術の活用にあたって課題となっています。

そこでVLMやマルチモーダルAIを用いて、口腔内を撮影した画像を元に歯の不正咬合（かみ合わせの悪さ）の種類を分類することで、追加データを用意せずとも矯正歯科分野に不慣れな歯科医のサポートを行うモデルが作成できるかを検証するというのが本研究の目的になります。

研究の全体像は、下記のポスターを見ると分かりやすいと思います。

発表の様子

ポスター発表は私自身で行いました。

発表を通じて、参加者の方と様々なディスカッションを交わしました。特にファインチューニング^※2に関する質問が多く話題にあがりました。

※2　ファインチューニング：元々学習されているモデルに対して、追加でデータを学習させることでタスクに応じてモデルのパラメータを調整し、よりタスクに特化した出力ができるようにする技術

今回の研究ではテスト用のデータ数が90件と限られていたこともあり、チューニングなどをほとんどしない軽めの検証にとどまりましたが、精度を追求する上でファインチューニングは確かに有用な改善策だと考えられます。

現在、昭和大学の先生方に協力いただきながらアノテーション^※3済みデータの収集を進めており、今後1,000枚程度のデータを用いて検証を進めていく予定です。

※3　アノテーション：データに何かしらの情報を付与すること。機械学習においては、分類等に必要となるラベル情報を付与することが多い。

また、オンライン参加者向けのインタビューも実施され、マイクを持ちながらカメラに向かってインタビュアーの方の質問に答えるということも行いました。

インタビューについては経験のない方式だったためかなり緊張しましたが、マルチモーダルモデルの実応用にあたって示唆ある質問をいただき、意義あるディスカッションになったと感じています。

他の発表の様子

この日はオーラルセッションとポスターセッションの両方が企画されており、午前中にオーラルセッションが進行し、午後にポスターセッションが進行するという流れでした。

多くの参加者がポスター発表に耳を傾けており、積極的に意見交換している様子が見受けられました。

全体的にマルチモーダルモデル関連の研究が予想よりも多く、マルチモーダルモデルの画像認識領域への応用に対する関心がかなり高まっていることを強く感じました。データサイエンスに取り組む者として今後しっかり押さえていきたいと改めて強く感じさせられました。

私は学生時代には情報系の応用分野を勉強していたので、今回のような応用系の学会に参加していたこともあるのですが、今は企業人としてその時とは違うビジネスのスピード感という観点で見ることができ、いい経験になりました。

昭和大学の先生方の反応

今回の発表には、昭和大学の先生方にもご参加いただきました。

先生方から今回の発表についての感想をいただいているので、こちらで紹介させていただきます。

中納先生

医歯学分野の技術発展には、医工連携や産学官連携が不可欠であり、特にデータサイエンティストの役割が重要です。

近年、歯並びや咬合が将来の健康寿命の延伸に影響を与えることが報告されています。しかし、一般の方々には「不正咬合」の具体的な内容が十分に知られていないのが現状です。この課題を解決するためには、自身が不正咬合かどうかを判断できるサポートシステムの提供が求められます。

昭和大学には年間1,000人以上の初診相談患者が来院しており、その検査データを個人情報に十分配慮しながら、医工連携や産学官連携を通じて有効活用することで、国民の健康増進に貢献できると考えています。

芳賀先生

これまで共同研究として進めてきたプロジェクトの一部を今回発表することができ、まずは嬉しく思います。またViEW2024に参加し、専門とは異なる領域を学ぶ良い機会となりました。医療分野においてIT化が益々進む中で、産学連携の強みを活かした「歯科診療の課題解決」や「歯学教育における情報・科学技術の涵養」に引き続き取り組んでいきたいと思います。

関先生

ViEW2024では画像認識技術を応用した様々な分野に触れることができ貴重な経験となりました。歯科と連携した発表は他にはなく本研究は新規的であることを実感しました。密なミーティングを通してブレインパッドの皆様と試行錯誤を重ねて今回の発表に繋がったことを大変嬉しく思います。今後はデータ数を増やし、より精度の高い内容を発表できればと考えております。

まとめ

今回、ViEW2024にて発表させていただいたレポートをお伝えしました。

研究成果を報告するというのは久しぶりの機会だったため、やや緊張しましたが、ディスカッションや他の方の発表を聞いて多くの知見を得られた有意義な経験となりました。

また、この共同研究を通して、プロジェクトに関わっていた弊社の藤本と鵜飼が昭和大学の客員講師として歯学部の学生向けに講義を行う運びとなりました。研究以外での産学連携の形として、昭和大学の歯学部学生に弊社のデータ分析のナレッジを提供できるというのは非常に喜ばしい機会だと捉えており、この講義を通じて「歯学×データ分析」という新しい学際的な領域を築く第一歩としたいです。

今後ともブレインパッドでは、ヘルスケアなどさまざまな領域にて生成AIやLLMの業務への利活用を推進してまいります。

ご興味のある方はぜひ弊社までお問い合わせください。