特許ウォッチ

公開番号2025013004
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023116254
出願日2023-07-14
発明の名称疾患予測根拠表示方法及びプログラム
出願人富士通株式会社
代理人弁理士法人太陽国際特許事務所
主分類G16H 50/70 20180101AFI20250117BHJP(特定の用途分野に特に適合した情報通信技術)
要約【課題】検査値と検査画像とを用いた疾患予測において、予測の根拠を容易に確認可能にする。
【解決手段】疾患予測根拠表示装置は、複数の検査項目の各々の検査値と検査画像とを入力として疾患を予測する機械学習モデルであって、検査値の特徴と検査画像の特徴との相関に基づいて検査値の特徴と検査画像の特徴とを融合する融合層を有する機械学習モデルに、複数の検査項目の各々の検査値と検査画像とを入力して疾患を予測し、予測に寄与した融合層のノードからの勾配の逆伝播により、予測の根拠となる検査項目のそれぞれについて、検査項目と相関し、予測の根拠となる検査画像上の領域を特定し、予測の根拠となり、互いに相関する検査項目と領域とを対応付けて表示する。
【選択図】図12
特許請求の範囲【請求項１】
複数の検査項目の各々の検査値と検査画像とを入力として疾患を予測する機械学習モデルであって、前記検査値の特徴と前記検査画像の特徴との相関に基づいて前記検査値の特徴と前記検査画像の特徴とを融合する融合層を有する前記機械学習モデルに、複数の検査項目の各々の検査値と検査画像とを入力して疾患を予測し、
予測に寄与した前記融合層のノードからの勾配の逆伝播により、予測の根拠となる前記検査項目のそれぞれについて、前記検査項目と相関し、予測の根拠となる前記検査画像上の領域を特定し、
予測の根拠となり、互いに相関する前記検査項目と前記領域とを対応付けて表示する、
ことを含む処理をコンピュータが実行する疾患予測根拠表示方法。
続きを表示（約 1,200 文字）【請求項２】
前記機械学習モデルは、前記複数の検査項目についての特徴マップに相当する第１部分と、前記検査画像についての特徴マップに相当する第２部分とを含む特徴マップ層を有し、
前記融合層のノードから前記特徴マップ層への勾配の逆伝播により前記第１部分で得られる値と前記第２部分で得られる値とに基づいて、前記領域を特定するための指標を算出する、
請求項１に記載の疾患予測根拠表示方法。
【請求項３】
前記機械学習モデルにおける出力層からの勾配の逆伝播により、予測への寄与度が高い所定個の検査項目を特定し、所定個の前記検査項目について、前記指標を算出する請求項２に記載の疾患予測根拠表示方法。
【請求項４】
前記指標は、前記予測に寄与した前記融合層のノードの寄与度と、前記第１部分で得られる値のうち、算出対象の検査項目についての値と、前記第２部分で得られる値とを乗算した値の、前記予測に寄与した前記融合層のノード数分の和である請求項３に記載の疾患予測根拠表示方法。
【請求項５】
前記所定個の検査項目と、前記検査画像とを表示し、
前記所定個の検査項目のいずれかに対する選択に応じて、選択された前記検査項目と相関する前記領域を前記検査画像上に表示する、
請求項３又は請求項４に記載の疾患予測根拠表示方法。
【請求項６】
前記予測に寄与した前記融合層のノードは、前記ノードからの出力値と前記ノードの重みとを掛け合わせた値に基づいて算出される寄与度が上位所定個のノード、又は前記寄与度が所定値以上のノードである請求項１～請求項４のいずれか１項に記載の疾患予測根拠表示方法。
【請求項７】
複数の検査項目の各々の検査値と検査画像とを入力として疾患を予測する機械学習モデルであって、前記検査値の特徴と前記検査画像の特徴との相関に基づいて前記検査値の特徴と前記検査画像の特徴とを融合する融合層を有する前記機械学習モデルに、複数の検査項目の各々の検査値と検査画像とを入力して疾患を予測し、
予測に寄与した前記融合層のノードからの勾配の逆伝播により、予測の根拠となる前記検査項目のそれぞれについて、前記検査項目と相関し、予測の根拠となる前記検査画像上の領域を特定し、
予測の根拠となり、互いに相関する前記検査項目と前記領域とを対応付けて表示する、
ことを含む処理をコンピュータに実行させるための疾患予測根拠表示プログラム。
【請求項８】
複数の検査項目の各々の検査値と検査画像とに基づいて予測された疾患について、予測の根拠となる前記検査項目と、前記検査画像とを表示し、
前記検査項目のいずれかに対する選択に応じて、選択された前記検査項目と相関し、予測の根拠となる前記検査画像上の領域を前記検査画像上に表示する、
疾患予測根拠表示方法。

発明の詳細な説明【技術分野】
【０００１】
開示の技術は、疾患予測根拠表示方法及び疾患予測根拠表示プログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
近年、医療分野において医師の診断を支援するために、機械学習モデルを用いて、ＣＴ（Computed Tomography）、ＭＲＩ（Magnetic Resonance Imaging）等の検査画像から疾患を自動で予測する技術が提案されている。さらに、機械学習モデルで検査画像から疾患を予測する場合に、検査画像上のどの領域が予測の根拠になったかを、検査画像上にヒートマップ等で示す技術も提案されている。このように、機械学習モデルの予測結果の妥当性をヒートマップ等から判断できれば、医師は機械学習モデルの予測結果を参考にしてよいかどうかを判断することができる。
【０００３】
例えば、磁気共鳴画像化システムを用いた心臓のセグメンテーションのための方法であって、磁気共鳴画像化システムを使用して患者の心臓を長期間にわたってスキャンする方法が提案されている。この方法は、長短期記憶ネットワークを備えた畳み込みネットワークである機械学習ネットワークによって、スキャンデータ上で心臓を示す領域を検出し、検出された心臓を示す領域の関数である情報を含む画像を生成する。
【０００４】
また、医用画像の自動分類において分類に寄与した領域を観察者が把握し得る医用画像処理装置が提案されている。この装置は、生体を撮像して生成された撮像画像を取得し、撮像画像を二つ以上のクラスに分類し、分類対象の撮像画像における分類に寄与した領域の位置を可視化した領域画像を生成して、表示装置へ送信する。
【先行技術文献】
【特許文献】
【０００５】
米国特許出願公開第２０１９／２２３７２５号
国際公開第２０２０／０１２８７２号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
医師が疾患を判断する際、ＣＴ、ＭＲＩ等の検査画像だけでなく、血液検査等の検査値を見て総合的に判断する。従来技術では、検査画像上で、疾患の予測に寄与した領域を予測の根拠として示すことはできるが、検査画像以外の検査項目も含めた総合的判断の観点から、機械学習モデルによる予測の根拠を容易に確認することができない場合がある。
【０００７】
一つの側面として、開示の技術は、検査値と検査画像とを用いた疾患予測において、予測の根拠を容易に確認可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
一つの態様として、開示の技術は、機械学習モデルに、複数の検査項目の各々の検査値と検査画像とを入力して疾患を予測する。機械学習モデルは、複数の検査項目の各々の検査値と検査画像とを入力として疾患を予測する機械学習モデルであって、前記検査値の特徴と前記検査画像の特徴との相関に基づいて前記検査値の特徴と前記検査画像の特徴とを融合する融合層を有する。また、開示の技術は、前記予測に寄与した前記融合層のノードからの勾配の逆伝播により、予測の根拠となる前記検査項目のそれぞれについて、前記検査項目と相関し、予測の根拠となる前記検査画像上の領域を特定する。そして、開示の技術は、予測の根拠となり、互いに相関する前記検査項目と前記領域とを対応付けて表示する。
【発明の効果】
【０００９】
一つの側面として、検査値と検査画像とを用いた疾患予測において、予測の根拠を容易に確認可能にすることができる、という効果を有する。
【図面の簡単な説明】
【００１０】
疾患と現象との関係の一例を示す図である。
検査画像に現れる現象を説明するための図である。
検査項目と現象との関係の一例を示す図である。
従来技術による予測根拠を示すヒートマップの一例を示す概略図である。
本実施形態の概略を示す図である。
疾患予測根拠表示装置の機能ブロック図である。
予測モデルの構成の一例を示す図である。
予測モデルによる疾患の予測、及び予測に寄与した検査項目の特定を説明するための図である。
検査項目ＣＡＭ及び検査画像ＣＡＭの一例を示す概略図である。
検査項目に相関する検査画像の予測根拠の算出を説明するための図である。
検査項目に相関する検査画像の予測根拠の一例を示す概略図である。
疾患予測根拠画面の画面遷移の一例を示す図である。
疾患予測根拠表示装置として機能するコンピュータの概略構成を示すブロック図である。
疾患予測根拠表示処理の一例を示すフローチャートである。
表示制御処理の一例を示すフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許