特許ウォッチ

公開番号2025114522
公報種別公開特許公報(A)
公開日2025-08-05
出願番号2025010780
出願日2025-01-24
発明の名称方法、装置、及び記憶媒体
出願人ザブリガムアンドウィメンズホスピタルインコーポレイテッド,The Brigham and Women’s Hospital, Inc.,キヤノンメディカルシステムズ株式会社
代理人弁理士法人酒井国際特許事務所
主分類G16H 30/00 20180101AFI20250729BHJP(特定の用途分野に特に適合した情報通信技術)
要約【課題】正確な診断を目的として、機械学習を用いて複数のモダリティのデータを融合することに関する方法、装置及び記憶媒体を提供する。
【解決手段】方法は、画像モダリティのデータとバイオマーカーモダリティのデータを含む複数のモダリティのデータを取得すること、1つ以上の学習済み機械学習モデルを取得すること、前記複数のモダリティのデータから、前記画像モダリティと前記バイオマーカーモダリティの内の少なくとも一方のデータを含む第1のマルチモダリティ群を生成すること、中間データ群を生成することおよび少なくとも前記中間データ群に基づいて第1の分類結果を生成することを含む。
【選択図】図2
特許請求の範囲【請求項１】
画像モダリティのデータとバイオマーカーモダリティのデータを含む複数のモダリティのデータを取得すること、
１つ以上の学習済み機械学習モデルを取得すること、
前記複数のモダリティのデータから、前記画像モダリティのデータと前記バイオマーカーモダリティのデータの内の少なくとも一方を含む第１のマルチモダリティ群を生成すること、
中間データ群を生成すること、該中間データ群を生成することは、第１のマルチモダリティ群を、入力されたマルチモダリティデータから特徴を抽出し、該特徴を中間データとして出力するように訓練された第１の機械学習モデルに入力することを含み、
少なくとも前記中間データ群に基づいて第１の分類結果を生成すること、を備え、該第１の分類結果を生成することは、少なくとも前記中間データ群を、少なくとも前記中間データ群に基づき分類結果を出力するように訓練された第２の機械学習モデルに入力することを含む、
方法。
続きを表示（約 1,500 文字）【請求項２】
前記画像モダリティのデータは、以下の内の１つ以上を規定するデータを含む、
・Ｘ線画像
・コンピュータ断層画像
・磁気共鳴撮像画像
・Ｘ線透視画像
・超音波画像
・ポジトロン放出断層画像
請求項１に記載の方法。
【請求項３】
前記第１のマルチモダリティ群を生成することは、前記複数のモダリティのデータと１つ以上のグループ分類基準に基づいて、前記複数のモダリティのデータを前記第１のマルチモダリティ群および１つ以上の他の群に分類することを含む、
請求項１に記載の方法。
【請求項４】
前記グループ分類基準は、データ形式およびデータ間の相関度の内の少なくとも一方に関連する、
請求項３に記載の方法。
【請求項５】
前記複数のモダリティのデータは、テキストモダリティのデータをさらに含む、
請求項１に記載の方法。
【請求項６】
前記第１の分類結果を生成することは、単一モダリティデータ群を前記中間データ群とともに前記第２の機械学習モデルに入力することをさらに含み、
前記第２の機械学習モデルは、さらに前記単一モダリティデータ群に基づき分類結果を出力するように訓練されている、
請求項１に記載の方法。
【請求項７】
前記複数のモダリティのデータから、単一モダリティデータ群に基づき第２の分類結果を生成することをさらに備え、
前記第２の分類結果を生成することは、前記単一モダリティデータ群を、前記単一モダリティデータ群に基づき分類結果を出力するように訓練された第３の機械学習モデルに入力することを含む、
請求項１に記載の方法。
【請求項８】
前記第１の分類結果と前記第２の分類結果に基づき第３の分類結果を生成すること、をさらに備える、
請求項７に記載の方法。
【請求項９】
前記第３の分類結果は、以下の内の１つ以上を示す、
・腫瘍の良性または悪性
・腫瘍の侵襲性癌または非侵襲性癌
・癌のルミナルタイプ、Ｈｅｒ２－ｅｎｒｉｃｈｅｄタイプ、またはトリプルネガティブ乳がんサブタイプ、
請求項８に記載の方法。
【請求項１０】
１つ以上のプロセッサ、と
１つ以上のメモリと、を備える装置であって、
前記１つ以上のプロセッサと前記１つ以上のメモリは、
画像モダリティのデータとバイオマーカーモダリティのデータを含む複数のモダリティのデータを取得し、
１つ以上の学習済み機械学習モデルを取得し、
前記複数のモダリティのデータから、前記画像モダリティのデータと前記バイオマーカーモダリティのデータの内の少なくとも一方を含む第１のマルチモダリティ群を生成し、
中間データ群を生成し、該中間データ群を生成することは、第１のマルチモダリティ群を、入力されたマルチモダリティデータから特徴を抽出し、該特徴を中間データとして出力するように訓練された第１の機械学習モデルに入力することを含み、
少なくとも前記中間データ群に基づいて第１の分類結果を生成するように構成され、
第１の分類結果を生成することは、少なくとも前記中間データ群を、少なくとも前記中間データ群に基づき分類結果を出力するように訓練された第２の機械学習モデルに入力することを含む、
装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本明細書に開示される実施形態は、一般に、正確な診断を目的として、機械学習を用いて複数のモダリティのデータを融合することに関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
医用撮像によって、患者の体内の部位などの物体の内部構造物の画像を作成（例えば、再構成）することができる。例えば、断層撮像（ｃｏｍｐｕｔｅｄｔｏｍｏｇｒａｐｈｙ：ＣＴ）スキャンは、異なる角度で撮影された物体の複数のＸ線画像を用いて該物体内部のボリューム画像を再構成する。
【０００３】
また、リキッドバイオプシーは、患者の血液中を循環する生物学的分析物を解析する。例えば、あるリキッドバイオプシーは、蛋白質、ＤＮＡ、ＲＮＡ等のバイオマーカーを解析する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、診断などの分類精度を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【０００５】
実施形態に係る方法は、画像モダリティのデータとバイオマーカーモダリティのデータを含む複数のモダリティのデータを取得すること、１つ以上の学習済み機械学習モデルを取得すること、前記複数のモダリティのデータから、前記画像モダリティのデータと前記バイオマーカーモダリティのデータの内の少なくとも一方を含む第１のマルチモダリティ群を生成すること、中間データ群を生成すること、および少なくとも前記中間データ群に基づいて第１の分類結果を生成することを備える。該中間データ群を生成することは、第１のマルチモダリティ群を、入力されたマルチモダリティデータから特徴を抽出し、該特徴を中間データとして出力するように訓練された第１の機械学習モデルに入力すること含む。該第１の分類結果を生成することは、少なくとも前記中間データ群を、少なくとも前記中間データ群に基づき分類結果を出力するように訓練された第２の機械学習モデルに入力することを含む。
【図面の簡単な説明】
【０００６】
図１は、医用データ処理システムの例示的な実施形態を示す図である。
図２は、複数モダリティのデータの分類結果を生成する動作フローの例示的な実施形態を示す図である。
図３は、複数モダリティのデータから分類結果を生成する動作フローの例示的な実施形態を示す図である。
図４は、複数モダリティのデータから分類結果を生成する動作フローの例示的な実施形態を示す図である。
図５Ａは、複数のモダリティからのデータのグループ分類によって形成されるマルチモダリティ群とマルチモダリティ群に未統合の単一モダリティ群を例示する図である。
図５Ｂは、グループ内／モダリティ間相関度の低いデータを削除した後の図５Ａのマルチモダリティ群を示す図である。
図５Ｃは、図５Ｂのマルチモダリティ群に対し中間融合の一部が実行された後の中間データ群と単一モダリティ群を示す図である。
図５Ｄは、グループ内相関度の高い中間データ群と単一モダリティ群を高相関度群に再統合した後の図５Ｃの中間データ群と単一モダリティ群を示す図である。
図５Ｅは、図５Ｄの高相関度群と中間データ群に基づき生成された第１の分類結果および単一モダリティ群を示す図である。
図５Ｆは、図５Ｄの高相関度群と中間データ群に基づき生成された初期の分類結果、および末期融合フラッグを付加された図５Ｅの単一モダリティ群に基づき生成された第１の分類結果を示す図である。
図６は、複数のモダリティのデータのグループ分類と融合の例示的な実施形態を示す図である。
図７は、複数のモダリティのデータのグループ分類と融合の例示的な実施形態を示す図である。
図８は、データ処理装置によって実行されるマルチモーダルデータ処理手順における情報の流れを示す図である。
図９は、ニューラルネットワークの例示的な実施形態を示す図である。
図１０は、畳み込みニューラルネットワーク（ＣＮＮ）の例示的な実施形態を示す図である。
図１１は、一実施形態に係る畳み込み層の一つのニューロンノードについて畳み込み層を実現する例を示す図である。
図１２は、複数のモダリティのデータから分類結果を生成する方法における情報の流れを示す図である。
図１３は、複数のモダリティのデータから分類結果を生成する動作フローの例示的な実施形態を示す図である。
図１４は、複数のモダリティのデータから分類結果を生成する動作フローの例示的な実施形態を示す図である。
図１５は、図１４のブロックＢ１４２０－Ｂ１４３０を代替可能な動作の例示的な実施形態を示す図である。
図１６は、データ処理装置の例示的な実施形態を示す図である。
図１７は、データ処理装置の例示的な実施形態の機能構成を示す図である。
【発明を実施するための形態】
【０００７】
以下の段落に、説明のため、複数の実施形態を記載する。その他の実施形態は、代替、等価物、変形を含み得る。さらに、この説明のための実施形態は、いくつかの新規の特徴を含み得るが、一つの特定の特徴が、本明細書に記載される装置、システム、方法の実施形態に必須とは限らない。また、ある実施形態は、以下に説明する実施形態の内の２つ以上の特徴を含む。すなわち、様々な実施形態の特徴は適宜組み合わせや代替が可能である。
【０００８】
また、本明細書に記載される接続詞「または」は、概ね包含的な「または」を意味するが、排他的な意であることが明示される場合や文脈から示唆される場合は、排他的な「または」を意味する。
【０００９】
また、本明細書に用いられる「第１の」、「第２の」…などの用語は、順番、順序、優先順位などの関係を必ずしも意味するものではない。これらの用語は、順番、順序、優先順位などの関係を表わさずに、一つの部材、動作、要素、群、集合、セット、領域、セクションなどを別のものからより明確に区別するために用いられる。すなわち、以下に記述される第１の部材、動作、要素、群、集合、セット、領域、セクションなどは、本明細書の教示から逸脱することなく、第２の部材、動作、要素、群、集合、セット、領域、セクションなどと称され得る。
【００１０】
また、以下の説明および図面において、同様な参照符号は、複数の図を通して同一または等価の部材を示す。
（【００１１】以降は省略されています）

関連特許