特許ウォッチ

公開番号2025034321
公報種別公開特許公報(A)
公開日2025-03-13
出願番号2023140632
出願日2023-08-31
発明の名称画像処理装置、画像処理方法及びプログラム
出願人キヤノン株式会社,キヤノンメディカルシステムズ株式会社
代理人弁理士法人虎ノ門知的財産事務所
主分類A61B 6/03 20060101AFI20250306BHJP(医学または獣医学;衛生学)
要約【課題】機械学習に基づく複数モデルを組み合わせて病変候補の領域情報を取得する推論性能を向上させること。
【解決手段】画像処理装置は、取得した医用画像データから第1の領域を表す第1の領域情報を取得し、第1の医用画像データに第1の推論モデルを適用した第1の推論結果と、医用画像データに基づく第2の医用画像データに第2の推論モデルを適用した第2の推論結果とを取得し、第1の推論結果に基づく領域および第2の推論結果に基づく領域の少なくとも一方の領域のうち、所定の条件を満たす領域を第2の領域情報として取得し、第2の領域情報は、第1の推論結果に基づく領域のうち、第1の領域と前記第1の領域外とにまたがる領域、または、第2の推論結果に基づく領域のうち、第1の領域と第1の領域外とにまたがる領域を所定の条件を満たす領域として取得する。
【選択図】図2
特許請求の範囲【請求項１】
医用画像データを取得する画像データ取得部と、
前記医用画像データに関して、第１の領域を表す第１の領域情報を取得する第１の領域情報の取得部と、
前記医用画像データに基づく第１の医用画像データに対して、第１の推論モデルを適用する第１の推論処理を実施した第１の推論結果と、前記医用画像データに基づく第２の医用画像データに対して、第２の推論モデルを適用する第２の推論処理を実施した第２の推論結果と、を取得する推論結果の取得部と、
前記第１の領域情報に基づいて、前記第１の推論結果に基づく領域および前記第２の推論結果に基づく領域の少なくとも一方の領域のうち、所定の条件を満たす領域を第２の領域情報として取得する第２の領域情報の取得部とを備える画像処理装置であって、
前記第２の領域情報の取得部は、前記第１の推論結果に基づく領域のうち、前記第１の領域と前記第１の領域外とにまたがる領域、または、前記第２の推論結果に基づく領域のうち、前記第１の領域と前記第１の領域外とにまたがる領域を前記所定の条件を満たす領域として、前記第２の領域情報を取得する、画像処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記第２の領域情報の取得部は、前記第１の推論結果に基づく領域および前記第２の推論結果に基づく領域のうち、前記第１の領域と前記第１の領域外とにまたがって存在する領域を前記所定の条件を満たす領域として、前記第２の領域情報を取得する、請求項１に記載の画像処理装置。
【請求項３】
前記第２の領域情報の取得部は、前記第１の推論結果に基づく領域のうち、前記第１の領域外のみに存在する領域、および、前記第２の推論結果に基づく領域のうち、前記第１の領域内のみに存在する領域、のうち少なくとも一方を前記所定の条件を満たさない領域として、前記第２の領域情報として取得しない、請求項１または２に記載の画像処理装置。
【請求項４】
前記第２の領域情報の取得部は、前記第１の領域と前記第１の領域外とにまたがって存在する領域が、所定の大きさ以上である場合に、該領域を前記所定の条件を満たす領域として、前記第２の領域情報を取得する、請求項１または２に記載の画像処理装置。
【請求項５】
前記第２の領域情報の取得部は、前記第１の領域と前記第１の領域外とにまたがって存在する領域に対する推論の確率が、所定の値以上である場合に、該領域を前記所定の条件を満たす領域として、前記第２の領域情報を取得する、請求項１または２に記載の画像処理装置。
【請求項６】
前記第２の領域情報の取得部は、前記第１の領域と前記第１の領域外とにまたがって存在する領域を構成する画素に対する前記推論の確率の総和が、
所定の値以上である場合に、該領域を前記所定の条件を満たす領域として、前記第２の領域情報を取得する、請求項５に記載の画像処理装置。
【請求項７】
前記第２の領域情報の取得部は、前記第１の領域情報に基づいて、前記第１の推論結果に基づく領域および前記第２の推論結果に基づく領域のうち、少なくとも一方の領域が、前記第１の領域と前記第１の領域外とにまたがるか否かを判定し、判定結果に基づいて第２の領域情報を取得する、請求項１または２に記載の画像処理装置。
【請求項８】
前記第２の領域情報の取得部は、前記第１の推論結果に基づく領域および前記第２の推論結果に基づく領域のうち少なくとも一方の領域と、前記第１の領域の境界と、の接触領域に基づいて、前記判定を行う、請求項７に記載の画像処理装置。
【請求項９】
前記第１の領域情報の取得部は、第１の領域情報取得用モデルを用いた推論によって第１の領域情報を取得し、
前記第１の推論結果に基づく領域および前記第２の推論結果に基づく領域のうち、前記第１の領域と前記第１の領域外とにまたがって存在する領域を用いて前記第１の領域情報取得用モデルの追加学習を行う追加学習部を更に備える、請求項１または２に記載の画像処理装置。
【請求項１０】
前記第１の推論結果と前記第２の領域情報の取得部による取得結果との差異情報に基づいて前記第１の推論モデルを追加学習する追加学習部をさらに有する、請求項１または２に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本明細書及び図面に開示の実施形態は、画像処理装置、画像処理方法及びプログラムに関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
医用の分野では、種々の医用画像診断装置（医用画像撮像装置、或いはモダリティとも記載する）によって取得される画像を用いた診断が行われている。また、機械学習の手法によって画像から腫瘍等の病変候補を検出することにより、診断を支援する技術が知られている。具体的には、学習済みモデル（推論モデルとも記載する）を用いた推論処理により、画像から病変候補の領域情報を取得し、取得した領域情報を診断のための参考情報として、医師等のユーザに提供することができる。
【０００３】
推論モデルによる推論処理においては、画像中の領域ごとに、推論性能が変動してしまう場合がある。例えば、画像中に体の部位が複数含まれる場合、部位ごとに腫瘍の性状の傾向が異なる場合があることから、一つの推論モデルを用いたのでは異なる性状に対応できずに推論が上手くいかないことが知られている。一方で、画像を複数個の領域に分割し、それぞれ別の推論モデルで推論して統合する手法を採用した場合（即ち、複数モデルを組み合わせた場合）、領域の境界部の推論結果の精度が低下する場合がある。
【先行技術文献】
【特許文献】
【０００４】
特開２０２１－０６９７９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、病変候補の領域情報を取得するための機械学習に基づく推論処理において、複数モデルを組み合わせた場合の推論性能を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【０００６】
実施形態に係る画像処理装置は、画像データ取得部と、第１の領域情報の取得部と、推論結果の取得部と、第２の領域情報の取得部とを備える。画像データ取得部は、医用画像データを取得する。第１の領域情報の取得部は、前記医用画像データに関して、第１の領域を表す第１の領域情報を取得する。推論結果の取得部は、前記医用画像データに基づく第１の医用画像データに対して、第１の推論モデルを適用する第１の推論処理を実施した第１の推論結果と、前記医用画像データに基づく第２の医用画像データに対して、第２の推論モデルを適用する第２の推論処理を実施した第２の推論結果とを取得する。第２の領域情報の取得部は、前記第１の領域情報に基づいて、前記第１の推論結果に基づく領域および前記第２の推論結果に基づく領域の少なくとも一方の領域のうち、所定の条件を満たす領域を第２の領域情報として取得する。更に、第２の領域情報の取得部は、前記第１の推論結果に基づく領域のうち、前記第１の領域と前記第１の領域外とにまたがる領域、または、前記第２の推論結果に基づく領域のうち、前記第１の領域と前記第１の領域外とにまたがる領域を前記所定の条件を満たす領域として、前記第２の領域情報を取得する。
【図面の簡単な説明】
【０００７】
図１は、第１の実施形態に係る画像処理装置の全体構成例を示す図である。
図２は、第１の実施形態に係る画像処理装置が行う工程の例を示すフローチャートである。
図３は、第１の実施形態に係る第１の領域情報の取得の一例を示すフローチャートである。
図４は、第１の実施形態に係る第２の領域情報の更新の一例を示すフローチャートである。
図５は、第１の実施形態に係る第１の領域と第２の領域の例である。
図６は、第１の実施形態に係る第１の領域と第２の領域の特殊な例である。
図７は、第２の実施形態に係る画像処理装置の全体構成例を示す図である。
図８は、第２の実施形態に係る画像処理装置が行う工程の例を示すフローチャートである。
図９は、第２の実施形態に係る第２の領域情報の更新の一例を示すフローチャートである。
図１０は、第２の実施形態に係る推論モデルの追加学習の一例を示すフローチャートである。
図１１は、第３の実施形態に係る画像処理装置が行う工程の例を示すフローチャートである。
図１２は、第３の実施形態に係る推論モデルの追加学習の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、添付の図面を参照して、画像処理装置、画像処理方法及びプログラムの好適な実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
【０００９】
＜第１の実施形態＞
実施形態に係る画像処理装置は、被検体（例えば、患者など）の医用画像データを入力とし、機械学習に基づく推論処理によって腫瘍やポリープ等の病変候補の領域情報（病変候補領域情報）を取得する装置である。前記画像処理装置は、頭部や肝臓や大腸等の特定部位（部分領域）に特化した推論モデル（第１の推論モデル）による第１の推論処理と、主に全身用の推論モデル（第２の推論モデル）による第２の推論処理とを実行し、これらの結果を組み合わせて病変候補の領域情報を取得する。本実施形態では処理対象の一例として医用画像について説明するが、処理対象は医用画像に限定されるものではない。
【００１０】
図１は、第１の実施形態に係る画像処理装置１０の構成の一例を示す図である。図１に示すように、画像処理装置１０は、処理回路１１と、通信インターフェース１２と、記憶回路１３と、ディスプレイ１４と、入力インターフェース１５と、接続部１６とを有している。また、画像処理装置１０は、図示しないネットワークを介して、医用画像診断装置（モダリティ）や、医用画像保管装置、各部門システム等に通信可能に接続されている。
（【００１１】以降は省略されています）

関連特許