特許ウォッチ

公開番号2025003425
公報種別公開特許公報(A)
公開日2025-01-09
出願番号2024100869
出願日2024-06-21
発明の名称画像処理装置、画像処理方法及びプログラム
出願人キヤノンメディカルシステムズ株式会社
代理人弁理士法人虎ノ門知的財産事務所
主分類A61B 6/03 20060101AFI20241226BHJP(医学または獣医学;衛生学)
要約【課題】弁全体と局所のセグメンテーション精度を向上させること。
【解決手段】実施形態の画像処理装置は、取得部と、訓練部と、画像処理部とを備える。取得部は、弁を含む医用画像から、弁の特徴点領域マスク、弁の幾何学的形態情報、弁の輪郭情報、及び、弁の領域情報のうちの少なくとも1つを含む弁の解剖学的構造情報を取得する。訓練部は、解剖学的構造情報に基づいて、解剖学的構造情報の重みを含む損失関数及びこの損失関数における解剖学的構造情報の重みを設定し、この損失関数によって、弁をセグメンテーションするためのセグメンテーションネットワークを訓練する。画像処理部は、訓練済みのセグメンテーションネットワークを用いて、弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する。
【選択図】図14
特許請求の範囲【請求項１】
弁を含む医用画像から、前記弁の特徴点領域マスク、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む前記弁の解剖学的構造情報を取得する取得部と、
前記解剖学的構造情報に基づいて、前記解剖学的構造情報の重みを含む損失関数及び前記損失関数における解剖学的構造情報の重みを設定し、前記損失関数によって、前記弁をセグメンテーションするためのセグメンテーションネットワークを訓練する訓練部と、
訓練済みのセグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する画像処理部と、
を備える、画像処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記取得部は、利用者が前記医用画像に付した特徴点ラベル、弁ラベル及び血管ラベルのうちの少なくとも１つのラベルを前処理することにより、前記解剖学的構造情報を取得する、請求項１に記載の画像処理装置。
【請求項３】
前記解剖学的構造情報に対応する損失関数は、ＣＥ損失関数とＤＩＣＥ損失関数である、請求項１に記載の画像処理装置。
【請求項４】
前記解剖学的構造情報において、前記特徴点領域マスクは、前記弁における特徴点座標から生成され、前記幾何学的形態情報は、前記弁の中心面を抽出することにより生成され、前記輪郭情報は、前記弁ラベルと前記血管ラベルとの交線を抽出することにより生成されるか、又は前記弁における特徴点座標と前記血管ラベルとのフィッティングにより生成され、前記領域情報は、前記弁ラベルと前記血管ラベルとから生成される、請求項２に記載の画像処理装置。
【請求項５】
弁を含む医用画像から、前記弁の特徴点ヒートマップ、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む前記弁の解剖学的構造情報を取得する取得部と、
前記解剖学的構造情報に基づいて、前記解剖学的構造情報に含まれる前記弁の特徴点ヒートマップ、前記幾何学的形態情報、前記輪郭情報及び前記領域情報のうちの少なくとも１つと前記弁の領域とを含む損失関数を設定し、前記損失関数によって、予測された前記解剖学的構造情報に含まれる前記弁の特徴点ヒートマップ、前記幾何学的形態情報、前記輪郭情報及び前記領域情報のうちの少なくとも１つと前記弁の領域とを出力する複数の出力ブランチを有するセグメンテーションネットワークを訓練する訓練部と、
訓練済みのセグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、予測された弁の領域と解剖学的構造情報とを生成する画像処理部と、
を備える、画像処理装置。
【請求項６】
前記画像処理部は、前記セグメンテーションネットワークが出力した弁の領域及び解剖学的構造情報を用いて、弁のセグメンテーション結果に関する後処理を最適化する、請求項５に記載の画像処理装置。
【請求項７】
前記損失関数は、前記解剖学的構造情報の重みをさらに含み、
前記訓練部は、前記損失関数における前記解剖学的構造情報の重みをさらに設定する、請求項５に記載の画像処理装置。
【請求項８】
前記訓練部は、回帰損失関数としてのＭＳＥを用いて、前記セグメンテーションネットワークの前記特徴点ヒートマップを出力するためのブランチを訓練する、請求項５に記載の画像処理装置。
【請求項９】
前記幾何学的形態情報、前記輪郭情報、前記領域情報及び前記弁の領域に対応する損失関数は、ＣＥ損失関数とＤＩＣＥ損失関数であり、
前記訓練部は、前記ＣＥ損失関数と前記ＤＩＣＥ損失関数とを用いて、前記セグメンテーションネットワークの前記幾何学的形態情報、前記輪郭情報、前記領域情報及び前記弁の領域を出力するためのブランチを訓練する、請求項５に記載の画像処理装置。
【請求項１０】
前記取得部は、利用者が前記医用画像に付した特徴点ラベル、弁ラベル及び血管ラベルのうちの少なくとも１つのラベルを前処理することにより、前記解剖学的構造情報を取得する、請求項５に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本明細書及び図面に開示の実施形態は、画像処理装置、画像処理方法及びプログラムに関する。
続きを表示（約 4,400 文字）【背景技術】
【０００２】
従来から、術前ＣＴスキャンの画像における大動脈弁などの弁の領域を特定する画像セグメンテーション処理の技術が知られている。画像セグメンテーション処理を用いることにより、弁の形態をよりよく分析し、より正確な定量指標を取得し、手術の計画や治療効果の評価をよりよく行うことができる。例えば、経カテーテル大動脈弁留置術（ＴＡＶＩ）に対する治療計画では、治療対象の患者の術前ＣＴ画像に対して画像セグメンテーション技術を適用することにより大動脈弁の領域を特定し、当該大動脈弁の領域から大動脈弁の形態に関する情報に基づいて治療対象の患者に適したサイズ等の形態の人工弁を提供することができる。
【０００３】
また、医用画像に対するセグメンテーション処理において、深層学習等の機械学習技術は最も有効な手段の１つであり、その優れた性能のため、広く使用されている。
【０００４】
従来の深層学習に基づくセグメンテーション処理においては、医用画像における弁の領域に関して直接学習するものの、弁自体の固有の情報や、弁と弁の間及び／又は弁と血管の間の解剖学的関係の情報等の学習は困難であるため、セグメンテーション処理の結果と解剖学的知識に基づく解剖学的構造情報（以下、「解剖学的構造アプリオリ」という場合がある）とは一致しない場合がある。大動脈弁における解剖学的構造情報の例としては、（１）各弁のNadir点やCommissure点は弁上に位置する；（２）弁は薄膜状構造であり、通常は穴がない；（３）弁は血管壁に接しており、かつ交差箇所は連続的な曲線である；（４）各弁は血管内部の領域を分割し、これらの領域は相互に排他的な関係を持つ、等がある。しかしながら、従来の深層学習に基づくセグメンテーション処理により取得される弁領域の予測結果は、上記の臨床解剖学的構造情報と一致せず、例えば、図１Ａに示すように、予測された弁と弁の特徴点とが一致せず、また、予測された弁に穴があり、形態が間違っている場合がある。また、図１Ｂに示すように、予測された弁と実際の血管との交差箇所が離散的となる又は接していない場合がある。また、図１Ｃに示すように、予測された１つの弁の領域が別の弁の領域に侵入している場合がある。
【先行技術文献】
【特許文献】
【０００５】
中国特許第１０７２９２８８７号明細書
米国特許第１０６００１８５号明細書
【非特許文献】
【０００６】
Attention-Guided Decoder in Dilated Residual Network for Accurate Aortic Valve Segmentation in 3D CT Scans（Author: Fan, B., Tomii, N., Tsukihara, H., Maeda, E., Yamauchi, H., Nawata, K., ... & Ono, M. Published on Machine Learning and Medical Engineering for Cardiovascular Health and Intravascular Imaging and Computer Assisted Stenting: First International Workshop, MLMECH 2019, and 8th Joint International Workshop, CVII-STENT 2019, Held in Conjunction with MICCAI 2019, Shenzhen, China, October 13, 2019, Proceedings 1 (pp. 121-129). Springer International Publishing.）
Semi-supervised Segmentation of Liver Using Adversarial Learning with Deep Atlas Prior（Author: Zheng, H., Lin, L., Hu, H., Zhang, Q., Chen, Q., Iwamoto, Y., ... & Wu, J. Published on Medical Image Computing and Computer Assisted Intervention-MICCAI 2019: 22nd International Conference, Shenzhen, China, October 13-17, 2019, Proceedings, Part VI 22 (pp. 148-156). Springer International Publishing.）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、弁全体と局所のセグメンテーション精度を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【０００８】
実施形態の画像処理装置は、取得部と、訓練部と、画像処理部とを備える。取得部は、弁を含む医用画像から、弁の特徴点領域マスク、弁の幾何学的形態情報、弁の輪郭情報、及び、弁の領域情報のうちの少なくとも１つを含む弁の解剖学的構造情報を取得する。訓練部は、解剖学的構造情報に基づいて、解剖学的構造情報の重みを含む損失関数及びこの損失関数における解剖学的構造情報の重みを設定し、この損失関数によって、弁をセグメンテーションするためのセグメンテーションネットワークを訓練する。画像処理部は、訓練済みのセグメンテーションネットワークを用いて、弁を含む医画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する。
【図面の簡単な説明】
【０００９】
図１Ａは、従来技術によって予測された弁の一例を示す模式図である。
図１Ｂは、従来技術によって予測された弁の他の例を示す模式図である。
図１Ｃは、従来技術によって予測された弁の他の例を示す模式図である。
図２Ａは、実施形態に係る弁のセグメンテーションネットワークの訓練（学習）プロセスを説明するためのフローチャートである。
図２Ｂは、実施形態に係る弁のセグメンテーションネットワークの推論プロセスを説明するためのフローチャートである。
図３Ａは、実施例１に係る弁のセグメンテーションネットワークの訓練プロセスを説明するためのフローチャートである。
図３Ｂは、実施例１に係る弁のセグメンテーションネットワークの推論プロセスを説明するためのフローチャートである。
図４Ａは、実施例１において、ステップＳ４００での処理において抽出された特徴点領域マスクの一例を示す図である。
図４Ｂは、実施例１において、ステップＳ４００での処理において抽出された幾何学的形態情報の一例を示す図である。
図４Ｃは、実施例１において、ステップＳ４００での処理において抽出された輪郭情報の一例を示す図である。
図４Ｄは、実施例１において、ステップＳ４００での処理において抽出された領域情報の一例を示す図である。
図５は、実施例１に係る弁のセグメンテーションネットワークを訓練する処理の一例を説明するための模式図である。
図６Ａは、実施例２に係る弁のセグメンテーションネットワークの訓練プロセスを説明するためのフローチャートである。
図６Ｂは、実施例２に係る弁のセグメンテーションネットワークの推論プロセスを説明するためのフローチャートである。
図７は、実施例２に係る弁の特徴点ヒートマップの一例を示す図である。
図８は、実施例２に係る弁のセグメンテーションネットワークを訓練する処理の一例を説明するための模式図である。
図９Ａは、実施例３に係る弁のセグメンテーションネットワークの訓練プロセスを説明するためのフローチャートである。
図９Ｂは、実施例３に係る弁のセグメンテーションネットワークの推論プロセスを説明するためのフローチャートである。
図１０は、実施例３に係る弁のセグメンテーションネットワークを訓練する処理の一例を説明するための模式図である。
図１１Ａは、実施例４に係る弁のセグメンテーションネットワークの訓練プロセスを説明するためのフローチャートである。
図１１Ｂは、実施例４に係る弁のセグメンテーションネットワークの推論プロセスを説明するためのフローチャートである。
図１２は、従来技術によるセグメンテーション結果と実施形態によるセグメンテーション結果との一例を比較した模式図である。
図１３は、従来技術によるセグメンテーション結果と実施形態によるセグメンテーション結果との一例を比較した模式図である。
図１４は、実施形態に係る画像処理装置の構成の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に説明する実施形態は、解剖学的構造情報選別ステップと、抽出ステップと、応用ステップとを含むことにより、弁のセグメンテーション処理におけるセグメンテーション結果（セグメンテーション処理により特定された弁の領域）と弁の解剖学的構造情報とが一致しない問題を効果的に解決することができる解剖学的構造情報に基づく弁の精細なセグメンテーション方法を提供する。解剖学的構造情報選別ステップは、弁の固有の解剖学的構造情報（解剖学的構造アプリオリ）を選択し、解剖学的構造情報抽出ステップは、ラベルの前処理を行い、上記解剖学的構造情報を取得する。解剖学的構造情報応用ステップは、訓練時に、ネットワーク設計、損失設計又は後処理などの手段によって解剖学的構造情報を導入することで、弁全体と局所のセグメンテーション精度を向上させる。
（【００１１】以降は省略されています）

関連特許