特許ウォッチ

公開番号2023180097
公報種別公開特許公報(A)
公開日2023-12-20
出願番号2022093220
出願日2022-06-08
発明の名称敵対生成ネットワークを用いたイメージレベルでの腫瘍検出システム、及び、腫瘍を検出する方法
出願人学校法人立命館
代理人個人,個人,個人
主分類G06T 7/00 20170101AFI20231213BHJP(計算;計数)
要約【課題】学習データの準備の負荷が少ない、GANを用いる、腫瘍検出システムである。
【解決手段】腫瘍検出システムにて、第1の生成器及び識別器、並びに第2の生成器及び第2の識別器を含む、CycleGANの機械学習モデルが構築される。学習時には、正常画像データを第1の生成器に入力して異常画像データを生成し、生成された異常画像データを第2の生成器に入力して正常画像データを生成し、第2の生成器で生成された正常画像データと最初の正常画像データとを比較することで、第1及び第2の生成並びに第1及び第2の識別器にて学習が行われる。検出の際、処理回路は、画像データを第1の生成器に入力し、この入力により生成される画像データを第2の生成器に入力し、この入力により生成される画像データと、第1の生成器に入力された元の画像データとの誤差を求める。誤差が所定の閾値より小さく無ければ元の画像データを異常画像データと判定する。
【選択図】図4
特許請求の範囲【請求項１】
腫瘍検出システムにおいて、
前記腫瘍検出システムは、コンピュータ装置を有し、前記コンピュータ装置は、インタフェース装置と、処理回路とを含み、
前記コンピュータ装置には、第１の生成器、第１の識別器、第２の生成器、及び、第２の識別器を含む、学習済みのＣｙｃｌｅＧＡＮの機械学習モデルが構築されており、
ここで、前記第１の生成器は、リアルの正常画像データの入力から、フェイクの腫瘍画像データを出力するように学習により訓練されており、前記第１の識別器は、前記第１の生成器から生成されるフェイクの腫瘍画像データをフェイクであると判断し、リアルの腫瘍画像データをリアルであると判断するように学習により訓練されており、
更に、第２の生成器は、リアルの腫瘍画像データの入力から、フェイクの正常画像データを出力するように学習により訓練されており、第２の識別器は、前記第２の生成器から生成されるフェイクの生成画像データをフェイクであると判断し、リアルの正常画像データをリアルであると判断するように学習により訓練されており、
更に、前記学習済みのＣｙｃｌｅＧＡＮの機械学習モデルでは、学習時にて、正常画像データを前記第１の生成器に入力して異常画像データを生成し、当該生成された異常画像データを前記第２の生成器に入力して正常画像データを生成し、前記第２の生成器によって生成された当該正常画像データと、最初の正常画像データとの比較によって、前記第１の生成器及び前記第２の生成器、並びに、前記第１の識別器及び前記第２の識別器において、学習が行われており、
検出に当たっては、
前記処理回路は、前記インタフェース装置を介して取得される画像データを前記第１の生成器に入力し、
前記処理回路は、前記第１の生成器への入力により、前記第１の生成器で生成される画像データを前記第２の生成器に入力し、
前記処理回路は、前記第２の生成器への入力により前記第２の生成器で生成される画像データと、前記第１の生成器に入力された元の画像データとの誤差を計算し、
前記処理回路は、前記計算された誤差が所定の閾値より小さければ、前記第１の生成器に入力された画像データが正常画像データであると判定し、前記計算された誤差が所定の閾値より小さく無ければ、前記第１の生成器に入力された画像データが異常画像データであると判定する、
腫瘍検出システム。
続きを表示（約 3,300 文字）【請求項２】
腫瘍検出システムにおいて、
前記腫瘍検出システムは、コンピュータ装置を有し、前記コンピュータ装置は、インタフェース装置と、処理回路とを含み、
前記コンピュータ装置には、第１の生成器、第１の識別器、第２の生成器、及び、第２の識別器を含む、学習済みのＣｙｃｌｅＧＡＮの機械学習モデルが構築されており、
ここで、前記第１の生成器は、リアルの正常画像データの入力から、フェイクの腫瘍画像データを出力するように学習により訓練されており、前記第１の識別器は、前記第１の生成器から生成されるフェイクの腫瘍画像データをフェイクであると判断し、リアルの腫瘍画像データをリアルであると判断するように学習により訓練されており、
更に、第２の生成器は、リアルの腫瘍画像データの入力から、フェイクの正常画像データを出力するように学習により訓練されており、第２の識別器は、前記第２の生成器から生成されるフェイクの生成画像データをフェイクであると判断し、リアルの正常画像データをリアルであると判断するように学習により訓練されており、
更に、前記学習済みのＣｙｃｌｅＧＡＮの機械学習モデルでは、学習時にて、正常画像データを前記第１の生成器に入力して異常画像データを生成し、当該生成された異常画像データを前記第２の生成器に入力して正常画像データを生成し、前記第２の生成器によって生成された当該正常画像データと、最初の正常画像データとの比較によって、前記第１の生成器及び前記第２の生成器、並びに、前記第１の識別器及び前記第２の識別器において、学習が行われており、
検出に当たっては、
前記処理回路は、前記インタフェース装置を介して取得される画像データを前記第２の生成器に入力し、
前記処理回路は、前記第２の生成器への入力により前記第２の生成器で生成される画像データと、前記第１の生成器に入力された元の画像データとの誤差を計算し、
前記処理回路は、前記計算された誤差が所定の閾値より小さければ、前記第１の生成器に入力された画像データが正常画像データであると判定し、前記計算された誤差が所定の閾値より小さく無ければ、前記第１の生成器に入力された画像データが異常画像データであると判定する、
腫瘍検出システム。
【請求項３】
前記機械学習モデルの学習にて適用される異常画像データが、一つの正常画像データに対して、別の正常画像データにおける撮像物の画像部分を縮小したものを疑似的な異常部分として、埋め込むことで作成される、
請求項１又は２に記載の腫瘍検出システム。
【請求項４】
コンピュータ装置を構成する処理回路により、第１の生成器、第１の識別器、第２の生成器、及び、第２の識別器を含む、学習済みのＣｙｃｌｅＧＡＮの機械学習モデルを構築するステップであって、
ここで、前記第１の生成器は、リアルの正常画像データの入力から、フェイクの腫瘍画像データを出力するように学習により訓練されており、前記第１の識別器は、前記第１の生成器から生成されるフェイクの腫瘍画像データをフェイクであると判断し、リアルの腫瘍画像データをリアルであると判断するように学習により訓練されており、
更に、第２の生成器は、リアルの腫瘍画像データの入力から、フェイクの正常画像データを出力するように学習により訓練されており、第２の識別器は、前記第２の生成器から生成されるフェイクの生成画像データをフェイクであると判断し、リアルの正常画像データをリアルであると判断するように学習により訓練されており、
更に、前記学習済みのＣｙｃｌｅＧＡＮの機械学習モデルでは、学習時にて、正常画像データを前記第１の生成器に入力して異常画像データを生成し、当該生成された異常画像データを前記第２の生成器に入力して正常画像データを生成し、前記第２の生成器によって生成された当該正常画像データと、最初の正常画像データとの比較によって、前記第１の生成器及び前記第２の生成器、並びに、前記第１の識別器及び前記第２の識別器において、学習が行われている、
学習済みのＣｙｃｌｅＧＡＮの機械学習モデルを構築するステップと、
前記処理回路により、コンピュータ装置を構成するインタフェース装置を介して取得される画像データを、前記第１の生成器に入力するステップと、
前記処理回路により、前記第１の生成器への入力により、前記第１の生成器で生成される画像データを前記第２の生成器に入力するステップと、
前記処理回路により、前記第２の生成器への入力により前記第２の生成器で生成される画像データと、前記第１の生成器に入力された元の画像データとの誤差を計算するステップと、
前記計算された誤差が所定の閾値より小さければ、前記処理回路により、前記第１の生成器に入力された画像データが正常画像データであると判定するステップと、
前記計算された誤差が所定の閾値より小さく無ければ、前記処理回路により、前記第１の生成器に入力された画像データが異常画像データであると判定するステップと
を含む、画像データから腫瘍を検出する方法。
【請求項５】
コンピュータ装置を構成する処理回路により、第１の生成器、第１の識別器、第２の生成器、及び、第２の識別器を含む、学習済みのＣｙｃｌｅＧＡＮの機械学習モデルを構築するステップであって、
ここで、前記第１の生成器は、リアルの正常画像データの入力から、フェイクの腫瘍画像データを出力するように学習により訓練されており、前記第１の識別器は、前記第１の生成器から生成されるフェイクの腫瘍画像データをフェイクであると判断し、リアルの腫瘍画像データをリアルであると判断するように学習により訓練されており、
更に、第２の生成器は、リアルの腫瘍画像データの入力から、フェイクの正常画像データを出力するように学習により訓練されており、第２の第２の識別器は、前記第２の生成器から生成されるフェイクの生成画像データをフェイクであると判断し、リアルの正常画像データをリアルであると判断するように学習により訓練されており、
更に、前記学習済みのＣｙｃｌｅＧＡＮの機械学習モデルでは、学習時にて、正常画像データを前記第１の生成器に入力して異常画像データを生成し、当該生成された異常画像データを前記第２の生成器に入力して正常画像データを生成し、前記第２の生成器によって生成された当該正常画像データと、最初の正常画像データとの比較によって、前記第１の生成器及び前記第２の生成器、並びに、前記第１の識別器及び前記第２の識別器において、学習が行われている、
学習済みのＣｙｃｌｅＧＡＮの機械学習モデルを構築するステップと、
前記処理回路により、コンピュータ装置を構成するインタフェース装置を介して取得される画像データを、前記第２の生成器に入力するステップと、
前記処理回路により、前記第２の生成器への入力により前記第２の生成器で生成される画像データと、前記第１の生成器に入力された元の画像データとの誤差を計算するステップと、
前記計算された誤差が所定の閾値より小さければ、前記処理回路により、前記第１の生成器に入力された画像データが正常画像データであると判定するステップと、
前記計算された誤差が所定の閾値より小さく無ければ、前記処理回路により、前記第１の生成器に入力された画像データが異常画像データであると判定するステップと
を含む、画像データから腫瘍を検出する方法。
【請求項６】
前記機械学習モデルの学習にて適用される異常画像データが、一つの正常画像データに対して、別の正常画像データにおける撮像物の画像部分を縮小したものを疑似的な異常部分として、埋め込むことで作成される、
請求項４又は５に記載の方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、主要検出システム及び方法、特に、敵対生成ネットワークを用いたイメージレベルでの腫瘍生成システム及び方法に関する。
続きを表示（約 3,700 文字）【背景技術】
【０００２】
造影ＣＴ（ＣｏｍｐｕｔｅｒＴｏｍｏｇｒａｐｈｙ:コンピュータ断層撮影）、ＭＲＩ（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｅ：磁気共鳴映像）、Ｘ線等の画像技術を用いて人体を撮像し、人体に潜む異常を正確に検出することが求められている。
【０００３】
これらのうち造影ＣＴは、造影剤が急速静注された人体の部位に対して、時間ごとのタイミングで反復撮影を行う画像技術である。造影ＣＴとして、例えば、肝動脈相ＣＴ画像のＡＲＴ（３０秒後撮影）、門脈相のＰＶ（７０秒後撮影）、及び、平衡相のＮＣ（但し、静注する薬は無い）の、三つの種類がある。
【０００４】
なお、本明細書では、主にＡＲＴを例として採り上げている。
【０００５】
造影ＣＴにより撮影される画像データを用いる、且つ、深層学習などのＡＩ技術による、腫瘍検出法が様々に開発されている。例えば、ピクセルレベルでのアノテーションを要求するピクセル単位での分類による腫瘍分類法や、病変レベル（バウンディングボックスレベル）でのアノテーションを要求する物体検出による腫瘍分類法が、提唱されている。しかしながら、上記の二つの分類法は教師あり学習を行うものであり、一方はピクセルレベルでのアノテーションによる教師データの作成を利用者に要求し、他方はバウンディングボックスレベルでのアノテーションによる教師データの作成を利用者に要求する。医師を始めとする医療従事者にとって、このような教師データを準備することは大変な時間及び労力が掛かる仕事であり、実際には実現不可能な作業である。
【先行技術文献】
【特許文献】
【０００６】
特表２０１９－５３６１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
学習データの準備の負荷が少ないＡＩ、例えば、敵対生成ネットワーク（ＧＡＮ）を用いる、イメージレベルでの腫瘍検出システム及び腫瘍検出方法が広く求められている。
【課題を解決するための手段】
【０００８】
本開示の腫瘍検出システムは、コンピュータ装置を有し、コンピュータ装置は、インタフェース装置と、処理回路とを含む。コンピュータ装置には、第１の生成器、第１の識別器、第２の生成器、及び、第２の識別器を含む、学習済みのＣｙｃｌｅＧＡＮの機械学習モデルが構築されている。
ここで、第１の生成器は、リアルの正常画像データの入力から、フェイクの腫瘍画像データを出力するように学習により訓練されており、第１の識別器は、第１の生成器から生成されるフェイクの腫瘍画像データをフェイクであると判断し、リアルの腫瘍画像データをリアルであると判断するように学習により訓練されている。更に、第２の生成器は、リアルの腫瘍画像データの入力から、フェイクの正常画像データを出力するように学習により訓練されており、第２の識別器は、第２の生成器から生成されるフェイクの生成画像データをフェイクであると判断し、リアルの正常画像データをリアルであると判断するように学習により訓練されている。
更に、学習済みのＣｙｃｌｅＧＡＮの機械学習モデルでは、学習時にて、正常画像データを第１の生成器に入力して異常画像データを生成し、当該生成された異常画像データを第２の生成器に入力して正常画像データを生成する。第２の生成器によって生成された当該正常画像データと、最初の正常画像データとの比較によって、第１の生成器及び第２の生成器、並びに、第１の識別器及び前記第２の識別器において、学習が行われている。
検出に当たっては、
処理回路は、インタフェース装置を介して取得される画像データを第１の生成器に入力し、
処理回路は、第１の生成器への入力により、第１の生成器で生成される画像データを第２の生成器に入力し、
処理回路は、第２の生成器への入力により第２の生成器で生成される画像データと、第１の生成器に入力された元の画像データとの誤差を計算し、
処理回路は、計算された誤差が所定の閾値より小さければ、第１の生成器に入力された画像データが正常画像データであると判定し、計算された誤差が所定の閾値より小さく無ければ、第１の生成器に入力された画像データが異常画像データであると判定する。
【発明の効果】
【０００９】
本開示の腫瘍検出システム、及び、腫瘍を検出する方法は、利用者に対する学習データの準備の負荷が非常に小さいものでありつつ、画像データが異常部位を含むか否かを高精度で検出することができる。
【図面の簡単な説明】
【００１０】
図１は、実施の形態１に係る腫瘍検出システムのシステム構成図である。
図２は、実施の形態１に係る腫瘍検出システムで用いるＣｙｃｌｅＧＡＮの概略の構成図である。
図３は、スキップ接続を含むＵ－Ｎｅｔの概略の構成図である。
図４は、実施の形態１に係る腫瘍検出システムにおける腫瘍検出の動作を示すフローチャートである。
図５Ａは、実施の形態１に係る腫瘍検出システムによる、ＭＥＴＳ（転移ガン）肝臓腫瘍に関する、（５Ａ－１）入力ＣＴ画像、（５Ａ－２）出力ＣＴ画像、（５Ａ－３）入力肝臓（Ｌｉｖｅｒ）画像、（５Ａ－４）出力肝臓（Ｌｉｖｅｒ）画像、及び、（５Ａ－５）検出結果画像の、例であり、実際に腫瘍が含まれていない画像例である。
図５Ｂは、実施の形態１に係る腫瘍検出システムによる、ＨＣＣ（肝細胞ガン）肝臓腫瘍に関する、（５Ｂ－１）入力ＣＴ画像、（５Ｂ－２）出力ＣＴ画像、（５Ｂ－３）入力肝臓（Ｌｉｖｅｒ）画像、（５Ｂ－４）出力肝臓（Ｌｉｖｅｒ）画像、及び、（５Ｂ－５）検出結果画像の、例であり、実際に腫瘍が含まれていない画像例である。
図５Ｃは、実施の形態１に係る腫瘍検出システムによる、ＣＣＣ（肝内胆ガン）肝臓腫瘍に関する、（５Ｃ－１）入力ＣＴ画像、（５Ｃ－２）出力ＣＴ画像、（５Ｃ－３）入力肝臓（Ｌｉｖｅｒ）画像、（５Ｃ－４）出力肝臓（Ｌｉｖｅｒ）画像、及び、（５Ｃ－５）検出結果画像の、例であり、実際に腫瘍が含まれていない画像例である。
図６Ａは、実施の形態１に係る腫瘍検出システムによる、ＭＥＴＳ（転移ガン）肝臓腫瘍に関する、（６Ａ－１）入力ＣＴ画像、（６Ａ－２）出力ＣＴ画像、（６Ａ－３）入力肝臓（Ｌｉｖｅｒ）画像、（６Ａ－４）出力肝臓（Ｌｉｖｅｒ）画像、及び、（６Ａ－５）検出結果画像の、例であり、実際に腫瘍が含まれている画像例である。
図６Ｂは、実施の形態１に係る腫瘍検出システムによる、ＨＣＣ（肝細胞ガン）肝臓腫瘍に関する、（６Ｂ－１）入力ＣＴ画像、（６Ｂ－２）出力ＣＴ画像、（６Ｂ－３）入力肝臓（Ｌｉｖｅｒ）画像、（６Ｂ－４）出力肝臓（Ｌｉｖｅｒ）画像、及び、（６Ｂ－５）検出結果画像の、例であり、実際に腫瘍が含まれている画像例である。
図６Ｃは、実施の形態１に係る腫瘍検出システムによる、ＣＣＣ（肝内胆ガン）肝臓腫瘍に関する、（６Ｃ－１）入力ＣＴ画像、（６Ｃ－２）出力ＣＴ画像、（６Ｃ－３）入力肝臓（Ｌｉｖｅｒ）画像、（６Ｃ－４）出力肝臓（Ｌｉｖｅｒ）画像、及び、（６Ｃ－５）検出結果画像の、例であり、実際に腫瘍が含まれている画像例である。
図７Ａは、実施の形態１に係る腫瘍検出システムによる、ＭＥＴＳ（転移ガン）の検出結果の例であり、グラフの各々は入力画像と出力画像の平均二乗誤差（ＭＳＥ）を示すものである。
図７Ｂは、実施の形態１に係る腫瘍検出システムによる、ＨＣＣ（肝細胞ガン）の検出結果の例であり、グラフの各々は入力画像と出力画像の平均二乗誤差（ＭＳＥ）を示すものである。
図７Ｃは、実施の形態１に係る腫瘍検出システムによる、ＣＣＣ（肝内胆ガン）の検出結果の例であり、グラフの各々は入力画像と出力画像の平均二乗誤差（ＭＳＥ）を示すものである。
図８（８－１）（８－２）（８－３）は、実際に腫瘍（異常）を含む肝臓の造影ＣＴの画像の例であり、図８（８－４）（８－５）（８－６）は、実施の形態２に係る腫瘍検出システムにて用いられる疑似異常画像（腫瘍画像）の例である。
図９Ａは、実施の形態３に係る腫瘍検出システムで用いるＣｙｃｌｅＧＡＮの概略の構成図である。
図９Ｂは、実施の形態３に係る腫瘍検出システムで用いるＣｙｃｌｅＧＡＮによる、異常（腫瘍）検出の様子を示す模式図である。
図１０は、実施の形態３に係る腫瘍検出システムにおける腫瘍検出の動作を示すフローチャートである。
図１１は、既存法の腫瘍検出方法で用いるｐｉｘ２ｐｉｘの概略の構成図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許