特許ウォッチ

公開番号2025137369
公報種別公開特許公報(A)
公開日2025-09-19
出願番号2024198270
出願日2024-11-13
発明の名称4D呼吸運動合成用の画像レジストレーション方法及びシステム
出願人山東大学,SHANDONG UNIVERSITY
代理人弁理士法人コスモス国際特許商標事務所
主分類G06T 3/14 20240101AFI20250911BHJP(計算;計数)
要約【課題】2つの呼吸状態の間の運動連続性のあるシーケンス画像を効果的に生成して取得することができ、肺部画像レジストレーションの研究又は他の呼吸プロセス中の疾患の研究に非常に役立つ4D呼吸運動合成用の画像レジストレーション方法及びシステムを提供する。
【解決手段】レジストレーション方法は、移動画像と固定画像の間の空間変形情報を学習し、中間状態を生成するプロセスと、中間状態と移動画像に基づいて速度場を生成し、速度場を解いてから幾つかの変形場を生成するプロセスと、4D呼吸運動合成の目的を実現するために、各変形場で移動画像を異なる程度で歪ませ、連続軌跡の時間フレーム画像を生成するプロセスと、を含む。
【選択図】図1
特許請求の範囲【請求項１】
移動画像と固定画像の間の空間変形情報を学習し、中間状態を生成するプロセスであって、具体的なプロセスは拡散モジュールによって実現され、以下のことを含み、
拡散モジュールは、ノイズ除去拡散確率モデルに基づいて実現され、元のデータをｘ
０
～ｑ（ｘ）とし、摂動ノイズを加え続け、ｘの時刻ｔにおける分布を公式（１－１）で示すことができ、
TIFF
2025137369000022.tif
13
166
ただし、β
ｔ
は事前定義されたハイパーパラメータであり、順方向拡散プロセスで加えたガウスノイズの分散と平均を決定し、ｑ（ｘ
ｔ
｜ｘ
ｔ－１
）は、順方向拡散プロセスで元のデータｘ
０
にガウスノイズを加えることによって得られた分布であり、任意の１つの時間ステップのｘ
ｔ
の分布は、公式（１－２）に示すように、ＤＤＰＭにより得られ、
TIFF
2025137369000023.tif
22
166
ε
０
は、（０，Ｉ）に従う既知のガウス分布であり、即ち、順方向拡散プロセスの摂動であり、
ＤＤＰＭの逆方向ノイズ除去プロセスはｐ
θ
（ｘ
ｔ－１
｜ｘ
ｔ
）としてモデリングされ、ただし、θはネットワークモデルのパラメータであり、
TIFF
2025137369000024.tif
36
166
ただし、μ
θ
（ｘ
ｔ
，ｔ）はニューラルネットワークモデルによって学習された平均であり、
TIFF
2025137369000025.tif
10
166
は固定分散であり、上記条件と摂動を加えた既知のｘ
ｔ
とを利用し、拡散モジュールが学習することにより、移動画像と固定画像を比較し、移動画像から固定画像へのマッピングの空間変形情報を含む中間状態ｚを得るプロセスと、
中間状態と移動画像に基づいて速度場を生成し、オイラー積分の方法で速度場を解いてから幾つかの変形場を生成するプロセスであって、具体的なプロセスは変形モジュールによって実現され、以下のことを含み、
中間状態ｚを得た後、移動画像とともに変形モジュールに送り込み、当該モジュールは本質的にＵ字型ネットワーク構造に類似した完全畳み込みニューラルネットワーク、常微分方程式ソルバーおよび微分可能な空間変換ネットワークの組合せであり、完全畳み込みニューラルネットワーク構造は、Ｕ－Ｎｅｔネットワーク構造に類似し、当該ネットワークは３層のエンコーダー／デコーダーで構成され、ダウンサンプリングの最初の層に、カーネルサイズが３×３×３である１つの畳み込み層を使用し、入力に対して初期特徴マッピングを行った後、ＲｅＬＵ活性化関数を使用して計算し、トリリニア補間により、最下層まで特徴マップを元のサイズの半分にダウンサンプリングし、最下層は、カーネルサイズが３×３×３である２つの畳み込み層を含み、特徴マップは、最下層を通過した後に、デコーダーに送り込まれ、
デコーダーの各層は、スキップ接続の方法により、エンコーダーの特徴マップと接続され、デコーダーの各層には、カーネルサイズが３×３×３である２つの連続した畳み込み層、およびサイズを元の２倍に増加させるトリリニア補間によるアップサンプリングがあり、最後にカーネルサイズが５×５×５である１つの畳み込み層を通過して移動画像から固定画像への速度場Ｖ
ＭＦ
を生成し、
移動画像から固定画像への変形時間をｔとし、総時間を幾つかの時間ステップに分割し、その後の幾つかの変形場を、単一の時間ステップオイラー積分方法で解くプロセスと、
移動画像と固定画像の間の４Ｄ呼吸運動合成のために、各変形場で移動画像を異なる程度で歪ませ、連続軌跡の時間フレーム画像を生成するプロセスと、
を含むことを特徴とする４Ｄ呼吸運動合成用の画像レジストレーション方法。
続きを表示（約 3,000 文字）【請求項２】
中間状態と移動画像に基づいて速度場を生成するプロセスは、
中間状態に基づいて移動画像から固定画像への速度場を推定するプロセスを含む
ことを特徴とする請求項１に記載の４Ｄ呼吸運動合成用の画像レジストレーション方法。
【請求項３】
移動画像と固定画像の間の空間変形情報を学習し、中間状態を生成するプロセスは、
固定画像に決定論的ランダムガウスノイズを加えて、逆方向拡散プロセスの干渉除去を制御し、ガウスノイズからデータ分布へのマルコフ変換を学習し、移動画像から固定画像への空間変形情報を持つ中間状態を生成するプロセスを含む
ことを特徴とする請求項１に記載の４Ｄ呼吸運動合成用の画像レジストレーション方法。
【請求項４】
完全畳み込みニューラルネットワークを利用して中間状態と移動画像に基づいて速度場を生成するか、または、オイラー積分の方法で速度場を解いてから幾つかの変形場を生成する
ことを特徴とする請求項１に記載の４Ｄ呼吸運動合成用の画像レジストレーション方法。
【請求項５】
各変形場で移動画像を異なる程度で歪ませ、連続軌跡の時間フレーム画像を生成するプロセスは、
変形場と移動画像を空間変換ネットワークに送り、運動連続性のあるシーケンス画像を取得するプロセスを含む
ことを特徴とする請求項１に記載の４Ｄ呼吸運動合成用の画像レジストレーション方法。
【請求項６】
拡散損失、移動画像と固定画像の間の類似度計測、平滑性損失及び折り畳み防止損失の和を総損失関数とする
ことを特徴とする請求項１に記載の４Ｄ呼吸運動合成用の画像レジストレーション方法。
【請求項７】
移動画像と固定画像の間の空間変形情報を学習し、中間状態を生成するように構成される中間状態生成ユニットであって、具体的なプロセスは拡散モジュールによって実現され、以下のことを含み、
拡散モジュールは、ノイズ除去拡散確率モデルに基づいて実現され、元のデータを
０
～ｑ（ｘ）とし、摂動ノイズを加え続け、ｘの時刻ｔにおける分布を公式（２－１）で示すことができ、
TIFF
2025137369000026.tif
13
166
ただし、β
ｔ
は事前定義されたハイパーパラメータであり、順方向拡散プロセスで加えたガウスノイズの分散と平均を決定し、ｑ（ｘ
ｔ
｜ｘ
ｔ－１
）は、順方向拡散プロセスで元のデータｘ
０
にガウスノイズを加えることによって得られた分布であり、任意の１つの時間ステップのｘ
ｔ
の分布は、公式（２－２）に示すように、ＤＤＰＭにより得られ、
TIFF
2025137369000027.tif
21
166
ε
０
は、（０，Ｉ）に従う既知のガウス分布であり、即ち、順方向拡散プロセスの摂動であり、
ＤＤＰＭの逆方向ノイズ除去プロセスはｐ
θ
（ｘ
ｔ－１
｜ｘ
ｔ
）としてモデリングされ、ただし、θはネットワークモデルのパラメータであり、
TIFF
2025137369000028.tif
37
166
ただし、μ
θ
（ｘ
ｔ
，ｔ）はニューラルネットワークモデルによって学習された平均であり、
TIFF
2025137369000029.tif
11
166
は固定分散であり、上記条件と摂動を加えた既知のｘ
ｔ
とを利用し、拡散モジュールが学習することにより、移動画像と固定画像を比較し、移動画像から固定画像へのマッピングの空間変形情報を含む中間状態ｚを得る中間状態生成ユニットと、
中間状態と移動画像に基づいて速度場を生成し、速度場を解いてから幾つかの変形場を生成するように構成される変形場生成ユニットであって、具体的なプロセスは変形モジュールによって実現され、以下のことを含み、
中間状態ｚを得た後、移動画像とともに変形モジュールに送り込み、当該モジュールは本質的にＵ字型ネットワーク構造に類似した完全畳み込みニューラルネットワーク、常微分方程式ソルバーおよび微分可能な空間変換ネットワークの組合せであり、完全畳み込みニューラルネットワーク構造は、Ｕ－Ｎｅｔネットワーク構造に類似し、当該ネットワークは３層のエンコーダー／デコーダーで構成され、ダウンサンプリングの最初の層に、カーネルサイズが３×３×３である１つの畳み込み層を使用し、入力に対して初期特徴マッピングを行った後、ＲｅＬＵ活性化関数を使用して計算し、トリリニア補間により、最下層まで特徴マップを元のサイズの半分にダウンサンプリングし、最下層は、カーネルサイズが３×３×３である２つの畳み込み層を含み、特徴マップは、最下層を通過した後に、デコーダーに送り込まれ、
デコーダーの各層は、スキップ接続の方法により、エンコーダーの特徴マップと接続され、デコーダーの各層には、カーネルサイズが３×３×３である２つの連続した畳み込み層、およびサイズを元の２倍に増加させるトリリニア補間によるアップサンプリングがあり、最後にカーネルサイズが５×５×５である１つの畳み込み層を通過して移動画像から固定画像への速度場Ｖ
ＭＦ
を生成し、
移動画像から固定画像への変形時間をｔとし、総時間を幾つかの時間ステップに分割し、その後の幾つかの変形場を、単一の時間ステップオイラー積分方法で解く変形場生成ユニットと、
移動画像と固定画像の間の４Ｄ呼吸運動合成のために、各変形場で移動画像を異なる程度で歪ませ、連続軌跡の時間フレーム画像を生成するように構成される連続画像生成ユニットと、
を備えることを特徴とする４Ｄ呼吸運動合成用の画像レジストレーション装置。
【請求項８】
コンピュータプログラムを実行することに適するプロセッサと、
コンピュータプログラムが記憶されており、前記コンピュータプログラムが前記プロセッサによって実行されると、請求項１～６のいずれか１項に記載の４Ｄ呼吸運動合成用の画像レジストレーション方法が実現されるコンピュータ読み取り可能な記憶媒体と、
を備えることを特徴とするコンピュータデバイス。
【請求項９】
コンピュータプログラムが記憶されており、前記コンピュータプログラムが、プロセッサによってロードされて請求項１～６のいずれか１項に記載の４Ｄ呼吸運動合成用の画像レジストレーション方法を実行することに適することを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１０】
コンピュータプログラムを含み、前記コンピュータプログラムがプロセッサによって実行されると、請求項１～６のいずれか１項に記載の４Ｄ呼吸運動合成用の画像レジストレーション方法が実現されることを特徴とするコンピュータプログラム製品。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像レジストレーションの技術分野に関し、具体的には、４Ｄ呼吸運動合成用の画像レジストレーション方法、４Ｄ呼吸運動合成用の画像レジストレーション装置、コンピュータデバイス、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム製品に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
この部分の説明は、単に本発明に関連する背景技術を提供するものであり、必ずしも従来技術を構成するものではない。
【０００３】
肺部レジストレーションの分野では、レジストレーションタスクは、肺の呼吸運動によって複雑で非線形になり、変形が大きいといった問題が発生するため、大きな課題を抱えている。この問題に効果的に対処するために、４ＤＣＴシーケンス画像を利用して豊富な時間情報を提供し、時間的事前情報によりレジストレーションプロセスを指導することは、呼吸によるレジストレーション問題を効果的に解決する方法となっている。４ＤＣＴは、従来のＣＴスキャン技術とタイムシーケンス情報とを組み合わせたものであり、肺部臓器又は組織の経時的な動的変化に関する三次元画像データを提供することができる。しかし、４ＤＣＴは、画像を取得するためのコストが高いと共に、放射線の人体への潜在的な害がある等の問題によって、４ＤＣＴシーケンス画像の取得が困難になる。医用画像生成技術は、データ不足の問題を解決し、臨床診断と治療をより良くサポートすることができる。
【０００４】
医用画像の生成に関しては、深層学習技術に基づく研究が大幅に進展しており、現在主に使用されている方法の１つは、敵対的生成ネットワーク（ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋｓ，ＧＡＮ）に基づくものであり、ＧＡＮモデルは、トレーニングプロセスにより画像データの特徴を自動的に学習し、元の画像に似た新しい画像を生成することができるが、ＧＡＮモデルは、解剖学的構造に反する人工的特徴を生じる可能性がある。画像を生成する別の方法は、変形可能な画像レジストレーションに基づき、生成された滑らかな変形場により移動画像を歪ませることで新しい画像を生成する目的を達成するものであり、この方法の研究は、ほとんど三次元画像の生成に焦点を当てている。拡散モデルは、医用画像生成の分野への応用が提案されている。このような方法では、拡散モジュールは中間状態を推定し、補間して得られた幾つかの中間状態をともに変形モジュールに送り込み、連続した軌跡に沿って時間フレームを生成する。しかし、単に簡単な補間により得られた中間状態によって連続した時間フレームを生成することは、生成された画像の構造上の運動連続性を確保できない。上記の方法は、ある程度画像生成の問題を解決したが、一定の限界もある。ＧＡＮモデルは、医学的に期待されていない人工的特徴を生成し、変形可能な画像レジストレーションに基づく方法の研究もほとんど三次元画像に焦点を当てており、拡散モデルに基づく方法は、中間状態の簡単な補間により時間連続性の解釈可能性が欠けている。
【発明の概要】
【０００５】
従来技術の欠点を解決するために、本発明は、２つの呼吸状態の間の運動連続性のあるシーケンス画像を効果的に生成して取得することができ、肺部画像レジストレーションの研究又は他の呼吸プロセス中の疾患の研究に非常に役立つ、４Ｄ呼吸運動合成用の画像レジストレーション方法及びシステムを提供する。
【０００６】
上記の目的を実現するために、本発明は、以下の技術的解決手段を採用する。
【０００７】
第１態様において、本発明は、４Ｄ呼吸運動合成用の画像レジストレーション方法を提供する。
【０００８】
４Ｄ呼吸運動合成用の画像レジストレーション方法は、
移動画像と固定画像の間の空間変形情報を学習し、中間状態を生成するプロセスと、
中間状態と移動画像に基づいて速度場を生成し、速度場を解いてから幾つかの変形場を生成するプロセスと、
移動画像と固定画像（移動画像と固定画像で画像ペアを構成する）の間の４Ｄ呼吸運動合成のために、各変形場で移動画像を異なる程度で歪ませ、連続軌跡の時間フレーム画像を生成するプロセスと、を含む。
【０００９】
本発明の第１態様のさらなる限定として、中間状態と移動画像に基づいて速度場を生成するプロセスは、
中間状態に基づいて移動画像から固定画像への速度場を推定するプロセスを含む。
【００１０】
本発明の第１態様のさらなる限定として、移動画像と固定画像の間の空間変形情報を学習し、中間状態を生成するプロセスは、
固定画像に決定論的ランダムガウスノイズを加えて、逆方向拡散プロセスの干渉除去を制御し、ガウスノイズからデータ分布へのマルコフ変換を学習し、移動画像から固定画像への空間変形情報を持つ中間状態を生成するプロセスを含む。
（【００１１】以降は省略されています）

関連特許