特許ウォッチ

公開番号2024103312
公報種別公開特許公報(A)
公開日2024-08-01
出願番号2023007580
出願日2023-01-20
発明の名称画像生成装置、画像生成方法、学習方法、並びに、プログラム
出願人キヤノン株式会社
代理人個人
主分類A61B 3/10 20060101AFI20240725BHJP(医学または獣医学;衛生学)
要約【課題】ある時点の造影時刻を含む造影時間に対応した造影効果が描出された画像を好適に取得できる仕組みを提供する。
【解決手段】画像生成装置20において、医用画像を取得する画像取得部251と、画像取得部251で取得された医用画像に基づいて、少なくとも1つの時点の造影時刻を含む造影時間に対応した造影効果が描出された造影効果画像を出力する出力部252を備える。
【選択図】図1
特許請求の範囲【請求項１】
医用画像を取得する画像取得部と、
医用画像を入力して造影効果が描出された造影効果画像を生成する画像生成モデルを用いて、前記画像取得部で取得された医用画像に基づいて、少なくとも１つの時点の造影時刻を含む造影時間に対応した造影効果が描出された造影効果画像を出力する出力部と、
を備えることを特徴とする画像生成装置。
続きを表示（約 1,100 文字）【請求項２】
前記造影時間を含む撮像条件を取得する撮像条件取得部を更に備え、
前記出力部は、前記医用画像と前記撮像条件とに基づいて、前記造影効果画像を出力する
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記出力部は、複数の前記造影効果画像によって構成された動画像を出力する
ことを特徴とする請求項１に記載の画像生成装置。
【請求項４】
前記画像生成モデルは、前記医用画像および前記造影時間を入力して前記造影効果画像を生成する機能を有しており、
前記画像生成モデルは、前記医用画像に係る医用画像群と、当該医用画像群に関連する造影画像群と、当該造影画像群に係る撮像条件群と、を含む学習データを用いて学習されたモデルである
ことを特徴とする請求項１に記載の画像生成装置。
【請求項５】
前記画像生成モデルは、前記学習データに含まれる画像中の領域であって当該画像に描出されている態様または当該画像に関連する情報に従って区分可能な領域である意味的領域に基づいて学習されたモデルであることを特徴とする請求項４に記載の画像生成装置。
【請求項６】
前記学習データは、前記造影画像群として、同じ検査対象から取得された経時的な造影画像群を含むことを特徴とする請求項４に記載の画像生成装置。
【請求項７】
前記学習データに含まれる同じ検査対象から取得された医用画像と造影画像とのペアが解剖学的に位置合わせされていることを特徴とする請求項４に記載の画像生成装置。
【請求項８】
前記学習データに含まれる前記造影画像群には、操作者が観察したい造影時刻を含む造影時間に撮影された造影画像が、他の造影時刻を含む造影時間に撮影された造影画像よりも多く含まれていることを特徴とする請求項４に記載の画像生成装置。
【請求項９】
前記造影時間および前記造影時間とは異なる造影時間以外の情報を含む撮像条件を取得する撮像条件取得部を更に備え、
前記画像生成モデルは、前記医用画像と前記造影時間と前記造影時間以外の情報を入力することを特徴とする請求項１に記載の画像生成装置。
【請求項１０】
前記出力部は、複数の前記画像生成モデルを有しており、
前記出力部は、前記造影時間以外の情報に基づいて、前記複数の画像生成モデルの中から適切な画像生成モデルを選択し、当該選択した画像生成モデルを用いて、前記医用画像と前記撮像条件とに基づいて、前記造影効果画像を出力する
ことを特徴とする請求項９に記載の画像生成装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像生成装置、画像生成方法、学習方法、並びに、プログラムに関するものである。
続きを表示（約 3,800 文字）【背景技術】
【０００２】
医療分野においては、被検者の疾患を特定したり、疾患の程度を観察したりするために、血液等の流れを強調して撮影することのできる造影剤を用いて、経時的に造影画像が取得され、診断に用いられることがある。例えば、眼底カメラによるフルオレセイン蛍光眼底造影（ＦＡ）検査、Ｘ線コンピュータ断層撮影（ＣＴ）装置による多時相造影検査、超音波検査診断装置（エコー）によるソナゾイド造影超音波検査等、の様々な撮影装置で造影検査が行われている。ただし、造影検査によって取得された造影画像は診断情報として有用であることが多い一方で、被検者によっては造影剤が重篤な症状を引き起こすことや、放射線を用いる検査では被ばくによる悪影響がある。そのため、この点を考慮して、造影検査を何度も実施できない、或いは一度も実施できないことがある。
【０００３】
さて、近年の深層学習技術において、あるドメインの画像を異なるドメインの画像に変換することも提案されている。例えば、特許文献１には、眼底検査画像が入力されると、異常領域を示す図を再現した画像を出力するモデルを生成する手法が提案されている。また、非特許文献１には、造影剤を用いない網膜眼底写真が入力されると、ＦＡ検査画像様の画像を出力するモデルを生成する手法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
国際公開第２０１９／１４２９１０号
【非特許文献】
【０００５】
ＡｌｉｒｅｚａＴａｖａｋｋｏｌｉ, ＳｈａｒｉｆＡｍｉｔＫａｍｒａｎ, ＫｈｏｎｄｋｅｒＦａｒｉｈａＨｏｓｓａｉｎ, ＳｔｅｗａｒｔＬｅｅＺｕｃｋｅｒｂｒｏｄ, "Ａｎｏｖｅｌｄｅｅｐｌｅａｒｎｉｎｇｃｏｎｄｉｔｉｏｎａｌｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｆｏｒｐｒｏｄｕｃｉｎｇａｎｇｉｏｇｒａｐｈｙｉｍａｇｅｓｆｒｏｍｒｅｔｉｎａｌｆｕｎｄｕｓｐｈｏｔｏｇｒａｐｈｓ."，ＳｃｉＲｅｐ１０, ２１５８０（２０２０），<https://doi.org/10.1038/s41598-020-78696-2>（２０２０年１２月９日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１や非特許文献１に記載された手法では、ある時点の造影時刻を含む造影時間に対応した造影効果が描出された画像を好適に取得するには、不十分であった。
【０００７】
本発明は、このような問題点に鑑みてなされたものであり、ある時点の造影時刻を含む造影時間に対応した造影効果が描出された画像を好適に取得できる仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像生成装置は、医用画像を取得する画像取得部と、医用画像を入力して造影効果が描出された造影効果画像を生成する画像生成モデルを用いて、前記画像取得部で取得された医用画像に基づいて、少なくとも１つの時点の造影時刻を含む造影時間に対応した造影効果が描出された造影効果画像を出力する出力部と、を備える。
また、本発明の画像生成装置は、医用画像群と、当該医用画像群に関連する造影画像群と、当該造影画像群に係る撮像条件群であって少なくとも１つの時点の造影時刻を含む造影時間を含む撮像条件群と、を含む学習データを用いて、前記医用画像群に係る医用画像および前記造影時間が入力された場合に、前記医用画像に基づいて前記造影時間に対応した造影効果が描出された造影効果画像を生成する画像生成モデルを学習させる学習部を備える。
さらに、本発明は、画像生成方法、学習方法、及び、上述した画像生成装置の各部としてコンピュータを機能させるためのプログラムを含む。
【発明の効果】
【０００９】
本発明によれば、ある時点の造影時刻を含む造影時間に対応した造影効果が描出された画像を好適に取得することができる。
【図面の簡単な説明】
【００１０】
第１の実施形態に係る画像生成装置を含む画像生成システムの概略構成の一例を示す図である。
第１の実施形態に係る画像生成装置において、出力部が有する画像生成モデルの概念を説明するための図である。
第１の実施形態に係る画像生成装置において、出力部が有する画像生成モデルの学習を説明するための図である。
第１の実施形態に係る画像生成装置において、出力部が有する画像生成モデルの学習の際に算出する損失の算出対象領域を説明するための図である。
第１の実施形態に係る画像生成装置において、ディスプレイに表示されるＧＵＩ画面の一例を示す図である。
第１の実施形態に係る画像生成装置の制御方法における処理手順の一例を示すフローチャートである。
第１の実施形態の変形例１を示し、画像生成モデルが学習する際に用いる教師データを構成する動画像であるＦＡ検査画像が録画されている造影時刻の期間（造影時間）を説明するための図である。
第１の実施形態の変形例１を示し、画像生成モデルが出力した動画像である造影効果画像と、教師データを構成する動画像である正解画像（ＦＡ検査画像）との関係の一例を示す図である。
第１の実施形態の変形例２を示し、ＯＣＴＡ画像とＦＡ検査画像の一例を示す図である。
第１の実施形態の変形例２を示し、ＯＣＴＡ画像とＦＡ検査画像との位置合わせ処理における処理手順の一例を示すフローチャートである。
第２の実施形態に係る画像生成装置を含む画像生成システムの概略構成の一例を示す図である。
第２の実施形態に係る画像生成装置において、ディスプレイに表示されるＧＵＩ画面の一例を示す図である。
第２の実施形態に係る画像生成装置の制御方法における処理手順の一例を示すフローチャートである。
第３の実施形態に係る画像生成装置において、出力部が有する画像生成モデルの概念を説明するための図である。
第３の実施形態に係る画像生成装置において、出力部が有する画像生成モデルの概念を説明するための図である。
第３の実施形態を示し、画像生成モデルが学習する際に用いる教師データを構成する左眼及び右眼のＦＡ検査画像がある期間とない期間の一例を示す図である。
第３の実施形態に係る画像生成装置において、出力部が有する画像生成モデルの学習を説明するための図である。
第３の実施形態の変形例１に係る画像生成装置の制御方法における処理手順の一例を示すフローチャートである。
第３の実施形態の変形例３を示し、補間画像の生成処理における処理手順の一例を示すフローチャートである。
第３の実施形態の変形例３を示し、画像生成モデルが学習する際に用いる教師データを構成するＦＡ検査画像がある期間とない期間の一例を示す図である。
第３の実施形態の変形例３を示し、図２０に示す直前のＦＡ検査画像と直後のＦＡ検査画像とにおいて共通する有効画素領域を説明するための図である。
第３の実施形態の変形例３を示し、画像生成モデルが学習する際に用いる教師データを構成するＦＡ検査画像がある期間とない期間の一例を示す図である。
第３の実施形態の変形例３を示し、図２２に示す直後のＦＡ検査画像がＦＡ検査において最初に撮影されたＦＡ検査画像である場合の有効画素領域を説明するための図である。
第４の実施形態に係る画像生成装置において、出力部が有する画像生成モデルの概念を説明するための図である。
第４の実施形態を示し、画像生成モデルが学習する際に用いる教師データを構成するＦＡ検査画像の有無を説明するための図である。
第４の実施形態に係る画像生成装置において、出力部が有する画像生成モデルの学習を説明するための図である。
第４の実施形態に係る画像生成装置において、出力部が有する画像生成モデルの学習を説明するための図である。
第４の実施形態に係る画像生成装置において、ディスプレイに表示されるＧＵＩ画面の一例を示す図である。
第４の実施形態に係る画像生成装置の制御方法における処理手順の一例を示すフローチャートである。
第５の実施形態に係る画像生成装置において、出力部が有する画像生成モデルの概念を説明するための図である。
第５の実施形態に係る画像生成装置において、出力部が有する画像生成モデルの学習を説明するための図である。
第６の実施形態に係る画像生成装置の制御方法における処理手順の一例を示すフローチャートである。
第７の実施形態に係る画像生成装置において、ディスプレイに表示されるＧＵＩ画面の一例を示す図である。
第８の実施形態に係る画像生成モデル生成装置の概略構成の一例を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許