特許ウォッチ

公開番号2024153912
公報種別公開特許公報(A)
公開日2024-10-29
出願番号2024130676,2020214498
出願日2024-08-07,2020-12-24
発明の名称X線画像処理装置およびX線画像処理方法
出願人株式会社島津製作所
代理人個人,個人
主分類A61B 6/00 20240101AFI20241022BHJP(医学または獣医学;衛生学)
要約【課題】超解像処理を施した場合に高周波成分が高精細化できないことを抑制することにより、着目する部位の視認性を向上させることが可能なX線画像処理装置を提供する。
【解決手段】このX線画像処理装置100は、X線画像10を取得する画像取得部1と、X線画像10を高周波成分画像11と低周波成分画像12とに周波数分解する周波数分解処理部2aと、画像の解像度を高めることを学習させた学習済みの学習モデル40によって、高周波成分画像11から高周波成分画像11よりも解像度が高い画像である高解像度高周波成分画像を生成する高解像度画像生成部2bと、低周波成分画像12に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより高解像度X線画像13を生成する画像合成部2cと、を含む。
【選択図】図1
特許請求の範囲【請求項１】
Ｘ線画像を取得する画像取得部と、
前記Ｘ線画像を高周波成分画像と低周波成分画像とに周波数分解する周波数分解処理部と、
画像の解像度を高めることを学習させた学習済みの学習モデルによって、前記高周波成分画像から前記高周波成分画像よりも解像度が高い画像である高解像度高周波成分画像を生成する高解像度画像生成部と、
前記Ｘ線画像から前記高周波成分画像が除かれた周波数分解された前記低周波成分画像に基づく画像と前記高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像を生成する画像合成部と、
前記周波数分解処理部による周波数分解処理を行う前、または、周波数分解処理を行った後のいずれかにおいて画像を拡大する画像拡大部と、を含む、Ｘ線画像処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記高解像度画像生成部は、前記低周波成分画像から前記低周波成分画像よりも解像度が高い画像を生成する処理は行わず、前記高周波成分画像から前記高解像度高周波成分画像を生成する処理を行うように構成されている、請求項１に記載のＸ線画像処理装置。
【請求項３】
前記画像取得部は、動画像としての前記Ｘ線画像を取得するように構成されており、
前記周波数分解処理部は、動画像としての前記Ｘ線画像のフレームを取得する度に、取得したフレームに対して周波数分解処理を行うことにより、フレーム毎に前記低周波成分画像と前記高周波成分画像とを取得するように構成されており、
前記高解像度画像生成部は、フレーム毎に取得された前記高周波成分画像から前記高解像度高周波成分画像を生成するように構成されており、
前記画像合成部は、フレーム毎の前記低周波成分画像とフレーム毎の前記高解像度高周波成分画像とを合成することにより、動画像としての前記高解像度Ｘ線画像を生成するように構成されている、請求項１または２に記載のＸ線画像処理装置。
【請求項４】
前記周波数分解処理部は、前記Ｘ線画像に対して平滑化フィルタ処理を行うことにより、前記低周波成分画像を取得するとともに、前記Ｘ線画像から前記低周波成分画像を差分することにより、前記高周波成分画像を取得するように構成されている、請求項１～３のいずれか１項に記載のＸ線画像処理装置。
【請求項５】
前記画像拡大部は、前記周波数分解処理部によって周波数分解することにより取得された前記低周波成分画像を拡大することにより、低周波成分拡大画像を生成するように構成されており、
前記学習モデルは、画像の解像度を高める際に、生成する画像を拡大することをさらに学習されており、
前記高解像度画像生成部は、前記学習モデルによって、前記高周波成分画像から、前記高周波成分画像よりも解像度が向上し、かつ、拡大された高解像度高周波成分拡大画像を生成するように構成されており、
前記画像合成部は、前記低周波成分拡大画像と、前記高解像度高周波成分拡大画像とを合成することにより、前記高解像度Ｘ線画像を生成するように構成されている、請求項１に記載のＸ線画像処理装置。
【請求項６】
前記画像拡大部は、可逆変換可能な補間アルゴリズムによって画像を拡大するように構成されている、請求項１に記載のＸ線画像処理装置。
【請求項７】
Ｘ線画像を取得するステップと、
前記Ｘ線画像を高周波成分画像と低周波成分画像とに周波数分解するステップと、
学習済みの学習モデルによって、前記高周波成分画像から前記高周波成分画像よりも解像度が高い画像である高解像度高周波成分画像を生成するステップと、
前記Ｘ線画像から前記高周波成分画像が除かれた周波数分解された前記低周波成分画像に基づく画像と前記高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像を生成するステップと、
周波数分解処理を行う前、または、周波数分解処理を行った後のいずれかにおいて画像を拡大するステップと、を含む、Ｘ線画像処理方法。

発明の詳細な説明【技術分野】
【０００１】
この発明は、Ｘ線画像処理装置およびＸ線画像処理方法に関し、特に、学習モデルによって画像の解像度を向上させるＸ線画像処理装置およびＸ線画像処理方法に関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
従来、学習モデルによって画像の解像度を向上させるＸ線画像処理装置が知られている（たとえば、非特許文献１参照）。
【０００３】
上記非特許文献１には、学習済みの学習モデルによって、画像の解像度を向上させる構成が開示されている。具体的には、上記非特許文献１には、教師用の低解像画像と、教師用の高解像度画像とを用いて、低解像度画像から高精細な高解像度画像を推定する超解像処理を学習モデルに学習させる構成が開示されている。上記非特許文献１では、取得した画像である原画像に拡大処理を適用することにより作成した精細さが低い画像を、教師用の低解像度画像として用いる。また、上記非特許文献１では、原画像を教師用の高解像度画像として用いている。上記非特許文献１に開示されているような超解像処理は、教師用低解像度画像の精細さを教師用高解像度画像の精細さに近づけることを学習モデルに学習させる。また、上記非特許文献１では、学習モデルは、三層の畳み込み層で構成される。
【先行技術文献】
【非特許文献】
【０００４】
Chao Dong et. al., Image Super-Resolution Using Deep Convolutional Networks, arXiv:1501.00092v3 [cs.CV], 31 July 2015
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、画像の周波数成分には、エッジ部分などの高周波成分と、背景などの低周波成分とが含まれる。医師などが着目する部位は、たとえば、血管や血管内に導入されたデバイスなどであり、高周波成分に含まれる。一般的に、画像に含まれる周波数成分の割合は、低周波成分のほうが高周波成分よりも多い。上記非特許文献１に開示されている超解像処理の学習では、画像に含まれる全ての周波数成分に対して精細さを向上させることを学習モデルに学習させる。そのため、上記非特許文献１に開示されている超解像処理の学習では、低周波成分の精細さを向上させることを学習する割合と、高周波成分の精細さを向上させることを学習する割合とを比較した場合、低周波成分の精細さを向上させることを学習する割合の方が大きくなる。したがって、上記非特許文献１に開示されているような超解像処理によって画像の解像度および精細さを向上させる処理を行った場合、低周波数成分の精細さの向上度合いと比較して、高周波成分の精細さの向上度合いが低くなるという不都合がある。この場合、超解像処理を施した場合でも、高周波成分が高精細化できない場合がある。その結果、高周波成分に含まれる医師などが着目する部位の視認性が向上しない場合があるという問題点がある。
【０００６】
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、超解像処理を施した場合に高周波成分が高精細化できないことを抑制することにより、着目する部位の視認性を向上させることが可能なＸ線画像処理装置およびＸ線画像処理方法を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、この発明の第１の局面によるＸ線画像処理装置は、Ｘ線画像を取得する画像取得部と、Ｘ線画像を高周波成分画像と低周波成分画像とに周波数分解する周波数分解処理部と、画像の解像度を高めることを学習させた学習済みの学習モデルによって、高周波成分画像から高周波成分画像よりも解像度が高い画像である高解像度高周波成分画像を生成する高解像度画像生成部と、Ｘ線画像から高周波成分画像が除かれた周波数分解された低周波成分画像に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像を生成する画像合成部と、周波数分解処理部による周波数分解処理を行う前、または、周波数分解処理を行った後のいずれかにおいて画像を拡大する画像拡大部と、を含む。
【０００８】
また、上記目的を達成するために、この発明の第２の局面によるＸ線画像処理方法は、Ｘ線画像を取得するステップと、Ｘ線画像を高周波成分画像と低周波成分画像とに周波数分解するステップと、学習済みの学習モデルによって、高周波成分画像から高周波成分画像よりも解像度が高い画像である高解像度高周波成分画像を生成するステップと、Ｘ線画像から高周波成分画像が除かれた周波数分解された低周波成分画像に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像を生成するステップと、周波数分解処理を行う前、または、周波数分解処理を行った後のいずれかにおいて画像を拡大するステップと、を含む。
【発明の効果】
【０００９】
上記第１の局面におけるＸ線画像撮像装置では、上記のように、Ｘ線画像を高周波成分画像と低周波成分画像とに周波数分解する周波数分解処理部と、高周波成分画像から高周波成分画像よりも解像度が高い画像である高解像度高周波成分画像を生成する高解像度画像生成部と、Ｘ線画像から高周波成分画像が除かれた周波数分解された低周波成分画像に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像を生成する画像合成部と、周波数分解処理部による周波数分解処理を行う前、または、周波数分解処理を行った後のいずれかにおいて画像を拡大する画像拡大部と、を含む。これにより、高解像度画像生成部が、低周波数成分画像と高周波成分画像とを分けた状態で解像度を向上させるため、高周波成分および低周波成分の両方の成分を含むＸ線画像に対して解像度を向上させる処理を行う構成と比較して、高周波成分画像の高精細化の度合いが低下することを抑制することができる。その結果、超解像処理を施した場合に高周波成分が高精細化できないことを抑制することにより、着目する部位の視認性を向上させることが可能なＸ線画像処理装置を提供することができる。
【００１０】
また、上記第２の局面におけるＸ線画像処理方法では、上記のように、Ｘ線画像を高周波成分画像と低周波成分画像とに周波数分解するステップと、学習済みの学習モデルによって、高周波成分画像から高周波成分画像よりも解像度が高い画像である高解像度高周波成分画像を生成するステップと、Ｘ線画像から高周波成分画像が除かれた周波数分解された低周波成分画像に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像を生成するステップと、周波数分解処理を行う前、または、周波数分解処理を行った後のいずれかにおいて画像を拡大するステップと、を含む。これにより、上記第１の局面によるＸ線画像処理装置と同様に、超解像処理を施した場合に高周波成分が高精細化できないことを抑制することにより、着目する部位の視認性を向上させることが可能なＸ線画像処理方法を提供することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許