特許ウォッチ

公開番号2024165745
公報種別公開特許公報(A)
公開日2024-11-28
出願番号2023082221
出願日2023-05-18
発明の名称画像処理装置、画像処理方法および画像処理プログラム
出願人株式会社島津製作所
代理人個人,個人
主分類A61B 6/00 20240101AFI20241121BHJP(医学または獣医学;衛生学)
要約【課題】ノイズが含まれる複数のフレーム画像に基づいて補間画像を生成する場合でも、補間画像を精度よく生成することが可能な画像処理装置を提供する。
【解決手段】この画像処理装置100は、動画像を構成する複数のフレーム画像10を取得する画像取得部1と、複数のフレーム画像10を処理する画像処理部2とを備え、画像処理部2は、複数のフレーム画像10のうちの撮影時刻の異なる2つのフレーム画像10からそれぞれ、ノイズが低減された第1成分を含む第1成分画像11を取得し、2つのフレーム画像10の一方から、第1成分と異なる第2成分を含む第2成分画像12を取得し、2つの第1成分画像11に基づいて、第1成分の変位量30を推定し、2つの第1成分画像11の第1成分の変位量30、および、第2成分画像12に基づいて、2つのフレーム画像10と異なる時刻の補間画像13を生成するように構成されている。
【選択図】図7
特許請求の範囲【請求項１】
動画像を構成する複数のフレーム画像を処理する画像処理装置であって、
前記複数のフレーム画像を取得する画像取得部と、
前記画像取得部によって取得された前記複数のフレーム画像を処理する画像処理部とを備え、
前記画像処理部は、
前記複数のフレーム画像のうちの撮影時刻の異なる２つのフレーム画像からそれぞれ、ノイズが低減された第１成分を含む第１成分画像を取得し、
前記２つのフレーム画像の一方から、前記第１成分と異なる第２成分を含む第２成分画像を取得し、
２つの前記第１成分画像に基づいて、前記第１成分の変位量を推定し、
前記２つの第１成分画像の前記第１成分の変位量、および、前記第２成分画像に基づいて、前記２つのフレーム画像と異なる時刻の補間画像を生成するように構成されている、画像処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記画像処理部は、
前記２つの第１成分画像に基づいて、ノイズが低減された前記第１成分を含むとともに、前記２つのフレーム画像と異なる時刻の第１成分中間画像を生成し、
前記２つの第１成分画像の一方と前記第１成分中間画像とに基づいて、前記第１成分の変位量を推定し、
推定した前記第１成分の変位量に基づいて、前記第２成分画像における前記第２成分を変換することにより、変換画像を取得し、
前記第１成分中間画像と、前記変換画像とに基づいて、前記補間画像を生成するように構成されている、請求項１に記載の画像処理装置。
【請求項３】
前記フレーム画像は、放射線画像を含み、
前記画像処理部は、動画像である前記放射線画像に基づいて、前記第１成分画像および前記第２成分画像を取得するように構成されている、請求項２に記載の画像処理装置。
【請求項４】
前記画像処理部は、複数の画像に基づいて画像成分が変位した画像を生成することを学習させた第１学習済みモデルに対して前記２つの第１成分画像を入力することにより、前記第１成分中間画像を生成するように構成されている、請求項３に記載の画像処理装置。
【請求項５】
前記画像処理部は、前記複数のフレーム画像、および、前記補間画像のいずれかに基づいて、前記第１成分画像を生成するように構成されている、請求項１に記載の画像処理装置。
【請求項６】
前記画像処理部は、前記補間画像を生成する際に、前記第１成分中間画像のコントラスト、および、前記第２成分画像のコントラストに基づいた重み付けを行ったうえで、前記第１成分中間画像と前記変換画像とを合成するように構成されている、請求項２に記載の画像処理装置。
【請求項７】
前記画像処理部は、前記２つの第１成分画像に基づいて、前記２つの第１成分画像のフレーム間における前記第１成分の動きベクトルを取得するとともに、取得した前記動きベクトルに基づいて前記第１成分の変位量を推定するか、または、複数の画像から画像成分の変位量を推定することを学習させた第２学習済みモデルに対して前記２つの第１成分画像を入力することにより、前記第１成分の変位量を推定するように構成されている、請求項１に記載の画像処理装置。
【請求項８】
前記画像処理部は、周波数成分処理、フィルタ処理、および、学習済みモデルを用いた処理のうちの、少なくともいずれかの処理によって前記２つのフレーム画像の各々に含まれるノイズを低減し、前記２つの第１成分画像を生成するように構成されている、請求項１に記載の画像処理装置。
【請求項９】
前記画像処理部は、前記２つのフレーム画像に対して周波数成分処理を行うことにより、少なくとも高周波成分と低周波成分とに分離し、前記高周波成分と前記低周波成分とのうちの、前記低周波成分を含む画像を、前記第１成分画像として生成するように構成されている、請求項８に記載の画像処理装置。
【請求項１０】
前記画像処理部は、前記２つのフレーム画像に対して平滑化フィルタによるフィルタ処理を行うことにより、前記第１成分画像を生成するように構成されている、請求項８に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関し、特に、動画像に含まれるフレーム画像の枚数を増加させる画像処理装置、画像処理方法および画像処理プログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
従来、動画像に含まれるフレーム画像の枚数を増加させる画像処理装置が知られている（たとえば、特許文献１参照）。
【０００３】
上記特許文献１には、フレームメモリと、動きベクトル検出部と、フレーム周波数変換メモリとを備える補間フレーム生成装置が開示されている。上記特許文献１に開示されている構成は、動きベクトル検出部が、入力された画像信号の現在フレームと、フレームメモリによって生成された現在フレームよりも１フレーム前のフレームとに基づいて、フレーム間における動きベクトルを検出する。また、上記特許文献１には、動きベクトル検出部によって検出された動きベクトルに基づいて、現在フレームと、現在フレームよりも１フレーム前のフレームとの間の補間フレームを生成する構成が開示されている。また、上記特許文献１には、フレーム周波数変換メモリが、現在フレームと補間フレームとを交互に読み出すことにより、入力された画像信号のフレーム周波数の２倍の周波数の画像信号を生成する構成が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１９－５７８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、上記特許文献１に開示されているように、画像信号に含まれる複数のフレーム（複数のフレーム画像）に基づいて動きベクトルを算出し、補間フレーム（補間画像）を生成する場合、複数のフレーム画像にノイズが含まれると、動きベクトルを精度よく検出できないという不都合がある。動きベクトルを精度よく検出できない場合、補間画像を精度よく生成することができないという問題点がある。
【０００６】
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、ノイズが含まれる複数のフレーム画像に基づいて補間画像を生成する場合でも、補間画像を精度よく生成することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
この発明の第１の局面における画像処理装置は、動画像を構成する複数のフレーム画像を処理する画像処理装置であって、複数のフレーム画像を取得する画像取得部と、画像取得部によって取得された複数のフレーム画像を処理する画像処理部とを備え、画像処理部は、複数のフレーム画像のうちの撮影時刻の異なる２つのフレーム画像からそれぞれ、ノイズが低減された第１成分を含む第１成分画像を取得し、２つのフレーム画像の一方から、第１成分と異なる第２成分を含む第２成分画像を取得し、２つの第１成分画像に基づいて、第１成分の変位量を推定し、２つの第１成分画像の第１成分の変位量、および、第２成分画像に基づいて、２つのフレーム画像と異なる時刻の補間画像を生成するように構成されている。
【０００８】
この発明の第２の局面における画像処理装置は、動画像の放射線画像を構成する複数のフレーム画像を処理する画像処理装置であって、動画像である放射線画像を取得する画像取得部と、画像取得部によって取得された放射線画像を処理する画像処理部とを備え、画像処理部は、放射線画像に含まれる複数のフレーム画像のうちの撮影時刻の異なる２つのフレーム画像からそれぞれ、ノイズが低減された第１成分を含む第１成分画像を取得し、２つのフレーム画像の一方から、第１成分と異なる第２成分を含む第２成分画像を取得し、２つの第１成分画像に基づいて、第１成分の変位量を推定し、２つの第１成分画像の第１成分の変位量、および、第２成分画像に基づいて、２つのフレーム画像と異なる時刻の放射線画像である放射線補間画像を生成するように構成されている。
【０００９】
この発明の第３の局面における画像処理方法は、動画像を構成する複数のフレーム画像を処理する画像処理方法であって、複数のフレーム画像のうちの撮影時刻の異なる２つのフレーム画像からそれぞれ、ノイズが低減された第１成分を含む第１成分画像を取得するステップと、２つのフレーム画像の一方から、第１成分と異なる第２成分を含む第２成分画像を取得するステップと、２つの第１成分画像に基づいて、第１成分の変位量を推定するステップと、２つの第１成分画像の第１成分の変位量、および、第２成分画像に基づいて、２つのフレーム画像と異なる時刻の補間画像を生成するステップとを備える。
【００１０】
この発明の第４の局面における画像処理プログラムは、動画像を構成する複数のフレーム画像を処理する画像処理装置において実行される画像処理プログラムであって、複数のフレーム画像のうちの撮影時刻の異なる２つのフレーム画像からそれぞれ、ノイズが低減された第１成分を含む第１成分画像を取得する処理と、２つのフレーム画像の一方から、第１成分と異なる第２成分を含む第２成分画像を取得する処理と、２つの第１成分画像に基づいて、第１成分の変位量を推定する処理と、２つの第１成分画像の第１成分の変位量、および、第２成分画像に基づいて、２つのフレーム画像と異なる時刻の補間画像を生成する処理と、を画像処理装置に実行させる。
【発明の効果】
（【００１１】以降は省略されています）

関連特許