特許ウォッチ

公開番号2025129953
公報種別公開特許公報(A)
公開日2025-09-05
出願番号2024026953
出願日2024-02-26
発明の名称映像変換装置、映像変換方法及び映像変換プログラム
出願人株式会社JVCケンウッド
代理人弁理士法人酒井国際特許事務所
主分類H04N 23/60 20230101AFI20250829BHJP(電気通信技術)
要約【課題】フレーム画像の変換に要する処理の負担を軽減する。
【解決手段】映像変換装置は、入力映像信号に含まれるそれぞれのフレーム画像間の動きベクトルの検出を行い、入力映像信号に含まれるそれぞれのフレーム画像間の相関度を評価し、相関度が所定値未満となるフレーム画像を変換する場合には、第1画像生成部で当該フレーム画像に対して所定の画像変換を行うことで第1変換画像を生成し、相関度が所定値以上となるフレーム画像を変換する場合には、当該フレーム画像の動きベクトルと第1画像生成部で生成された第1変換画像とに基づいて第2画像生成部でフレーム補間を行うことで第2変換画像を生成し、第1変換画像と第2変換画像とを時系列に基づいて合成して変換映像信号を生成する。
【選択図】図1
特許請求の範囲【請求項１】
入力映像信号を構成する複数のフレーム画像をそれぞれ変換して変換映像信号を生成する映像変換装置であって、
前記入力映像信号に含まれるそれぞれの前記フレーム画像について、過去の前記フレーム画像との間の動きベクトルを検出する動きベクトル検出部と、
前記入力映像信号に含まれるそれぞれの前記フレーム画像について、隣り合う前記フレーム画像との間の相関度を評価する相関度評価部と、
前記フレーム画像に対して所定の画像変換を行うことで第１変換画像を生成する第１画像生成部と、
前記フレーム画像について、前記第１画像生成部で生成された前記第１変換画像と当該フレーム画像の前記動きベクトルとに基づいてフレーム補間を行うことで第２変換画像を生成する第２画像生成部と、
前記相関度評価部で評価された前記相関度が所定値未満となる前記フレーム画像を変換する場合には前記第１画像生成部で前記第１変換画像を生成し、前記相関度評価部で評価された前記相関度が前記所定値以上となる前記フレーム画像を変換する場合には前記第２画像生成部で前記第２変換画像を生成するように制御する画像生成制御部と、
生成された前記第１変換画像及び前記第２変換画像を時系列に基づいて合成して変換映像信号を生成する映像合成部と
を備える映像変換装置。
続きを表示（約 1,200 文字）【請求項２】
前記画像生成制御部は、前記入力映像信号の前記フレーム画像におけるオブジェクト画像と、前記第１変換画像又は前記第２変換画像における変換後オブジェクト画像との類似度が所定値よりも高い場合には、前記第１変換画像又は前記第２変換画像の前記変換後オブジェクト画像に対応する対応領域の少なくとも一部を改変する改変処理を行う
請求項１に記載の映像変換装置。
【請求項３】
前記改変処理は、前記対応領域の少なくとも一部にぼかしを施す処理を含む
請求項２に記載の映像変換装置。
【請求項４】
入力映像信号を構成する複数のフレーム画像をそれぞれ変換して変換映像信号を生成する映像変換方法であって、
前記入力映像信号に含まれるそれぞれの前記フレーム画像について、過去の前記フレーム画像との間の動きベクトルを検出するステップと、
前記入力映像信号に含まれるそれぞれの前記フレーム画像について、隣り合う前記フレーム画像との間の相関度を評価するステップと、
前記相関度が所定値未満となる前記フレーム画像を変換する場合には、第１画像生成部で当該フレーム画像に対して所定の画像変換を行うことで第１変換画像を生成し、前記相関度が前記所定値以上となる前記フレーム画像を変換する場合には、当該フレーム画像の前記動きベクトルと前記第１画像生成部で生成された前記第１変換画像とに基づいて第２画像生成部でフレーム補間を行うことで第２変換画像を生成するステップと、
生成された前記第１変換画像及び前記第２変換画像を時系列に基づいて合成して変換映像信号を生成するステップと
を含む映像変換方法。
【請求項５】
入力映像信号を構成する複数のフレーム画像をそれぞれ変換して変換映像信号を生成する映像変換プログラムであって、
前記入力映像信号に含まれるそれぞれの前記フレーム画像について、過去の前記フレーム画像との間の動きベクトルを検出する処理と、
前記入力映像信号に含まれるそれぞれの前記フレーム画像について、隣り合う前記フレーム画像との間の相関度を評価する処理と、
前記相関度が所定値未満となる前記フレーム画像を変換する場合には、第１画像生成部で当該フレーム画像に対して所定の画像変換を行うことで第１変換画像を生成し、前記相関度が前記所定値以上となる前記フレーム画像を変換する場合には、当該フレーム画像の前記動きベクトルと前記第１画像生成部で生成された前記第１変換画像とに基づいて第２画像生成部でフレーム補間を行うことで第２変換画像を生成する処理と、
生成された前記第１変換画像及び前記第２変換画像を時系列に基づいて合成して変換映像信号を生成する処理と
をコンピュータに実行させる映像変換プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、映像変換装置、映像変換方法及び映像変換プログラムに関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
特許文献１には、カメラ等の撮影装置で撮影された映像信号のフレーム画像から補間フレームを生成し、フレームレートを変更する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１０－２１３２８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、撮影装置で撮影された映像信号に含まれるフレーム画像を１フレーム毎に変換することで画風の変更等を行う技術が開発されている。このような画像変換を行う場合、変換対象となる画像の数が多く、処理の負担が大きくなるおそれがある。
【０００５】
本発明は、上記に鑑みてなされたものであり、フレーム画像の変換に要する処理の負担を軽減することが可能な映像変換装置、映像変換方法及び映像変換プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る映像変換装置は、入力映像信号を構成する複数のフレーム画像をそれぞれ変換して変換映像信号を生成する映像変換装置であって、前記入力映像信号に含まれるそれぞれの前記フレーム画像について、過去の前記フレーム画像との間の動きベクトルを検出する動きベクトル検出部と、前記入力映像信号に含まれるそれぞれの前記フレーム画像について、隣り合う前記フレーム画像との間の相関度を評価する相関度評価部と、前記フレーム画像に対して所定の画像変換を行うことで第１変換画像を生成する第１画像生成部と、前記フレーム画像について、前記第１画像生成部で生成された前記第１変換画像と当該フレーム画像の前記動きベクトルとに基づいてフレーム補間を行うことで第２変換画像を生成する第２画像生成部と、前記相関度評価部で評価された前記相関度が所定値未満となる前記フレーム画像を変換する場合には前記第１画像生成部で前記第１変換画像を生成し、前記相関度評価部で評価された前記相関度が前記所定値以上となる前記フレーム画像を変換する場合には前記第２画像生成部で前記第２変換画像を生成するように制御する画像生成制御部と、生成された前記第１変換画像及び前記第２変換画像を時系列に基づいて合成して変換映像信号を生成する映像合成部とを備える。
【０００７】
本発明に係る映像変換方法は、入力映像信号を構成する複数のフレーム画像をそれぞれ変換して変換映像信号を生成する映像変換方法であって、前記入力映像信号に含まれるそれぞれの前記フレーム画像について、過去の前記フレーム画像との間の動きベクトルを検出するステップと、前記入力映像信号に含まれるそれぞれの前記フレーム画像について、隣り合う前記フレーム画像との間の相関度を評価するステップと、前記相関度が所定値未満となる前記フレーム画像を変換する場合には、第１画像生成部で当該フレーム画像に対して所定の画像変換を行うことで第１変換画像を生成し、前記相関度が前記所定値以上となる前記フレーム画像を変換する場合には、当該フレーム画像の前記動きベクトルと前記第１画像生成部で生成された前記第１変換画像とに基づいて第２画像生成部でフレーム補間を行うことで第２変換画像を生成するステップと、生成された前記第１変換画像及び前記第２変換画像を時系列に基づいて合成して変換映像信号を生成するステップとを含む。
【０００８】
本発明に係る映像変換プログラムは、入力映像信号を構成する複数のフレーム画像をそれぞれ変換して変換映像信号を生成する映像変換プログラムであって、前記入力映像信号に含まれるそれぞれの前記フレーム画像について、過去の前記フレーム画像との間の動きベクトルを検出する処理と、前記入力映像信号に含まれるそれぞれの前記フレーム画像について、隣り合う前記フレーム画像との間の相関度を評価する処理と、前記相関度が所定値未満となる前記フレーム画像を変換する場合には、第１画像生成部で当該フレーム画像に対して所定の画像変換を行うことで第１変換画像を生成し、前記相関度が前記所定値以上となる前記フレーム画像を変換する場合には、当該フレーム画像の前記動きベクトルと前記第１画像生成部で生成された前記第１変換画像とに基づいて第２画像生成部でフレーム補間を行うことで第２変換画像を生成する処理と、生成された前記第１変換画像及び前記第２変換画像を時系列に基づいて合成して変換映像信号を生成する処理とをコンピュータに実行させる。
【発明の効果】
【０００９】
本発明によれば、フレーム画像の変換に要する処理の負担を軽減することができる。
【図面の簡単な説明】
【００１０】
図１は、本実施形態に係る映像変換装置の一例を示す機能ブロック図である。
図２は、本実施形態に係る映像変換方法の一例を示すフローチャートである。
図３は、入力映像信号に含まれるフレーム画像の一例を模式的に示す図である。
図４は、第１画像生成部において第１変換映像を生成する処理を模式的に示す図である。
図５は、第２画像生成部において第２変換映像を生成する処理を模式的に示す図である。
図６は、第２画像生成部において第２変換映像を生成する処理を模式的に示す図である。
図７は、変換後オブジェクト画像を改変する処理の一例を模式的に示す図である。
図８は、変換映像信号の生成処理の一例を模式的に示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許