特許ウォッチ

公開番号2024159663
公報種別公開特許公報(A)
公開日2024-11-08
出願番号2024071801
出願日2024-04-25
発明の名称映像拡大装置及びプログラム
出願人日本放送協会,一般財団法人NHK財団
代理人個人,個人,個人,個人
主分類H04N 19/85 20140101AFI20241031BHJP(電気通信技術)
要約【課題】復号映像を拡大処理した拡大映像の画質を向上させる。
【解決手段】映像拡大装置1は、パラメータ情報を取得するパラメータ取得部11と、復号映像の各画像に周波数分解処理を行って周波数分解画像を生成する周波数分解部12と、参照画像の低周波成分画像と被拡大画像との間で小ブロック単位の位置ずれ量を示す位置合わせ情報を生成する位置合わせ部13と、被拡大画像を低周波成分画像とする初期画像を生成し、位置合わせ情報に従って参照画像の高周波成分画像から初期画像の高周波帯域へ割り付ける割付部14と、割付画像に周波数再構成処理を行って拡大映像を生成する周波数再構成部15と、を備え、割付部14は、位置合わせ元と位置合わせ先の小ブロックの二乗誤差和又は絶対値誤差和が閾値以下の場合のみ割付処理を行い、パラメータ情報に応じて閾値を変化させる。
【選択図】図1
特許請求の範囲【請求項１】
符号化後に復号された復号映像を超解像処理により拡大する映像拡大装置であって、
符号化処理及び復号処理を行った際のパラメータ情報を取得するパラメータ取得部と、
復号映像の各画像に対して、周波数分解処理を行って周波数分解画像を生成する周波数分解部と、
前記復号映像のうちの被拡大画像を含む１枚以上の参照画像の低周波成分画像と、被拡大画像との間で、小ブロック単位の位置ずれ量を示す位置合わせ情報を生成する位置合わせ部と、
前記被拡大画像を低周波成分画像とする初期画像を生成し、前記位置合わせ情報に従って、前記参照画像の高周波成分画像から、前記初期画像の高周波帯域へ割り付け、割付画像を生成する割付部と、
前記割付画像に対して、周波数再構成処理を行って拡大映像を生成する周波数再構成部と、を備え、
前記割付部は、位置合わせ元と位置合わせ先の前記小ブロックの二乗誤差和又は絶対値誤差和が閾値以下である場合にのみ割付処理を行い、前記パラメータ情報に応じて前記閾値を変化させる、映像拡大装置。
続きを表示（約 1,100 文字）【請求項２】
前記パラメータ情報は、符号化及び復号の処理単位である分割ブロック毎の、量子化パラメータを示すＱＰ情報、又はフレーム間予測における動きベクトルを示す動きベクトル情報を含み、
前記割付部は、前記ＱＰ情報が示す量子化パラメータの値又は前記動きベクトル情報が示す動きベクトルの大きさが大きいほど前記閾値を小さくする、請求項１に記載の映像拡大装置。
【請求項３】
前記割付部は、前記位置合わせ元のピクチャと前記位置合わせ先のピクチャとの間の距離が遠いほど前記閾値を小さくする、請求項１又は２に記載の映像拡大装置。
【請求項４】
前記位置合わせ部は、前記低周波成分画像と前記被拡大画像との間で、小ブロック単位でブロックマッチングすることにより前記位置ずれ量を求める、請求項１又は２に記載の映像拡大装置。
【請求項５】
前記パラメータ情報は、符号化及び復号の処理単位である分割ブロック毎の、フレーム間予測における動きベクトルを示す動きベクトル情報を含み、
前記位置合わせ部は、前記被拡大画像を小ブロックに分割し、前記小ブロックと前記分割ブロックが同じ場合には、前記小ブロックに相当する分割ブロックの動きベクトルを前記低周波成分画像のサイズに応じてスケーリングすることにより前記位置ずれ量を求め、前記小ブロックと前記分割ブロックが異なる場合には、前記小ブロックに属する全ての分割ブロックの動きベクトルの平均ベクトル、又は前記小ブロックの基準点に属する分割ブロックの動きベクトルを、前記低周波成分画像のサイズに応じてスケーリングすることにより前記位置ずれ量を求める、請求項１又は２に記載の映像拡大装置。
【請求項６】
前記小ブロックのサイズは、前記分割ブロックのサイズと同一であり、
前記割付部は、前記二乗誤差和又は前記絶対値誤差和の１画素あたり換算値が閾値以下である場合にのみ前記割付処理を行う、請求項１又は２に記載の映像拡大装置。
【請求項７】
復号映像の各画像に対して、前記ＱＰ情報が示す量子化パラメータの値が第１閾値以上、又は前記動きベクトル情報が示す動きベクトルの大きさが第２閾値以上である場合にのみデブロッキング処理を行う前処理部を更に備え、
前記周波数分解部は、前記前処理部による処理後の画像に対して、周波数分解処理を行って周波数分解画像を生成する、請求項１又は２に記載の映像拡大装置。
【請求項８】
コンピュータを、請求項１に記載の映像拡大装置として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、映像を拡大する映像拡大装置及びプログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
Ｈ．２６５／ＨＥＶＣ(High Efficiency Video Coding)（以下、「ＨＥＶＣ」と称する。）やＨ．２６６／ＶＶＣ（Versatile Video Coding）（以下、「ＶＶＣ」と称する。）などの映像符号化方式では、ブロック分割、直交変換、量子化、エントロピー符号化、フレーム内予測、フレーム間予測などの要素技術を組み合わせて高効率化を実現している。
【０００３】
一方、原画像をより高解像の画像に変換する超解像技術として、一般的に、単一フレームを用いて超解像処理を行う単一フレーム超解像処理と、複数フレームを用いて超解像処理を行う複数フレーム超解像処理とが知られている。例えば、非特許文献１には、超解像処理技術について、単一フレーム超解像と複数フレーム超解像に分けて、関連技術の概説と動向が紹介されている。また、特許文献１には、スケーラビリティを利用した符号化装置において、ダウンサンプリングや超解像処理を用いて符号化効率を向上させる技術について開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２００９－１８２７７６号公報
【非特許文献】
【０００５】
奥富正敏，田中正行，竹島秀則，松本信幸，「画像超解像処理技術の最新動向」，電子情報通信学会誌，vol. 93，no. 8，pp. 693-698，Aug. 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
復号の後処理として映像の超解像拡大を行うシステムでは、４Ｋ放送などの映像を８Ｋモニタへ高画質に表示できる。また、縮小符号化した映像を復号後に拡大することで、超高圧縮符号化を行うこともできる。しかし、復号後に拡大した映像にはブロック歪などの符号化アーティファクトが発生することがあった。
【０００７】
かかる事情に鑑みてなされた本発明の目的は、復号映像を拡大処理した拡大映像の画質を向上させることが可能な映像拡大装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するための本発明の要旨構成は、以下のとおりである。
【０００９】
（１）符号化後に復号された復号映像を超解像処理により拡大する映像拡大装置であって、符号化処理及び復号処理を行った際のパラメータ情報を取得するパラメータ取得部と、復号映像の各画像に対して、周波数分解処理を行って周波数分解画像を生成する周波数分解部と、前記復号映像のうちの被拡大画像を含む１枚以上の参照画像の低周波成分画像と、被拡大画像との間で、小ブロック単位の位置ずれ量を示す位置合わせ情報を生成する位置合わせ部と、前記被拡大画像を低周波成分画像とする初期画像を生成し、前記位置合わせ情報に従って、前記参照画像の高周波成分画像から、前記初期画像の高周波帯域へ割り付け、割付画像を生成する割付部と、前記割付画像に対して、周波数再構成処理を行って拡大映像を生成する周波数再構成部と、を備え、前記割付部は、位置合わせ元と位置合わせ先の前記小ブロックの二乗誤差和又は絶対値誤差和が閾値以下である場合にのみ割付処理を行い、前記パラメータ情報に応じて前記閾値を変化させる、映像拡大装置。
【００１０】
（２）前記パラメータ情報は、符号化及び復号の処理単位である分割ブロック毎の、量子化パラメータを示すＱＰ情報、又はフレーム間予測における動きベクトルを示す動きベクトル情報を含み、前記割付部は、前記ＱＰ情報が示す量子化パラメータの値又は前記動きベクトル情報が示す動きベクトルの大きさが大きいほど前記閾値を小さくする、（１）に記載の映像拡大装置。
（【００１１】以降は省略されています）

関連特許