特許ウォッチ

公開番号2024102378
公報種別公開特許公報(A)
公開日2024-07-31
出願番号2021039720
出願日2021-03-11
発明の名称動画像符号化装置、復号装置
出願人シャープ株式会社
代理人個人
主分類H04N 19/117 20140101AFI20240724BHJP(電気通信技術)
要約【課題】あらかじめ定められたモデルパラメータの集合から入力動画像に適したモデルパラメータを選択し、適用する解像度逆変換を行う場合、複数のモデルパラメータに適さない動画像は低品質になる可能性がある。
【解決手段】
解像度変換を行った画像と第1のモデルパラメータを導出するためのフィルタ情報を符
号化した符号化データを復号する画像復号装置を有し、
前記画像復号装置で復号された画像とフィルタ情報を使用し、入力画像信号と同じ解像度に変換する後処理装置を有する。
また、第1のモデルパラメータを導出するためのフィルタ情報を作成する合成情報作成
装置と、解像度変換などで前処理された画像及び前記合成情報作成装置で作成したフィルタ情報を符号化する画像符号化装置を有する。
【選択図】図13
特許請求の範囲【請求項１】
第1のモデルパラメータを導出するためのフィルタ情報を復号するヘッダ復号部と、
復号した上記フィルタ情報からニューラルネットワークのモデルパラメータ（第１のモデルパラメータ）を導出するモデル統合部と、
導出された上記モデルパラメータを用いて、ループフィルタ処理もしくは後処理を行う後処理部を備え、
上記モデル統合部は、複数の重み係数と、ニューラルネットワークのモデルパラメータ（第２のモデルパラメータ）から上記第１のモデルパラメータを導出することを特徴とする画像復号装置。
続きを表示（約 890 文字）【請求項２】
上記モデル統合部は、上記重み係数と上記第２のモデルパラメータとの重みづけ平均から、上記第１のモデルパラメータを導出することを特徴とする請求項１に記載の画像復号装置。
【請求項３】
上記ヘッダ復号部は、非ゼロであるか否かを示すフラグを復号し、上記フラグが非ゼロを示す場合には、重み係数の大きさを復号することにより、上記重み係数を復号し、上記フラグがゼロを示す場合には重み係数を０と導出することを特徴とする請求項１に記載の画像復号装置。
【請求項４】
上記ヘッダ復号部は、負値の上記重み係数を復号することを特徴とする請求項１に記載の画像復号装置。
【請求項５】
上記ヘッダ復号部は、上記ニューラルネットワークの入力画像サイズと出力画像サイズの比を示すスケールファクタを復号することを特徴とする請求項１に記載の画像復号装置。
【請求項６】
上記モデル統合部は、上記スケールファクタにより異なる第２のモデルパラメータを用いて、第１のモデルパラメータを導出する請求項５に記載の画像復号装置。
【請求項７】
上記後処理部は、上記スケールファクタが１倍以外を示す場合に、画像のサイズを変更するニューラルネットワーク処理を一部に含むニューラルネットワークを用いて後処理を行うことを特徴とする請求項５に記載の画像復号装置。
【請求項８】
上記ヘッダ復号部は、後処理で用いられる第１のモデルパラメータのうち、重みづけしないパラメータの数を示す情報を復号することを特徴とする請求項１に記載の画像復号装置。
【請求項９】
入力画像信号に対して解像度変換などの処理を行う前処理装置と、
入力画像信号から第1のモデルパラメータを導出するために必要なフィルタ情報を作成
するフィルタ情報作成装置と、
前記前処理装置で処理された画像と、前記フィルタ情報作成装置で作成したフィルタ情報を符号化する画像符号化装置を有することを特徴とする動画像符号化装置。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、動画像符号化装置、復号装置に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
【０００３】
具体的な動画像符号化方式としては、例えば、H.264/AVCやH.265/HEVC（High-Efficiency Video Coding）方式などが挙げられる。
【０００４】
このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得
られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び
、符号化単位を分割することより得られる変換ユニット（TU：Transform Unit）からなる階層構造により管理され、CU毎に符号化／復号される。
【０００５】
また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測誤差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
【０００６】
また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられる。
【０００７】
非特許文献１においては、可変の画像解像度の符号化、復号を可能とするRPR(Reference Picture Re-sampling)技術が規定されている。さらに、非特許文献１のAnnex Dには、
画像の性質や、表示方法、タイミングなどを符号化データと同時に伝送するための付加拡張情報SEIが規定されている。
【０００８】
非特許文献２においては、複数のモデルパラメータを用いて動画像を超解像する技術が提案されている。対象とするピクチャに適したモデルパラメータを選択、使用することで動画像の品質を向上させている。また、非特許文献２で使用されているモデルパラメータはニューラルネットワークを用いた高解像度化手法に用いられるニューラルネットワークの重みである。非特許文献２では、従来のアップサンプリングフィルタ、一つのニューラルネットワークを用いた処理と比較して、ボケが少なく、元画像に近い画像を出力することが出来る。
【先行技術文献】
【非特許文献】
【０００９】
ITU-T Recommendation H.266 (08/20) 2020-08-29
T. Hori, Z. Gong, H. Watanabe, T. Ikai, T. Chujoh, E. Sasaki, and N. Ito,"CNN-based Super-Resolution Adapted to Quantization Parameters", International Workshop on Advanced Image Technology, IWAIT 2020, No.42, Jan. 2020.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、非特許文献１におけるRPRなどを用いて入力画像の少なくとも一部の画
像の解像度を落として符号化・復号し、元の（入力画像と同じ）解像度に戻す場合、ボケが発生しやすいという課題がある。
（【００１１】以降は省略されています）

関連特許