特許ウォッチ

公開番号2024178486
公報種別公開特許公報(A)
公開日2024-12-25
出願番号2021188749
出願日2021-11-19
発明の名称動画像符号化装置、動画像復号装置
出願人シャープ株式会社
代理人個人,個人
主分類H04N 19/82 20140101AFI20241218BHJP(電気通信技術)
要約【課題】NNフィルタ部とccALF処理部とのどちらか一方のみを適用的に切り替える動画像符号化装置及び動画像復号装置を提供する。
【解決手段】動画像伝送システムにおいて、動画像復号装置のループフィルタは、予測画像と残差画像の和から再構成画像を生成し、輝度と色差信号から2層以上の積和演算を用いたフィルタ処理を行うNNフィルタ部と、輝度と色差信号から色差信号を導出するccALF処理部を備え、NNフィルタ部若しくはccALF処理部のどちらか一方のみを排他的に再構成画像に適応する。
【選択図】図14
特許請求の範囲【請求項１】
予測画像と残差画像の和から再構成画像を生成し、
輝度と色差信号から２層以上の積和演算を用いたフィルタ処理を行うNNフィルタ部と、輝度と色差信号から色差信号を導出するccALF処理部を備え、上記NNフィルタ部もしくは上記ccALF処理部のどちらか一方のみを排他的に再構成画像に適応することを特徴とする動画像復号装置。
続きを表示（約 2,800 文字）【請求項２】
SPS、ピクチャヘッダもしくは、スライスヘッダで上記NNフィルタ部の処理が利用可能かを示すsh_nn_enabled_flagと、上記ccALF処理部の処理が利用可能かを示すsh_alf_cc_cb_enabled_flag及びsh_alf_cc_cr_enabled_flagを符号化データから復号するヘッダ復号部を備え、上記ヘッダ復号部は、上記sh_nn_enabled_flagが利用可能な値の場合に、上記sh_alf_cc_cb_enabled_flag及びsh_alf_cc_cr_enabled_flagを符号化データから復号せずに利用可能ではないことを示す値に設定するか、あるいは、上記sh_alf_cc_cb_enabled_flag及びsh_alf_cc_cr_enabled_flagが利用可能な値の場合に、上記sh_nn_enabled_flagを符号化データから復号せずに利用可能ではないことを示す値に設定することを特徴とする請求項１に記載の動画像復号装置。
【請求項３】
スライスヘッダでsh_nn_enabled_flagとsh_alf_cc_cb_enabled_flag及びsh_alf_cc_cr_enabled_flagを符号化データから復号するヘッダ復号部と、CTUごとにnn_ctb_scale_idxを復号するCT情報復号部3021と、上記nn_ctb_scale_idxに応じて輝度と色差信号からフィルタ処理を行うNNフィルタ部と、alf_ctb_cc_cb_flag、alf_ctb_cc_cr_flagが1の場合に輝度と色差信号から色差信号を導出するccALF処理部を備え、nn_ctb_scale_idxか、もしくはalf_ctb_cc_cb_flag及びalf_ctb_cc_cr_flagのどちらか一方のみを復号し、一方が1以上の場合には他方を0とすることを特徴とする請求項１に動画像復号装置。
【請求項４】
上記CT情報復号部3021は、nn_ctb_scale_idxが1以上の場合に、alf_ctb_cc_cb_flag、alf_ctb_cc_cr_flagを復号せずに0を導出することを特徴とする請求項１に記載の動画像復号装置。
【請求項５】
上記CT情報復号部3021は、alf_ctb_cc_cb_flag、alf_ctb_cc_cr_flagが1の場合に、nn_ctb_scale_idxを復号せずに0を導出することを特徴とする請求項１に記載の動画像復号装置。
【請求項６】
スライスヘッダでsh_nn_enabled_flagとsh_alf_enabled_flagを復号するヘッダ復号部と、CTUごとにNNフラグからnn_ctb_scale_idxを復号するCT情報復号部3021と、nn_ctb_scale_idxが1以上の場合に輝度と色差信号からフィルタ処理を行うNNフィルタ部と、alf_ctb_flagが1の場合にエッジ強度によりフィルタ処理を切り替えながら適用するALF処理部を備え、nn_ctb_scale_idxか、もしくはalf_ctb_flagのどちらか一方のみを復号し、一方が1以上の場合には他方が0となることを特徴とする動画像復号装置。
【請求項７】
パラメータセット、ピクチャヘッダ、もしくは、スライスヘッダで符号化データからNNモデルインデックスを符号化データから復号するヘッダ復号部と、CTU単位でNN部分モデルインデックスを符号化データから復号するCT情報復号部3021と、複数の部分モデルから構成されるニューラルネットワークによりフィルタ処理を行うNNフィルタ部と、ニューラルネットワークモデルの上記モデルのパラメータを切り替えるNNモデル選択部と、ニューラルネットワークモデルの上記複数の部分モデルのうち特定の部分モデルのパラメータを切り替えるNN部分モデル選択部を備え、
上記NNフィルタ部は、上記NNモデルインデックスに基づいて、上記NNフィルタ部で使用するモデルを選択し、上記NN部分モデル選択部は、上記NN部分モデルインデックスに基づい
て上記特定の部分モデルのパラメータを切り替えることを特徴とする動画像復号装置。
【請求項８】
上記モデル選択部は、第一の領域単位でモデルを切り替え、上記部分モデル選択部は、第一の領域よりも小さい第二の領域単位で部分モデルを切り替えることを特徴とする、請求項７に記載の動画像復号装置。
【請求項９】
スライスヘッダで符号化データからフィルタパラメータを復号するヘッダ復号部と、デブロッキングフィルタ強度bSを導出するbS導出部と、復号画像に対してデブロッキングフィルタを適用するDF部と、上記復号画像に対してニューラルネットワークによりフィルタ処理を適用するNNフィルタ部と、画像合成部を備える動画像復号装置において、
上記bS導出部は、上記フィルタパラメータに応じて上記bSを導出し、
上記ヘッダ復号部は、上記フィルタパラメータとして、NNフィルタで用いるための第１のフィルタパラメータと、DFで用いるための第２のフィルタパラメータを復号し、
上記bS導出部は、第１のフィルタパラメータから第１のbS値（bS1）を導出し、第２のフィルタパラメータから第２のbS値（bS2）を導出し、
上記NNフィルタ部は、第１のbS値を用いてフィルタ処理を行い、
上記DF部は、第２のbS値を用いてフィルタ処理を行うことを特徴とする動画像復号装置。
【請求項１０】
スライスヘッダで符号化データからフィルタパラメータを復号するヘッダ復号部と、デブロッキングフィルタ強度bSを導出するbS導出部と、復号画像に対してデブロッキングフィルタを適用するDF部と、上記復号画像に対してニューラルネットワークによりフィルタ処理を適用するNNフィルタ部と、画像合成部を備える動画像復号装置において、
上記bS導出部は、上記フィルタパラメータに応じて上記bSを導出し、
上記ヘッダ復号部は、上記フィルタパラメータとして、NNフィルタで用いるためのNNフィルタパラメータと、DFで用いるためのフィルタパラメータとNNフィルタパラメータとの差分である差分パラメータを復号し、
上記bS導出部は、NNフィルタパラメータから第１のbS値（bS1）を導出し、NNフィルタパラメータと差分パラメータから第２のbS値（bS2）を導出し、
上記NNフィルタ部は、第１のbS値を用いてフィルタ処理を行い、
上記DF部は、第２のbS値を用いてフィルタ処理を行うことを特徴とする動画像復号装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、動画像符号化装置、動画像復号装置に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
【０００３】
具体的な動画像符号化方式としては、例えば、H.264/AVCやH.265/HEVC（High-Efficiency Video Coding）方式などが挙げられる。
【０００４】
このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び、符号化単位を分割することより得られる変換ユニット（TU：Transform Unit）からなる階層構造により管理され、CU毎に符号化／復号される。
【０００５】
また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測誤差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。また、符号化ループ内の量子化処理により発生する符号化ノイズを低減し、画質劣化がフレーム間で伝播することを防ぐ技術であるループ内フィルタ技術が規定されている。
【０００６】
また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられる。
【０００７】
非特許文献１においては、ループ内フィルタのSAOとALFの間にニューラルネットワークフィルタを配置し、入力によってCTUごとにネットワークモデルを適応的に選択する方法が開示されている。
【先行技術文献】
【非特許文献】
【０００８】
Z. Dai, Y. Yu, H. Yu, K. Sato, L. Xu, Z. Xie, D. Wang, "[AHG11] Neural Network-based Adaptive Model Selection for CNN In-Loop Filtering", JVET-X0126, Oct. 2021.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
非特許文献１では、入力画像に応じて適応的にネットワークパラメータ全体を切り替えている。しかしながら、ネットワークパラメータ全体を切り替える場合、CTUなどの小さなブロック単位でのパラメータの切替が困難である。また、非特許文献１では、ALFの前にNN（Neural Network）フィルタ処理を行っているが、NNフィルタを施した後に逐次的にALFクラス分類、フィルタリングを行うと、処理に時間を要する問題があった。
【課題を解決するための手段】
【００１０】
本発明の一態様に係る動画像復号装置は、パラメータセット、ピクチャヘッダ、もしくは、スライスヘッダでNNモデルインデックスを符号化データから復号するヘッダ復号部と、CTU単位でNNレイヤインデックスを符号化データから復号するCT情報復号部3021と、複数の層から構成されるニューラルネットワークによりフィルタ処理を行うNNフィルタ部と、ニューラルネットワークモデルの上記複数の層のうち特定の層のパラメータを切り替えるNNレイヤ選択部を備え、上記NNフィルタ部は、上記NNモデルインデックスに基づいて、上記NNフィルタ部で使用するモデルを選択し、上記NNレイヤ選択部は、上記NNレイヤインデックスに基づいて上記特定の層のパラメータを切り替える。
（【００１１】以降は省略されています）

関連特許