特許ウォッチ

公開番号2025025520
公報種別公開特許公報(A)
公開日2025-02-21
出願番号2023130353
出願日2023-08-09
発明の名称符号化装置、符号化プログラム、プリ処理装置、及びプリ処理プログラム
出願人日本放送協会
代理人弁理士法人キュリーズ
主分類H04N 19/85 20140101AFI20250214BHJP(電気通信技術)
要約【課題】一定以上の精度を有する映像符号化モデル及びプリ処理モデルを有する符号化装置及びプログラム並びにプリ処理装置及びプログラムを提供する。
【解決手段】ニューラルネットワークを用いる符号化装置100は、入力映像の映像信号に対して、ピクチャ参照構造を利用して符号化処理を行い、符号化された符号化映像信号を出力する映像符号化部120と、ニューラルネットワーク映像符号化部130と、誤差判定部140と、を有する。ニューラルネットワーク映像符号化部は、学習済の第2ニューラルネットワークモデルを含み、第1ニューラルネットワークモデルに対する学習を行う。第2ニューラルネットワークモデルに対する学習は、第2映像信号に対して映像符号化部で符号化された符号化映像信号の符号量と、第2映像信号に対してニューラルネットワーク映像符号化部で符号化されたニューラルネットワーク符号化映像信号の符号量と、に基づいて行われる。
【選択図】図2
特許請求の範囲【請求項１】
第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を出力するプリ処理部と、
前記プリ処理後の映像信号に対して符号化処理を行い、符号化された符号化映像信号を出力する映像符号化部と、を有し、
前記第１ニューラルネットワークモデルに対する学習は、学習済の第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われ、
前記第２ニューラルネットワークモデルに対する学習は、第２映像信号に対して前記映像符号化部で符号化された符号化映像信号の符号量と、前記第２映像信号に対して前記ニューラルネットワーク映像符号化部で符号化されたニューラルネットワーク符号化映像信号の符号量とに基づいて行われる
符号化装置。
続きを表示（約 1,900 文字）【請求項２】
前記ニューラルネットワーク映像符号化部は、前記第２映像信号に対して、前記第２ニューラルネットワークモデルを用いてイントラ符号化及びインター符号化を行い、前記ニューラルネットワーク符号化映像信号を出力する
請求項１記載の符号化装置。
【請求項３】
前記第２ニューラルネットワークモデルの学習の際に、前記符号化映像信号の符号量と前記ニューラルネットワーク符号化映像信号の符号量とを利用して、前記第２ニューラルネットワークモデルのパラメータを最適化する第１誤差判定部を、更に有する
請求項２記載の符号化装置。
【請求項４】
前記第１誤差判定部は、前記符号化映像信号の符号量と前記ニューラルネットワーク符号化映像信号の符号量とを含む損失関数を利用して、前記第２ニューラルネットワークモデルの前記パラメータを最適化する
請求項３記載の符号化装置。
【請求項５】
前記損失関数は、前記符号化映像信号の符号量と前記ニューラルネットワーク符号化映像信号の符号量との比率から算出されるスケーリングファクタを含む
請求項４記載の符号化装置。
【請求項６】
前記第１ニューラルネットワークモデルの学習の際に、前記プリ処理後の映像信号に対する前記ニューラルネットワーク映像符号化部の出力であるニューラルネットワーク符号化映像信号と、前記プリ処理部に入力される第３映像信号とに対する誤差判定を行い、前記第１ニューラルネットワークモデルのパラメータを最適化する第２誤差判定部を、更に有する
請求項１記載の符号化装置。
【請求項７】
符号化装置のコンピュータに実行させる符号化プログラムであって、
第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を出力する処理と、
前記プリ処理後の映像信号に対して符号化処理を行い、符号化された符号化映像信号を出力する処理とを、コンピュータに実行させ、
前記第１ニューラルネットワークモデルに対する学習は、学習済の第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われ、
前記第２ニューラルネットワークモデルに対する学習は、第２映像信号に対して前記映像符号化部で符号化された符号化映像信号の符号量と、前記第２映像信号に対して前記ニューラルネットワーク映像符号化部で符号化されたニューラルネットワーク符号化映像信号の符号量とに基づいて行われる
符号化プログラム。
【請求項８】
プリ処理装置であって、
第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を符号化装置へ出力するプリ処理部、を有し、
前記符号化装置では、前記プリ処理後の映像信号に対して符号化処理が行われ、符号化された符号化映像信号を出力し、
前記第１ニューラルネットワークモデルに対する学習は、学習済の第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われ、
前記第２ニューラルネットワークモデルに対する学習は、第２映像信号に対して前記映像符号化部で符号化された符号化映像信号の符号量と、前記第２映像信号に対して前記ニューラルネットワーク映像符号化部で符号化されたニューラルネットワーク符号化映像信号の符号量とに基づいて行われる
プリ処理装置。
【請求項９】
プリ処理装置のコンピュータで実行されるプリ処理プログラムであって、
第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を符号化装置へ出力する処理、をコンピュータに実行させ、
前記符号化装置では、前記プリ処理後の映像信号に対して符号化処理が行われ、符号化された符号化映像信号を出力し、
前記第１ニューラルネットワークモデルに対する学習は、学習済の第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われ、
前記第２ニューラルネットワークモデルに対する学習は、第２映像信号に対して前記映像符号化部で符号化された符号化映像信号の符号量と、前記第２映像信号に対して前記ニューラルネットワーク映像符号化部で符号化されたニューラルネットワーク符号化映像信号の符号量とに基づいて行われる
プリ処理プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、符号化装置、符号化プログラム、プリ処理装置、及びプリ処理プログラムに関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
近年、ニューラルネットワークを用いた符号化方法が注目されつつある。
【０００３】
例えば、現画像と過去画像との動きベクトルを検出する動き検出処理と、動きベクトルから予測画像を生成する動き補償処理と、原画像と予測画像との差分画像を変換（例えば、ＤＣＴ変換など）する変換処理などを、ＣＮＮ（Convolutional Neural Network）を用いて行う符号化手法がある（例えば、非特許文献１）。このような符号化手法をエンドツーエンド（ｅｎｄ－ｔｏ－ｅｎｄ）で最適化させることで、ＨＥＶＣ（High Efficiency Video Coding）などの従来型の符号化方式と同程度の符号化効率を得ることができる。
【０００４】
また、ニューラルネットワークを用いた符号化手法と合わせて、符号化前に、プリ処理（ｐｒｅｐｒｏｃｅｓｓｉｎｇ）を行う符号化手法もある（例えば、非特許文献２及び非特許文献３）。プリ処理を用いた符号化手法に関し、ＭＳ－ＳＳＩＭ（Multi-Scale Structural Similarity）又はＶＭＡＦ（Video Multimethod Assessment Fusion）による主観画質指標を用いると、Ｈ．２６４などの従来型の符号化方式と比較して、符号化効率が向上することが報告されている。
【０００５】
更に、プリ処理と符号化処理とを、画像に映る対象物を自動的に検出したり分類したりするマシンビジョンタスクに適用する技術もある（例えば、非特許文献４）。当該技術も、学習時には、ニューラルネットワークモデルで構成されるプリ処理、符号化処理、及びマシンビジョンタスクをエンドツーエンドで共同最適化を図るようにしている。
【先行技術文献】
【非特許文献】
【０００６】
G. Lu, W. Ouyang, D. Xu, X. Zhang, C. Cai and Z. Gao, "DVC: An End-To-End Deep Video Compression Framework," 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019 April 7, pp. 10998-11007.
A. Chadha and Y. Andreopoulos, "Deep Perceptual Preprocessing for Video Coding," 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp. 14847-14856.
A. Chadha, R. Anam, I. Fadeev, V. Giotsas, and Y. Andreopoulos, “Escaping The Complexity-Bitrate-Quality Barriers Of Video Encoders Via Deep Perceptual Optimization,” SPIE2020, Optical Engineering + Applications.
G. Lu, X. Ge, T. Zhong, J. Geng, and Q. Hu, “Preprocessing enhanced image compression for machine vision,” arXiv preprint arXiv:2206.05650, 2022.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本開示は、一定以上の精度を有する映像符号化モデル及びプリ処理モデルを有する符号化装置、符号化プログラム、プリ処理装置、及びプリ処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の態様に係る符号化装置は、第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を出力するプリ処理部を有する。また、符号化装置は、プリ処理後の映像信号に対して符号化処理を行い、符号化された符号化映像信号を出力する映像符号化部を有する。ここで、第１ニューラルネットワークモデルに対する学習は、学習済の第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われる。また、第２ニューラルネットワークモデルに対する学習は、第２映像信号に対して映像符号化部で符号化された符号化映像信号の符号量と、第２映像信号に対してニューラルネットワーク映像符号化部で符号化されたニューラルネットワーク符号化映像信号の符号量とに基づいて行われる。
【０００９】
第２の態様に係る符号化プログラムは、符号化装置のコンピュータに実行させる符号化プログラムである。符号化プログラムは、第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を出力する処理をコンピュータに実行させる。また、符号化プログラムは、プリ処理後の映像信号に対して符号化処理を行い、符号化された符号化映像信号を出力する処理をコンピュータに実行させる。第１ニューラルネットワークモデルに対する学習は、学習済の第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われる。また、第２ニューラルネットワークモデルに対する学習は、第２映像信号に対して映像符号化部で符号化された符号化映像信号の符号量と、第２映像信号に対してニューラルネットワーク映像符号化部で符号化されたニューラルネットワーク符号化映像信号の符号量とに基づいて行われる。
【００１０】
第３の態様に係るプリ処理装置は、第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を符号化装置へ出力するプリ処理部を有する。符号化装置では、プリ処理後の映像信号に対して符号化処理が行われ、符号化された符号化映像信号を出力する。第１ニューラルネットワークモデルに対する学習は、学習済の第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われる。また、第２ニューラルネットワークモデルに対する学習は、第２映像信号に対して映像符号化部で符号化された符号化映像信号の符号量と、第２映像信号に対してニューラルネットワーク映像符号化部で符号化されたニューラルネットワーク符号化映像信号の符号量とに基づいて行われる。
（【００１１】以降は省略されています）

関連特許