特許ウォッチ

公開番号2025025340
公報種別公開特許公報(A)
公開日2025-02-21
出願番号2023130025
出願日2023-08-09
発明の名称符号化装置、符号化プログラム、プリ処理装置、及びプリ処理プログラム
出願人日本放送協会
代理人弁理士法人キュリーズ
主分類H04N 19/85 20140101AFI20250214BHJP(電気通信技術)
要約【課題】一定以上の精度を有する映像符号化モデル及びプリ処理モデルを有する符号化装置、符号化プログラム、プリ処理装置、及びプリ処理プログラムを提供する。
【解決手段】一態様に係る符号化装置100は、第1映像信号に対して、学習済の第1ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を出力するプリ処理部110を有する。また、符号化装置100は、プリ処理後の映像信号に対して符号化処理を行い、符号化された符号化映像信号を出力する映像符号化部120を有する。第1ニューラルネットワークモデルに対する学習は、学習済の第2ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部130を用いて行われる。また、第2ニューラルネットワークモデルに対する学習は、映像符号化部110において第2映像信号を符号化する際に生成された第1予測画像の映像信号と、ニューラルネットワーク映像符号化部130において第2映像信号を符号化する際に生成された第2予測画像の映像信号とを利用して行われる。
【選択図】図2
特許請求の範囲【請求項１】
第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を出力するプリ処理部と、
前記プリ処理後の映像信号に対して符号化処理を行い、符号化された符号化映像信号を出力する映像符号化部と、を有し、
前記第１ニューラルネットワークモデルに対する学習は、学習済の第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われ、
前記第２ニューラルネットワークモデルに対する学習は、前記映像符号化部において第２映像信号を符号化する際に生成された第１予測画像の映像信号と、前記ニューラルネットワーク映像符号化部において前記第２映像信号を符号化する際に生成された第２予測画像の映像信号とを利用して行われる
符号化装置。
続きを表示（約 1,900 文字）【請求項２】
前記ニューラルネットワーク映像符号化部は、前記第２映像信号に対して、前記第２ニューラルネットワークモデルを用いてイントラ符号化及びインター符号化を行い、ニューラルネットワーク符号化映像信号を出力する
請求項１記載の符号化装置。
【請求項３】
前記第２ニューラルネットワークモデルの学習の際に、前記第１予測画像の映像信号と、前記第２予測画像の映像信号とを利用して、前記第２ニューラルネットワークモデルのパラメータを最適化する第１誤差判定部を、更に有する
請求項２記載の符号化装置。
【請求項４】
前記第１誤差判定部は、前記第１予測画像の映像信号と前記第２予測画像の映像信号との歪みと、前記映像符号化部から出力される前記符号化映像信号と前記ニューラルネットワーク符号化映像から出力される前記ニューラルネットワーク符号化映像信号との歪みと、前記ニューラルネットワーク符号化映像信号の符号量と、を最小化させるように、前記第２ニューラルネットワークモデルのパラメータを最適化する
請求項３記載の符号化装置。
【請求項５】
前記第１ニューラルネットワークモデルの学習の際に、前記プリ処理後の映像信号に対する前記ニューラルネットワーク映像符号化部の出力であるニューラルネットワーク符号化映像信号と、前記プリ処理部に入力される第３映像信号とに対する誤差判定を行い、前記第１ニューラルネットワークモデルのパラメータを最適化する第２誤差判定部を、更に有する
請求項１記載の符号化装置。
【請求項６】
符号化装置のコンピュータに実行させる符号化プログラムであって、
第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を出力する処理と、
前記プリ処理後の映像信号に対して符号化処理を行い、符号化された符号化映像信号を出力する処理を、コンピュータに実行させ、
前記第１ニューラルネットワークモデルに対する学習は、学習済の第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われ、
前記第２ニューラルネットワークモデルに対する学習は、前記映像符号化部において第２映像信号を符号化する際に生成された第１予測画像の映像信号と、前記ニューラルネットワーク映像符号化部において前記第２映像信号を符号化する際に生成された第２予測画像の映像信号とを利用して行われる
符号化プログラム。
【請求項７】
プリ処理装置であって、
第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を符号化装置へ出力するプリ処理部、を有し、
前記符号化装置では、前記プリ処理後の映像信号に対して符号化処理を行い、符号化された符号化映像信号を出力し、
前記第１ニューラルネットワークモデルに対する学習は、学習済の第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われ、
前記第２ニューラルネットワークモデルに対する学習は、前記映像符号化部において第２映像信号を符号化する際に生成された第１予測画像の映像信号と、前記ニューラルネットワーク映像符号化部において前記第２映像信号を符号化する際に生成された第２予測画像の映像信号とを利用して行われる
プリ処理装置。
【請求項８】
プリ処理装置のコンピュータで実行されるプリ処理プログラムであって、
第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を符号化装置へ出力する処理、をコンピュータに実行させ、
前記符号化装置では、前記プリ処理後の映像信号に対して符号化処理を行い、符号化された符号化映像信号を出力し、
前記第１ニューラルネットワークモデルに対する学習は、学習済の第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われ、
前記第２ニューラルネットワークモデルに対する学習は、前記映像符号化部において第２映像信号を符号化する際に生成された第１予測画像の映像信号と、前記ニューラルネットワーク映像符号化部において前記第２映像信号を符号化する際に生成された第２予測画像の映像信号とを利用して行われる
プリ処理プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、符号化装置、符号化プログラム、プリ処理装置、及びプリ処理プログラムに関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
近年、ニューラルネットワークを用いた符号化方法が注目されつつある。
【０００３】
例えば、現画像と過去画像との動きベクトルを検出する動き検出処理と、動きベクトルから予測画像を生成する動き補償処理と、原画像と予測画像との差分画像を変換（例えば、ＤＣＴ変換など）する変換処理などを、ＣＮＮ（Convolutional Neural Network）を用いて行う符号化手法がある（例えば、非特許文献１）。このような符号化手法をエンドツーエンド（ｅｎｄ－ｔｏ－ｅｎｄ）で最適化させることで、ＨＥＶＣ（High Efficiency Video Coding）などの従来型の符号化方式と同程度の符号化効率を得ることができる。
【０００４】
また、ニューラルネットワークを用いた符号化手法と合わせて、符号化前に、プリ処理（ｐｒｅｐｒｏｃｅｓｓｉｎｇ）を行う符号化手法もある（例えば、非特許文献２及び非特許文献３）。プリ処理を用いた符号化手法に関し、ＭＳ－ＳＳＩＭ（Multi-Scale Structural Similarity）又はＶＭＡＦ（Video Multimethod Assessment Fusion）による主観画質指標を用いると、Ｈ．２６４などの従来型の符号化方式と比較して、符号化効率が向上することが報告されている。
【０００５】
更に、ニューラルネットワークによるプリ処理と、映像符号化規格を模したニューラルネットワーク（「補助コーデックネットワーク」と呼ばれる）と、エンドツーエンドで発生するビット量を予測するニューラルネットワークと、復元画像に対してニューラルネットワークを用いたポスト処理と行う符号化手法もある（例えば非特許文献４）。非特許文献４では、全体としてビットレートを抑制しつつ、補助コーデックネットワークを映像符号化規格に模倣できるよう学習することについて報告されている。
【先行技術文献】
【非特許文献】
【０００６】
G. Lu, W. Ouyang, D. Xu, X. Zhang, C. Cai and Z. Gao, "DVC: An End-To-End Deep Video Compression Framework," 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019 April 7, pp. 10998-11007.
A. Chadha and Y. Andreopoulos, "Deep Perceptual Preprocessing for Video Coding," 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp. 14847-14856.
A. Chadha, R. Anam, I. Fadeev, V. Giotsas, and Y. Andreopoulos, “Escaping The Complexity-Bitrate-Quality Barriers Of Video Encoders Via Deep Perceptual Optimization,” SPIE2020, Optical Engineering + Applications.
Hanbin Son, Taeoh Kim, Hyeongmin Lee, Sangyoun Lee: “Enhanced Standard Compatible Image Compression Framework based on Auxiliary Codec Networks”, 2020; arXiv:2009.14754.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本開示は、一定以上の精度を有する映像符号化モデル及びプリ処理モデルを有する符号化装置、符号化プログラム、プリ処理装置、及びプリ処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の態様に係る符号化装置は、第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を出力するプリ処理部を有する。また、符号化装置は、プリ処理後の映像信号に対して符号化処理を行い、符号化された符号化映像信号を出力する映像符号化部を有する。第１ニューラルネットワークモデルに対する学習は、学習済の第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われる。また、第２ニューラルネットワークモデルに対する学習は、映像符号化部において第２映像信号を符号化する際に生成された第１予測画像の映像信号と、ニューラルネットワーク映像符号化部において第２映像信号を符号化する際に生成された第２予測画像の映像信号とを利用して行われる。
【０００９】
第２の態様に係る符号化プログラムは、符号化装置のコンピュータに実行させる符号化プログラムである。符号化プログラムは、第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を出力する処理をコンピュータに実行させる。また、符号化プログラムは、プリ処理後の映像信号に対して符号化処理を行い、符号化された符号化映像信号を出力する処理を、コンピュータに実行させる。第１ニューラルネットワークモデルに対する学習は、学習済の第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われる。また、第２ニューラルネットワークモデルに対する学習は、映像符号化部において第２映像信号を符号化する際に生成された第１予測画像の映像信号と、ニューラルネットワーク映像符号化部において第２映像信号を符号化する際に生成された第２予測画像の映像信号とを利用して行われる。
【００１０】
第３の態様に係るプリ処理装置は、第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を符号化装置へ出力するプリ処理部を有する。符号化装置では、プリ処理後の映像信号に対して符号化処理を行い、符号化された符号化映像信号を出力する。第１ニューラルネットワークモデルに対する学習は、学習済の第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われる。また、第２ニューラルネットワークモデルに対する学習は、映像符号化部において第２映像信号を符号化する際に生成された第１予測画像の映像信号と、ニューラルネットワーク映像符号化部において第２映像信号を符号化する際に生成された第２予測画像の映像信号とを利用して行われる。
（【００１１】以降は省略されています）

関連特許