発明の詳細な説明【技術分野】 【０００１】 本開示は、符号化装置、符号化プログラム、プリ処理装置、及びプリ処理プログラムに関する。 続きを表示（約 2,600 文字）【背景技術】 【０００２】 近年、ニューラルネットワークを用いた符号化方法が注目されつつある。 【０００３】 例えば、現画像と過去画像との動きベクトルを検出する動き検出処理と、動きベクトルから予測画像を生成する動き補償処理と、原画像と予測画像との差分画像を変換（例えば、ＤＣＴ変換など）する変換処理などを、ＣＮＮ（Convolutional Neural Network）を用いて行う符号化手法がある（例えば、非特許文献１）。このような符号化手法をエンドツーエンド（ｅｎｄ－ｔｏ－ｅｎｄ）で最適化させることで、ＨＥＶＣ（High Efficiency Video Coding）などの従来型の符号化方式と同程度の符号化効率を得ることができる。 【０００４】 また、ニューラルネットワークを用いた符号化手法と合わせて、符号化前に、プリ処理（ｐｒｅｐｒｏｃｅｓｓｉｎｇ）を行う符号化手法もある（例えば、非特許文献２及び非特許文献３）。プリ処理を用いた符号化手法に関し、ＭＳ－ＳＳＩＭ（Multi-Scale Structural Similarity）又はＶＭＡＦ（Video Multimethod Assessment Fusion）による主観画質指標を用いると、Ｈ．２６４などの従来型の符号化方式と比較して、符号化効率が向上することが報告されている。 【先行技術文献】 【非特許文献】 【０００５】 G. Lu, W. Ouyang, D. Xu, X. Zhang, C. Cai and Z. Gao, "DVC: An End-To-End Deep Video Compression Framework," 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019 April 7, pp. 10998-11007. A. Chadha and Y. Andreopoulos, "Deep Perceptual Preprocessing for Video Coding," 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp. 14847-14856. A. Chadha, R. Anam, I. Fadeev, V. Giotsas, and Y. Andreopoulos, “Escaping The Complexity-Bitrate-Quality Barriers Of Video Encoders Via Deep Perceptual Optimization,” SPIE2020, Optical Engineering + Applications. 【発明の概要】 【発明が解決しようとする課題】 【０００６】 本開示は、主観画質だけではなく客観画質を向上させることが可能な符号化装置、符号化プログラム、プリ処理装置、及びプリ処理プログラムを提供することを目的とする。 【課題を解決するための手段】 【０００７】 第１の態様に係る符号化装置は、第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を出力するプリ処理部を有する。また、符号化装置は、プリ処理後の映像信号に対してピクチャ参照構造を利用して符号化処理を行い、符号化された符号化映像信号を出力する映像符号化部を有する。ここで、第１ニューラルネットワークモデルに対する学習は、映像符号化部で用いられるピクチャ参照構造と同一のピクチャ参照構造を利用して学習された第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われる。 【０００８】 第２の態様に係る符号化プログラムは、符号化装置のコンピュータに実行させる符号化プログラムである。前記符号化プログラムは、第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を出力する処理をコンピュータに実行させる。また、前記符号化プログラムは、プリ処理後の映像信号に対してピクチャ参照構造を利用して符号化処理を行い、符号化された符号化映像信号を出力する処理をコンピュータに実行させる。ここで、第１ニューラルネットワークモデルに対する学習は、符号化映像信号を出力する処理で用いられるピクチャ参照構造と同一のピクチャ参照構造を利用して学習された第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われる。 【０００９】 第３の態様に係るプリ処理装置は、第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を符号化装置へ出力するプリ処理部を有する。符号化装置では、プリ処理後の映像信号に対してピクチャ参照構造を利用して符号化処理が行われる。そして、第１ニューラルネットワークモデルに対する学習は、符号化装置で用いられるピクチャ参照構造と同一のピクチャ参照構造を利用して学習された第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われる。 【００１０】 第４の態様に係るプリ処理プログラムは、プリ処理装置のコンピュータで実行されるプリ処理プログラムである。前記プリ処理プログラムは、第１映像信号に対して、学習済の第１ニューラルネットワークモデルを用いてプリ処理を行い、プリ処理後の映像信号を符号化装置へ出力する処理、をコンピュータに実行させる。符号化装置では、プリ処理後の映像信号に対してピクチャ参照構造を利用して符号化処理が行われる。第１ニューラルネットワークモデルに対する学習は、符号化装置で用いられるピクチャ参照構造と同一のピクチャ参照構造を利用して学習された第２ニューラルネットワークモデルを含むニューラルネットワーク映像符号化部を用いて行われる。 【発明の効果】 （【００１１】以降は省略されています） この特許をJ-PlatPatで参照する
特許ウォッチ
