特許ウォッチ

公開番号2024133543
公報種別公開特許公報(A)
公開日2024-10-02
出願番号2024105868,2023062262
出願日2024-07-01,2018-08-03
発明の名称画像フィルタ装置、画像復号装置、および画像符号化装置
出願人シャープ株式会社
代理人個人
主分類H04N 19/117 20140101AFI20240925BHJP(電気通信技術)
要約【課題】入力画像データに対し、画像特性に応じたフィルタを適用する画像フィルタ装置、画像復号装置及び画像符号化装置を提供する。
【解決手段】画像符号化装置において、画像フィルタ装置であるCNN(畳み込みニューラルネットワーク)フィルタ装置107は、フィルタ前画像を入力し、方向性やアクティビティ等の特徴を抽出する第1のCNNフィルタ107b1と、符号化パラメータを入力し、フィルタ後画像を出力する第2のCNNフィルタ107b2と、を含む。第2のCNNフィルタ107b2は、画像処理結果と符号化パラメータを連結するConcatenate層と、を含む。
【選択図】図20
特許請求の範囲【請求項１】
ニューラルネットワークフィルタを備える画像フィルタ装置において、
上記ニューラルネットワークフィルタは、
（ｉ）第１の画像を入力し、第１の出力データを出力する第１のニューラルネットワークと、
（ｉｉ）符号化パラメータを入力し、第２の出力データを出力する第２のニューラルネットワークと、
（ｉｉｉ）該第１の出力データと該第２の出力データから結合データを導出する結合器と、
（ｉｖ）該結合データを用いて、第３の出力データを出力する第３のニューラルネットワークと、
（ｖ）該第３の出力データと該第１の画像を入力して、第４の出力データを出力する加算器と、を含むことを特徴とする画像フィルタ装置。
続きを表示（約 680 文字）【請求項２】
画像を復号する画像復号装置であって、
ニューラルネットワークフィルタを備え、
上記ニューラルネットワークフィルタは、
（ｉ）第１の画像を入力し、第１の出力データを出力する第１のニューラルネットワークと、
（ｉｉ）符号化パラメータを入力し、第２の出力データを出力する第２のニューラルネットワークと、
（ｉｉｉ）該第１の出力データと該第２の出力データから結合データを導出する結合器と、
（ｉｖ）該結合データを用いて、第３の出力データを出力する第３のニューラルネットワークと、
（ｖ）該第３の出力データと該第１の画像を入力して、第４の出力データを出力する加算器と、を含むことを特徴とする画像復号装置。
【請求項３】
画像を符号化する画像符号化装置であって、
ニューラルネットワークフィルタを備え、
上記ニューラルネットワークフィルタは、
（ｉ）第１の画像を入力し、第１の出力データを出力する第１のニューラルネットワークと、
（ｉｉ）符号化パラメータを入力し、第２の出力データを出力する第２のニューラルネットワークと、
（ｉｉｉ）該第１の出力データと該第２の出力データから結合データを導出する結合器と、
（ｉｖ）該結合データを用いて、第３の出力データを出力する第３のニューラルネットワークと、
（ｖ）該第３の出力データと該第１の画像を入力して、第４の出力データを出力する加算器と、を含むことを特徴とする画像復号装置。

発明の詳細な説明【技術分野】
【０００１】
本発明の一様態は、画像フィルタ装置、画像復号装置、および画像符号化装置に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
【０００３】
具体的な動画像符号化方式としては、例えば、H.264/AVCやHEVC（High-Efficiency Video Coding）にて提案されている方式などが挙げられる。
【０００４】
このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得
られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び
、符号化単位を分割することより得られるブロックである予測ユニット（PU）、変換ユニット（TU）からなる階層構造により管理され、CUごとに符号化／復号される。
【０００５】
また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
【０００６】
また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられる。
【０００７】
また、Variable-filter-size Residue-learning CNN (VRCNN)とよばれるニューラルネ
ットワークを使用する技術として非特許文献２が挙げられる。
【先行技術文献】
【非特許文献】
【０００８】
"Algorithm Description of Joint Exploration Test Model 6", JVET-F1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 31 March - 7 April 2017
"A Convolutional Neural Network Approach for Post-Processingin HEVC Intra Coding"
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述のニューラルネットワークを用いたフィルタ技術は量子化パラメータに応じて、ネットワーク全体を切り替えるのみであり、入力画像データの特性に応じたフィルタを適用する場合にネットワーク規模が大きくなるという問題があった。また、領域毎の符号化に適したフィルタを適用できないという問題があった。
【００１０】
本発明は、上記の問題に鑑みてなされたものであり、その目的は、従来の構成に比べて、入力画像データに対し、ネットワーク規模を抑えながら画像特性に応じたフィルタの適
用を実現することにある。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許