特許ウォッチ

公開番号2025066816
公報種別公開特許公報(A)
公開日2025-04-23
出願番号2025011978,2021059687
出願日2025-01-28,2021-03-31
発明の名称動画像復号装置、動画像符号化装置、動画像復号方法、及び、動画像符号化方法
出願人シャープ株式会社
代理人個人
主分類H04N 19/70 20140101AFI20250416BHJP(電気通信技術)
要約【課題】RPR(Reference Picture Re-sampling)等を用いて入力画像の解像度を落として符号化・復号し元の解像度に戻す場合、ニューラルネットワークパラメータを補助拡張情報で復号側に伝送して、復号画像を超解像することがある。この場合、画質は改善するが、補助拡張情報の符号量が多い場合、符号化効率が改善しないという課題があった。
【解決手段】動画像伝送システム1において、動画像復号装置30は、補助拡張情報のニューラルネットワークパラメータの部分更新に関連する情報と、更新するニューラルネットワークパラメータ情報と、を復号する逆変換情報復号装置を備え、ニューラルネットワークパラメータの部分更新に関連する情報と、補助拡張情報のサイズに基づいて、更新するニューラルネットワークパラメータ情報を復号する。逆変換情報復号装置は、画像復号装置に含まれてもよい。
【選択図】図1
特許請求の範囲【請求項１】
補助拡張情報を含む画像を符号化した符号化データを復号する動画像復号装置であって、
前記補助拡張情報のニューラルネットワークパラメータの部分更新に関連する情報と、更新するニューラルネットワークパラメータ情報を復号する復号部を備え、
前記ニューラルネットワークパラメータの部分更新に関連する情報と、前記補助拡張情報のサイズに基づいて、前記更新するニューラルネットワークパラメータ情報は復号されることを特徴とする動画像復号装置。
続きを表示（約 800 文字）【請求項２】
補助拡張情報を含む画像を符号化し、符号化データを生成する動画像符号化装置であって、
前記補助拡張情報のニューラルネットワークパラメータの部分更新に関連する情報と、更新するニューラルネットワークパラメータ情報を符号化する符号化部を備え、
前記ニューラルネットワークパラメータの部分更新に関連する情報と、前記更新するニューラルネットワークパラメータ情報のサイズに基づいて、前記更新するニューラルネットワークパラメータ情報は符号化されることを特徴とする動画像符号化装置。
【請求項３】
補助拡張情報を含む画像を符号化した符号化データを復号する動画像復号方法であって、
前記補助拡張情報のニューラルネットワークパラメータの部分更新に関連する情報と、更新するニューラルネットワークパラメータ情報を復号するステップを少なくとも含み、
前記ニューラルネットワークパラメータの部分更新に関連する情報と、に基づいて、ニューラルネットワークパラメータを更新する場合、前記更新するニューラルネットワークパラメータ情報のサイズに基づいて、前記更新するニューラルネットワークパラメータ情報は復号されることを特徴とする動画像復号方法。
【請求項４】
補助拡張情報を含む画像を符号化し、符号化データを生成する動画像符号化方法であって、
前記補助拡張情報のニューラルネットワークパラメータの部分更新に関連する情報と、更新するニューラルネットワークパラメータ情報を符号化するステップを少なくとも含み、
前記ニューラルネットワークパラメータの部分更新に関連する情報と、前記更新するニューラルネットワークパラメータ情報のサイズに基づいて、前記更新するニューラルネットワークパラメータ情報は符号化されることを特徴とする動画像符号化方法。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、動画像復号装置、動画像符号化装置、動画像復号方法、及び、動画像符号化方法に関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
【０００３】
具体的な動画像符号化方式としては、例えば、H.264/AVCやH.265/HEVC（High-Efficiency Video Coding）方式などが挙げられる。
【０００４】
このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び、符号化単位を分割することより得られる変換ユニット（TU：Transform Unit）からなる階層構造により管理され、CU毎に符号化／復号される。
【０００５】
また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測誤差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
【０００６】
また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられる。
【０００７】
非特許文献１においては、可変の画像解像度の符号化、復号を可能とするRPR(Reference Picture Re-sampling)技術が規定されている。さらに、非特許文献１のAnnex Dには、画像の性質や、表示方法、タイミングなどを符号化データと同時に伝送するための補助拡張情報SEIが規定されている。
【０００８】
非特許文献２においては、ニューラルネットワークパラメータを補助拡張情報SEIで復号側に伝送して、復号画像を超解像する技術が提案されている。
【先行技術文献】
【非特許文献】
【０００９】
ITU-T Recommendation H.266 (08/20) 2020-08-29
T. Chujoh, E. Sasaki and T. Ikai, AHG9/AHG11: Neural networkbased super resolution SEI, JVET Document, JVET-T0092, Oct. 2020.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、非特許文献１におけるRPRなどを用いて入力画像の少なくとも一部の画像の解像度を落として符号化・復号し、元の（入力画像と同じ）解像度に戻す場合、ボケが発生しやすいという課題がある。
（【００１１】以降は省略されています）

関連特許