特許ウォッチ

公開番号2024047918
公報種別公開特許公報(A)
公開日2024-04-08
出願番号2022153692
出願日2022-09-27
発明の名称動画像符号化装置、動画像復号装置
出願人シャープ株式会社
代理人個人,個人,個人,個人
主分類H04N 19/70 20140101AFI20240401BHJP(電気通信技術)
要約【課題】
従来のニューラルネットワークポストフィルタ特性SEIの仕様では、ポストフィルタ処理を実行するためには、ピクチャ単位にSEIを伝送する必要があり、すべてのピクチャで同一のポストフィルタ処理を行う場合には冗長であるという課題がある。
【解決手段】
本発明の一態様に係る動画像復号装置は、符号化データを復号して復号画像を生成する画像復号装置と、シーケンス単位に逆変換情報を補助拡張情報として復号する逆変換情報復号装置と、前記復号画像を、前記逆変換情報を用いて、指定された解像度に変換を行うニューラルネットワークを用いた解像度逆変換装置を有し、前記逆変換情報を用いた解像度逆変換処理を、シーケンス単位で適用するかピクチャ単位で適用するかの情報を復号することを特徴とする。
【選択図】図1
特許請求の範囲【請求項１】
符号化データを復号して復号画像を生成する画像復号装置と、
シーケンス単位に逆変換情報を補助拡張情報として復号する逆変換情報復号装置と、
前記復号画像を、前記逆変換情報を用いて、指定された解像度に変換を行うニューラルネットワークを用いた解像度逆変換装置を有し、
前記逆変換情報を用いた解像度逆変換処理を、シーケンス単位で適用するかピクチャ単位で適用するかの情報を復号することを特徴とする動画像復号装置。
続きを表示（約 650 文字）【請求項２】
符号化データを復号して復号画像を生成する画像復号装置と、
逆変換情報を補助拡張情報としてシーケンス単位に復号する逆変換情報復号装置と、
前記復号画像を、前記逆変換情報を用いて、指定された解像度に変換を行うニューラルネットワークを用いた解像度逆変換装置を有し、
前記逆変換情報を用いた解像度逆変換処理を、階層毎に適用するかの情報を復号することを特徴とする動画像復号装置。
【請求項３】
画像を符号化して符号化データを生成する画像符号化装置と、
前記符号化データを復号した時の復号画像の解像度を逆変換するための逆変換情報を生成する逆変換情報生成装置と、
前記逆変換情報を補助拡張情報としてシーケンス単位に符号化する逆変換情報符号化装置を有し、
前記逆変換情報を用いた解像度逆変換処理をシーケンス単位で適用するかピクチャ単位で適用するかの情報を符号化することを特徴とする動画像符号化装置。
【請求項４】
画像を符号化して符号化データを生成する画像符号化装置と、
前記符号化データを復号した時の復号画像の解像度を逆変換するための逆変換情報を生成する逆変換情報生成装置と、
前記逆変換情報を補助拡張情報としてシーケンス単位に符号化する逆変換情報符号化装置を有し、
前記逆変換情報を用いた解像度逆変換処理を、階層毎に適用するかの情報を符号化することを特徴とする動画像符号化装置。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、動画像符号化装置、動画像復号装置に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
【０００３】
具体的な動画像符号化方式としては、例えば、H.264/AVCやH.265/HEVC（High-Efficiency Video Coding）方式などが挙げられる。
【０００４】
このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び、符号化単位を分割することより得られる変換ユニット（TU：Transform Unit）からなる階層構造により管理され、CU毎に符号化／復号される。
【０００５】
また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測誤差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
【０００６】
H.274には、画像の性質や、表示方法、タイミングなどを符号化データと同時に伝送するための補助拡張情報SEI（Supplemental Enhancement Information）messageが規定されている。
【０００７】
非特許文献１においては、ポストフィルタとして利用されるニューラルネットワークフィルタのトポロジーとパラメータをランダムアクセス可能な単位で伝送するSEIが開示されている。また、ポストフィルタ処理を行うかをピクチャ単位で伝送するSEIが開示されている。
【先行技術文献】
【非特許文献】
【０００８】
S. McCarthy, T. Chujoh, M. M. Hannuksela, G. J. Sullivan and Y.-K. Wang, "Additional SEI messages for VSEI (Draft 1)," JVET-AA2006-v2, Aug.19, 2022.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、非特許文献１で開示されている方法では、ポストフィルタ処理を実行するためには、ピクチャ単位にSEIを伝送する必要があり、すべてのピクチャで同一のポストフィルタ処理を行う場合には冗長であるという課題があった。
【課題を解決するための手段】
【００１０】
本発明の一態様に係る動画像復号装置は、
符号化データを復号して復号画像を生成する画像復号装置と、
シーケンス単位に逆変換情報を補助拡張情報として復号する逆変換情報復号装置と、
前記復号画像を、前記逆変換情報を用いて、指定された解像度に変換を行うニューラルネットワークを用いた解像度逆変換装置を有し、
前記逆変換情報を用いた解像度逆変換処理を、シーケンス単位で適用するかピクチャ単位で適用するかの情報を復号することを特徴とする。
（【００１１】以降は省略されています）

関連特許