特許ウォッチ

公開番号2024047919
公報種別公開特許公報(A)
公開日2024-04-08
出願番号2022153693
出願日2022-09-27
発明の名称3Dデータ符号化装置および3Dデータ復号装置
出願人シャープ株式会社
代理人個人,個人,個人,個人
主分類H04N 19/597 20140101AFI20240401BHJP(電気通信技術)
要約【課題】深層学習ポストフィルタの付加情報の使用のみではアトリビュート画像ごと、フレームごとの画像の特徴が異なる場合、フィルタ強度の調節ができないため、画質改善の性能が低下する。
【解決手段】符号化データを復号し位置情報と属性情報から構成される3Dデータを復号する3Dデータ復号装置において、上記符号化データから深層学習ポストフィルタの付加情報を復号するヘッダ復号部と、上記符号化データからアトリビュート画像を復号するアトリビュート画像復号部と、上記アトリビュート画像のフィルタ処理を行うアトリビュート画像フィルタ部を備え、上記ヘッダ復号部は、上記アトリビュート画像フィルタが、上記アトリビュート画像に対してフィルタ処理を行うことを示す目的情報、及びアトリビュート画像単位で上記符号化データからQPを復号し、上記アトリビュート画像フィルタ部は、上記QPの適用方法を用いてブロックもしくはピクチャ単位で、ニューラルネットワークの入力テンソルの特定チャネルに復号したQPを設定する。
【選択図】図6
特許請求の範囲【請求項１】
符号化データを復号し位置情報と属性情報から構成される3Dデータを復号する3Dデータ復号装置において、
上記符号化データから深層学習ポストフィルタの付加情報を復号するヘッダ復号部と、
上記符号化データからアトリビュート画像を復号するアトリビュート画像復号部と、
上記アトリビュート画像のフィルタ処理を行うアトリビュート画像フィルタ部を備え、
上記ヘッダ復号部は、上記アトリビュート画像フィルタが、上記アトリビュート画像に対してフィルタ処理を行うことを示す目的情報、及びアトリビュート画像単位で上記符号化データからQPを復号し、上記アトリビュート画像フィルタ部は、上記QPの適用方法を用いてブロックもしくはピクチャ単位で、ニューラルネットワークの入力テンソルの特定チャネルに復号したQPを設定することを特徴とする3Dデータ復号装置。
続きを表示（約 520 文字）【請求項２】
上記ヘッダ復号部は、上記QPとしてアトリビュート画像単位で単一のQPもしくは2次元のQPを復号することを特徴とする請求項１に記載の3Dデータ復号装置。
【請求項３】
3Dデータを符号化する3Dデータ符号化装置において、
深層学習ポストフィルタの付加情報を符号化する多重化部と、
上記3Dデータのアトリビュート画像のフィルタパラメータを導出するアトリビュート画像フィルタパラメータ導出部と、
上記アトリビュート画像を符号化するアトリビュート画像符号化部を備え、
上記多重化部は、上記アトリビュート画像フィルタが、3Dデータに対してフィルタ処理を行う旨の目的情報を符号化し、
上記アトリビュート画像フィルタパラメータ導出部は、ブロックもしくはピクチャ単位で、ニューラルネットワークの入力テンソルの特定チャネルに設定するQPの適用方法を符号化することを特徴とする3Dデータ符号化装置。
【請求項４】
上記多重化部は、上記QPとしてアトリビュート画像単位で単一のQPもしくは2次元のQPを符号化することを特徴とする請求項３に記載の3Dデータ符号化装置。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、3Dデータ符号化装置および3Dデータ復号装置に関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
3Dデータを効率的に伝送または記録するために、3Dデータを2次元画像に変換し動画像符号化方式で符号化して符号化データを生成する3Dデータ符号化装置、および、当該符号化データから2次元画像を復号して、再構成し、3Dデータを生成する3Dデータ復号装置がある。また、2次元画像に深層学習ポストフィルタの付加情報を用いてフィルタ処理する技術がある。
【０００３】
具体的な3Dデータ符号化方式としては、例えば、MPEG-I V3C (Volumetric Video-based Coding) and V-PCC (Video-based Point Cloud Compression)が挙げられる（非特許文献１）。V3Cは、点の位置と属性情報から構成されるポイントクラウドの他、多視点映像を符号化、復号することができる。また、既存の動画像符号化方式としては、例えば、H.266/VVCやH.265/HEVCなどが挙げられる。さらに、画像の性質や、表示方法、タイミングなどを符号化データと同時に伝送するための補助拡張情報SEI（Supplemental Enhancement Information）があり、深層学習ポストフィルタの付加情報も開示されている（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００４】
ISO/IEC 23090-5
“Additional SEI messages for VSEI (Draft 2)”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, JVET-AA2006, 2022
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１における3Dデータ符号化方式では、3Dデータを構成するアトリビュート（カラー画像）をHEVC、VVCのような動画像符号化方式を用いて符号化・復号する。しかしながら、符号化に起因するカラー画像の歪によって、再構成する3Dデータの精度や画質が低下するという課題がある。また、非特許文献２の深層学習ポストフィルタの付加情報の使用のみではアトリビュート画像ごと、フレームごとの画像の特徴が異なる場合、フィルタ強度の調節が十分にはできないため、画質改善の性能が低下するという課題がある。
【０００６】
本発明は、動画像符号化方式を用いた3Dデータの符号化・復号において、符号化歪を低減し、3Dデータを高品質に符号化・復号することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る3Dデータ復号装置は、
符号化データを復号し位置情報と属性情報から構成される3Dデータを復号する3Dデータ復号装置において、
上記符号化データから深層学習ポストフィルタの付加情報を復号するヘッダ復号部と、
上記符号化データからアトリビュート画像を復号するアトリビュート画像復号部と、
上記アトリビュート画像のフィルタ処理を行うアトリビュート画像フィルタ部を備え、
上記ヘッダ復号部は、上記アトリビュート画像フィルタが、上記アトリビュート画像に対してフィルタ処理を行うことを示す目的情報、及びアトリビュート画像単位で上記符号化データからQPを復号し、上記アトリビュート画像フィルタ部は、上記QPの適用方法を用いてブロックもしくはピクチャ単位で、ニューラルネットワークの入力テンソルの特定チャネルに復号したQPを設定することを特徴とする。
【０００８】
上記の課題を解決するために、本発明の一態様に係る3Dデータ符号化装置は、
3Dデータを符号化する3Dデータ符号化装置において、
深層学習ポストフィルタの付加情報を符号化する多重化部と、
上記3Dデータのアトリビュート画像のフィルタパラメータを導出するアトリビュート画像フィルタパラメータ導出部と、
上記アトリビュート画像を符号化するアトリビュート画像符号化部を備え、
上記多重化部は、上記アトリビュート画像フィルタが、3Dデータに対してフィルタ処理を行う旨の目的情報を符号化し、
上記アトリビュート画像フィルタパラメータ導出部は、ブロックもしくはピクチャ単位で、ニューラルネットワークの入力テンソルの特定チャネルに設定するQPの適用方法を符号化することを特徴とする。
【発明の効果】
【０００９】
本発明の一態様によれば、カラー画像の符号化による歪を低減し、3Dデータを高品質に符号化・復号することができる。
【図面の簡単な説明】
【００１０】
本実施形態に係る3Dデータ伝送システムの構成を示す概略図である。
符号化ストリームのデータの階層構造を示す図である。
3Dデータ、オキュパンシマップ、ジオメトリ画像、アトリビュート画像を説明するための図である。
ジオメトリ画像及びアトリビュート画像のレイヤ構造を説明するための図である。
1チャネル画像を4チャネル画像へ変換する処理を説明するための図である。
第1の実施形態に係る3Dデータ復号装置31の概略構成を示す機能ブロック図である。
3Dデータ復号装置31におけるアトリビュート画像フィルタ部308の構成を示す機能ブロック図である。
3Dデータ復号装置31におけるアトリビュート画像フィルタ部308の構成を示す機能ブロック図である。
第1の実施形態に係る3Dデータ符号化装置11の概略構成を示す機能ブロック図である。
SEIの復号処理を示したフローチャートである。
ニューラルネットワークポストフィルタ特性SEIメッセージのシンタックスの例である。
フィルタパラメータをニューラルネットワークポストフィルタ適用SEIメッセージで伝送する構成のシンタックスの例である。
フィルタパラメータをニューラルネットワークポストフィルタ適用SEIメッセージで伝送する構成のシンタックスの例である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許