特許ウォッチ

公開番号2024178992
公報種別公開特許公報(A)
公開日2024-12-26
出願番号2023097460
出願日2023-06-14
発明の名称3Dデータ符号化装置および3Dデータ復号装置
出願人シャープ株式会社
代理人個人
主分類H04N 19/70 20140101AFI20241219BHJP(電気通信技術)
要約【課題】複数の画像を用いる3次元データに対して好適なリファインメントを適用できない。
【解決手段】符号化データを復号しアトリビュート情報を含む3Dデータを復号する3Dデータ復号装置において、リファインメントの特性情報とリファインメントのアクティブ化情報を復号するヘッダ復号部と、属性フレームもしくは幾何フレームのリファイン処理を行うリファイン部を備え、オキュパンシ、ジオメトリ、アトリビュートのいずれかを用いるかを示すリファイン対象情報を上記特性情報の符号化データから復号し、リファイン対象情報に応じて指定された画像を用いてリファインメントを行う。
【選択図】図5
特許請求の範囲【請求項１】
符号化データを復号しジオメトリとアトリビュートを含む3Dデータを復号する3Dデータ復号装置において、
上記符号化データからリファインメントの特性情報とリファインメントのアクティブ化情報を復号するリファイン情報復号部と、
上記符号化データから幾何フレームを復号するジオメトリ復号部と、
上記符号化データから属性フレームを復号するアトリビュート復号部と、
上記属性フレームもしくは幾何フレームのリファイン処理を行うリファイン部を備え、
上記リファイン情報復号部は、オキュパンシ、ジオメトリ、アトリビュートのいずれを用いるかを示すリファイン対象情報を上記特性情報の符号化データから復号し、リファイン対象情報に応じて指定された画像を用いてリファインメントを行うことを特徴とする3Dデータ復号装置。
続きを表示（約 1,200 文字）【請求項２】
上記リファイン情報復号部は、上記リファイン対象情報がアトリビュートを用いることを示す場合には、さらに、リファイン対象情報として適用するアトリビュートの数を復号し、上記リファイン部は、指定された数のアトリビュートを用いてリファインを行うことを特徴とする請求項１に記載の3Dデータ復号装置。
【請求項３】
上記リファイン情報復号部は、上記リファイン対象情報として、オキュパンシ、ジオメトリ、アトリビュートを用いるかを示すシンタックス要素を個別に復号し、上記リファイン部は、オキュパンシ、ジオメトリ、アトリビュートが指定された場合には、それらを用いてリファインメントを行うことを特徴とする請求項１に記載の3Dデータ復号装置。
【請求項４】
上記リファイン情報復号部は、上記特性情報からさらに、適用対象となるマップIDを示す情報を復号し、上記リファイン部は、指定されたマップIDに対してリファインメントを行うことを特徴とする請求項１に記載の3Dデータ復号装置。
【請求項５】
上記リファイン情報復号部は、上記リファイン対象情報としてジオメトリもしくはアトリビュートを用いることを示す場合には、さらに、適用対象となるマップIDを示す情報を復号することを特徴とする請求項４に記載の3Dデータ復号装置。
【請求項６】
上記リファイン情報復号部は、上記リファイン対象情報として、アトリビュートを用いることを示す場合には、さらに、適用対象となるアトリビュートインデックス、パーティションインデックス、補助フラグを示す情報を復号することを特徴とする請求項４に記載の3Dデータ復号装置。
【請求項７】
上記リファイン情報復号部は、上記アクティブ化情報として、特性情報を示すインデックスと、キャンセルフラグと持続性フラグを復号することを特徴とする請求項１に記載の3Dデータ復号装置。
【請求項８】
上記リファイン情報復号部は、上記アクティブ化情報として、適用対象のマップIDを示す情報を復号し、上記リファイン部は、上記マップIDで指定されたジオメトリもしくはアトリビュートを用いてリファインメントを行うことを特徴とする請求項１に記載の3Dデータ復号装置。
【請求項９】
上記リファイン情報復号部は、上記アクティブ化情報として、適用対象のマップIDを示す情報を復号し、上記リファイン部は、上記マップIDで指定されたジオメトリもしくはアトリビュートを用いてリファインメントを行うことを特徴とする請求項１に記載の3Dデータ復号装置。
【請求項１０】
上記リファイン情報復号部は、上記アクティブ化情報として、適用対象のアトリビュートを示す情報を復号し、上記リファイン部は、上記アトリビュートを示す情報で指定されたアトリビュートを用いてリファインメントを行うことを特徴とする請求項１に記載の3Dデータ復号装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、3Dデータ符号化装置および3Dデータ復号装置に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
3Dデータを効率的に伝送または記録するために、3Dデータを2次元画像に変換し動画像符号化方式で符号化して符号化データを生成する3Dデータ符号化装置、および、当該符号化データから2次元画像を復号して、再構成し、3Dデータを生成する3Dデータ復号装置がある。また、2次元画像に深層学習ポストフィルタの補助拡張情報を用いてフィルタ処理する技術がある。
【０００３】
具体的な3Dデータ符号化方式としては、例えば、MPEG-IのISO/IEC 23090-5 V3C (Volumetric Video-based Coding) and V-PCC (Video-based Point Cloud Compression)が挙げられる。V3Cは、点の位置と属性（アトリビュート）情報から構成されるポイントクラウドの符号化、復号に利用される。さらに、ISO/IEC 23090-12 (MPEG Immersive Video、MIV)及び標準化中のISO/IEC 23090-29 (Video-based Dynamic Mesh Coding、V-DMC)により、多視点映像、メッシュ映像の符号化、復号にも利用される。また、非特許文献１のニューラルネットワークポストフィルタの補助拡張情報では、ニューラルネットワークのモデル情報を特性SEIで伝送し、適用SEIで指定したフレームに対して呼び出すことにより、点群データに対して適応的なフィルタ処理を可能にすることができる。
【先行技術文献】
【非特許文献】
【０００４】
K.Takada, Y.Tokumo, T.Chujoh. T.Ikai,“[V-PCC][EE2.8] V3C neural-network post-filter SEI messages,” ISO/IEC JTC 1/SC 29/WG7, m61805, Jan. 2023
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１では、アトリビュートに対してのみフィルタ処理を行うため、オキュパンシ、ジオメトリとアトリビュートの関係を利用したフィルタ処理ができないという課題があった。言い換えると複数の画像・映像を用いて3Dデータを復号する方法において、画像間の情報を用いたリファインメントができなかった。
【０００６】
本発明は、動画像符号化・復号方式を用いた3Dデータの符号化・復号において、上記課題を解決し、リファインメントの補助情報を用いてさらに符号化歪を低減し、3Dデータを高品質に符号化・復号することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る3Dデータ復号装置は、符号化データを復号しジオメトリとアトリビュートを含む3Dデータを復号する3Dデータ復号装置において、上記符号化データからリファインメントの特性情報とリファインメントのアクティブ化情報を復号するリファイン情報復号部と、上記符号化データから幾何フレームを復号するジオメトリ復号部と、上記符号化データから属性フレームを復号するアトリビュート復号部と、上記属性フレームもしくは幾何フレームのリファイン処理を行うリファイン部を備え、上記リファイン情報復号部は、オキュパンシ、ジオメトリ、アトリビュートのいずれを用いるかを示すリファイン対象情報を上記特性情報の符号化データから復号し、リファイン対象情報に応じて指定された画像を用いてリファインメントを行うことを特徴と
する。
【発明の効果】
【０００８】
本発明の一態様によれば、カラー画像の符号化による歪を低減し、3Dデータを高品質に符号化・復号することができる。
【図面の簡単な説明】
【０００９】
本実施形態に係る3Dデータ伝送システムの構成を示す概略図である。
符号化ストリームのデータの階層構造を示す図である。
3Dデータ、オキュパンシ、幾何フレーム、属性フレームを説明するための図である。
本発明の実施形態に係る特性SEIと適用SEIの関係を示す図である。
本発明の実施形態に係る3Dデータ復号装置31の概略構成を示す機能ブロック図である。
リファイン部306の構成を示す機能ブロック図である。
本発明の実施形態に係る3Dデータ復号装置31の概略構成を示す機能ブロック図である。
リファイン部306の構成を示す機能ブロック図である。
SEIの復号処理を示したフローチャートである。
リファイン部306の動作を示すフローチャートである。
特性SEIのシンタックスを示している。
リファイン対象情報の一例を示す図である
特性SEIのシンタックスの一部を示している。
特性SEIのシンタックスの一部を示している。
特性SEIのシンタックスの一部を示している。
適用SEIのシンタックス構成例を示す。
本発明の実施形態に係る3Dデータ符号化装置11の概略構成を示す機能ブロック図である。
本発明の実施形態に係る3Dデータ符号化装置、3Dデータ復号装置とSEIメッセ
適用SEIのシンタックス構成例を示す。ージの関係を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本発明の実施形態について説明する。
（【００１１】以降は省略されています）

関連特許