特許ウォッチ

公開番号2025050525
公報種別公開特許公報(A)
公開日2025-04-04
出願番号2023159371
出願日2023-09-25
発明の名称3Dデータ符号化装置および3Dデータ復号装置
出願人シャープ株式会社
代理人個人
主分類H04N 19/597 20140101AFI20250328BHJP(電気通信技術)
要約【課題】複数の画像を用いる3次元データに対して好適なリファインメントを適用できな
い。
【解決手段】符号化データから幾何フレームを復号するジオメトリ復号部と、属性フレームを復号するアトリビュート復号部を備える3Dデータ復号装置において、上記符号化データからリファインメントの特性情報とリファインメントのアクティブ化情報を復号するリファイン情報復号部を備え、上記アクティブ化情報から、リファインメントの数を示すシンタックス要素を復号し、復号したリファインメントの数の上記特性情報を示すインデックスを復号し、上記特性情報に応じて、上記属性フレームもしくは幾何フレームのリファイン処理を行うリファイン処理部を備えることを特徴とする。
【選択図】図5
特許請求の範囲【請求項１】
符号化データから幾何フレームを復号するジオメトリ復号部と、属性フレームを復号するアトリビュート復号部を備える3Dデータ復号装置において、
上記符号化データからリファインメントの特性情報とリファインメントのアクティブ化情報を復号するリファイン情報復号部を備え、
上記アクティブ化情報から、リファインメントの数を示すシンタックス要素を復号し、復号したリファインメントの数の上記特性情報を示すインデックスを復号し、
上記特性情報に応じて、上記属性フレームもしくは幾何フレームのリファイン処理を行うリファイン処理部を備えることを特徴とする3Dデータ復号装置。
続きを表示（約 2,000 文字）【請求項２】
上記リファイン情報復号部は、さらに上記特性情報から強度情報の数strengthNumを復
号し、上記strengthNum個の強度情報を復号し、リファイン処理部は、ニューラルネット
ワークの入力テンソルに、少なくとも占有フレーム、幾何フレームもしくは属性フレームの何れかを入力し、さらに、strengthNum個の各値を、ニューラルネットワークの入力テ
ンソルのstrengthNum個の各チャネルに入力することを特徴とする請求項１に記載の3Dデ
ータ復号装置。
【請求項３】
上記リファイン情報復号部は、全てのマップにリファイン処理を行うか否かを示すフラグを復号し、フラグが全てのマップにリファイン処理を行わないことを示す場合に、どのマップにリファイン処理を行うか否かを示すインデックスを復号することを特徴とする請求項１に記載の3Dデータ復号装置。
【請求項４】
上記リファイン情報復号部は、上記特性情報もしくは上記アクティブ化情報の符号化データから、リファイン対象となる属性フレームのインデックス及び属性フレームの数を復号し、復号した属性フレームのインデックスを開始点として、復号した属性フレームの数だけ属性フレームを上記ニューラルネットワークの入力テンソルに入力してリファイン処理を行うことを特徴とする請求項１に記載の3Dデータ復号装置。
【請求項５】
上記リファイン情報復号部は、上記アクティブ化情報の符号化データから、リファインメントの特性情報とリファイン対象のマップの情報を復号し、上記リファインメントの特性情報とリファイン対象のマップに関連するリファイン処理のキャンセルを行うか否かを示すキャンセルフラグを復号し、上記キャンセルフラグがキャンセルしないことを示す場合に、さらに、持続性情報を復号することを特徴とする請求項１に記載の3Dデータ復号装置。
【請求項６】
幾何フレームを符号化するジオメトリ符号化部と、属性フレームを符号化するアトリビュート符号化部を備え、符号化データを生成する3Dデータ符号化装置において、
リファインメントの特性情報とリファインメントのアクティブ化情報を符号化するリファイン情報符号化部を備え、上記符号化データを生成し、
上記アクティブ化情報から、リファインメントの数を示すシンタックス要素を符号化し、符号化したリファインメントの数の上記特性情報を示すインデックスを符号化し、
上記特性情報に応じて、上記属性フレームもしくは幾何フレームのリファイン処理を行うリファイン処理部を備えることを特徴とする3Dデータ符号化装置。
【請求項７】
上記リファイン情報符号化部は、さらに上記特性情報から強度情報の数strengthNumを
符号化し、上記strengthNum個の強度情報を符号化し、リファイン処理部は、ニューラル
ネットワークの入力テンソルに、少なくとも占有フレーム、幾何フレームもしくは属性フレームの何れかを入力し、さらに、符号化した強度情報から導出されたstrengthNum個の
各値を、ニューラルネットワークの入力テンソルのstrengthNum個の各チャネルに入力す
ることを特徴とする請求項６に記載の3Dデータ符号化装置。
【請求項８】
上記リファイン情報符号化部は、全てのマップにリファイン処理を行うか否かを示すフラグを符号化し、フラグが全てのマップにリファイン処理を行わないことを示す場合に、どのマップにリファイン処理を行うか否かを示すインデックスを符号化することを特徴とする請求項６に記載の3Dデータ符号化装置。
【請求項９】
上記リファイン情報符号化部は、上記特性情報もしくは上記アクティブ化情報の符号化データから、リファイン対象となる属性フレームのインデックス及び属性フレームの数を符号化し、符号化した属性フレームのインデックスを開始点として、符号化した属性フレームの数だけ属性フレームを上記ニューラルネットワークの入力テンソルに入力してリファイン処理を行うことを特徴とする請求項６に記載の3Dデータ符号化装置。
【請求項１０】
上記リファイン情報符号化部は、上記アクティブ化情報の符号化データから、リファインメントの特性情報とリファイン対象のマップの情報を符号化し、上記リファインメントの特性情報とリファイン対象のマップに関連するリファイン処理のキャンセルを行うか否かを示すキャンセルフラグを符号化し、上記キャンセルフラグがキャンセルしないことを示す場合に、さらに、持続性情報を符号化することを特徴とする請求項６に記載の3Dデータ符号化装置。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、3Dデータ符号化装置および3Dデータ復号装置に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
3Dデータを効率的に伝送または記録するために、3Dデータを2次元画像に変換し動画像
符号化方式で符号化して符号化データを生成する3Dデータ符号化装置、および、当該符号化データから2次元画像を復号して、再構成し、3Dデータを生成する3Dデータ復号装置が
ある。また、2次元画像に深層学習ポストフィルタの補助拡張情報を用いてフィルタ処理
する技術がある。
【０００３】
具体的な3Dデータ符号化方式としては、例えば、MPEG-IのISO/IEC 23090-5 V3C (Volumetric Video-based Coding) and V-PCC (Video-based Point Cloud Compression)が挙げ
られる。V3Cは、点の位置と属性（アトリビュート）情報から構成されるポイントクラウ
ドの符号化、復号に利用される。さらに、ISO/IEC 23090-12 (MPEG Immersive Video、MIV)及び標準化中のISO/IEC 23090-29 (Video-based Dynamic Mesh Coding、V-DMC)により
、多視点映像、メッシュ映像の符号化、復号にも利用される。また、非特許文献１のニューラルネットワークポストフィルタの補助拡張情報では、ニューラルネットワークのモデル情報を特性SEIで伝送し、適用SEIで指定したフレームに対して呼び出すことにより、点群データに対して適応的なフィルタ処理を可能にすることができる。
【先行技術文献】
【非特許文献】
【０００４】
K.Takada, Y.Tokumo, T.Chujoh. T.Ikai,“[V-PCC][EE2.8] V3C neural-network post-filter SEI messages,” ISO/IEC JTC 1/SC 29/WG7, m61805, Jan. 2023
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１では、アトリビュートに対してのみフィルタ処理を行うため、オキュパンシ、ジオメトリとアトリビュートの関係を利用したフィルタ処理ができないという課題があった。言い換えると複数の画像・映像を用いて3Dデータを復号する方法において、画像間の情報を用いたリファインメントができなかった。
【０００６】
本発明は、動画像符号化・復号方式を用いた3Dデータの符号化・復号において、上記課題を解決し、リファインメントの補助情報を用いてさらに符号化歪を低減し、3Dデータを高品質に符号化・復号することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る3Dデータ復号装置は、符号化データから幾何フレームを復号するジオメトリ復号部と、属性フレームを復号するアトリビュート復号部を備える3Dデータ復号装置において、上記符号化データからリファインメントの特性情報とリファインメントのアクティブ化情報を復号するリファイン情報復号部を備え、上記アクティブ化情報から、リファインメントの数を示すシンタックス要素を復号し、復号したリファインメントの数の上記特性情報を示すインデックスを復号し、上記特性情報に応じて、上記属性フレームもしくは幾何フレームのリファイン処理を行うリファイン処理部を備えることを特徴とする。
【０００８】
幾何フレームを符号化するジオメトリ符号化部と、属性フレームを符号化するアトリビュート符号化部を備える3Dデータ符号化装置において、上記符号化データからリファインメントの特性情報とリファインメントのアクティブ化情報を符号化するリファイン情報符号化部を備え、上記アクティブ化情報から、リファインメントの数を示すシンタックス要素を符号化し、符号化したリファインメントの数の上記特性情報を示すインデックスを符号化し、上記特性情報に応じて、上記属性フレームもしくは幾何フレームのリファイン処理を行うリファイン処理部を備えることを特徴とする。
【発明の効果】
【０００９】
本発明の一態様によれば、カラー画像の符号化による歪を低減し、3Dデータを高品質に符号化・復号することができる。
【図面の簡単な説明】
【００１０】
本実施形態に係る3Dデータ伝送システムの構成を示す概略図である。
符号化ストリームのデータの階層構造を示す図である。
3Dデータ、オキュパンシ、幾何フレーム、属性フレームを説明するための図である。
本発明の実施形態に係る特性SEIと適用SEIの関係を示す図である。
本発明の実施形態に係る3Dデータ復号装置31の概略構成を示す機能ブロック図である。
リファイン部306の構成を示す機能ブロック図である。
本発明の実施形態に係る3Dデータ復号装置31の概略構成を示す機能ブロック図である。
リファイン部306の構成を示す機能ブロック図である。
SEIの復号処理を示したフローチャートである。
リファイン部306の動作を示すフローチャートである。
特性SEIのシンタックスの一部（前半）を示している。
特性SEIのシンタックスの一部（後半）を示している。
適用SEIのシンタックス構成例を示す。
本発明の実施形態に係る3Dデータ符号化装置11の概略構成を示す機能ブロック図である。
本発明の実施形態に係る3Dデータ符号化装置、3Dデータ復号装置とSEIメッセージの関係を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許