TOP特許意匠商標
特許ウォッチ Twitter
公開番号2024047919
公報種別公開特許公報(A)
公開日2024-04-08
出願番号2022153693
出願日2022-09-27
発明の名称3Dデータ符号化装置および3Dデータ復号装置
出願人シャープ株式会社
代理人個人,個人,個人,個人
主分類H04N 19/597 20140101AFI20240401BHJP(電気通信技術)
要約【課題】深層学習ポストフィルタの付加情報の使用のみではアトリビュート画像ごと、フレームごとの画像の特徴が異なる場合、フィルタ強度の調節ができないため、画質改善の性能が低下する。
【解決手段】符号化データを復号し位置情報と属性情報から構成される3Dデータを復号する3Dデータ復号装置において、上記符号化データから深層学習ポストフィルタの付加情報を復号するヘッダ復号部と、上記符号化データからアトリビュート画像を復号するアトリビュート画像復号部と、上記アトリビュート画像のフィルタ処理を行うアトリビュート画像フィルタ部を備え、上記ヘッダ復号部は、上記アトリビュート画像フィルタが、上記アトリビュート画像に対してフィルタ処理を行うことを示す目的情報、及びアトリビュート画像単位で上記符号化データからQPを復号し、上記アトリビュート画像フィルタ部は、上記QPの適用方法を用いてブロックもしくはピクチャ単位で、ニューラルネットワークの入力テンソルの特定チャネルに復号したQPを設定する。
【選択図】図6
特許請求の範囲【請求項1】
符号化データを復号し位置情報と属性情報から構成される3Dデータを復号する3Dデータ復号装置において、
上記符号化データから深層学習ポストフィルタの付加情報を復号するヘッダ復号部と、
上記符号化データからアトリビュート画像を復号するアトリビュート画像復号部と、
上記アトリビュート画像のフィルタ処理を行うアトリビュート画像フィルタ部を備え、
上記ヘッダ復号部は、上記アトリビュート画像フィルタが、上記アトリビュート画像に対してフィルタ処理を行うことを示す目的情報、及びアトリビュート画像単位で上記符号化データからQPを復号し、上記アトリビュート画像フィルタ部は、上記QPの適用方法を用いてブロックもしくはピクチャ単位で、ニューラルネットワークの入力テンソルの特定チャネルに復号したQPを設定することを特徴とする3Dデータ復号装置。
続きを表示(約 520 文字)【請求項2】
上記ヘッダ復号部は、上記QPとしてアトリビュート画像単位で単一のQPもしくは2次元のQPを復号することを特徴とする請求項1に記載の3Dデータ復号装置。
【請求項3】
3Dデータを符号化する3Dデータ符号化装置において、
深層学習ポストフィルタの付加情報を符号化する多重化部と、
上記3Dデータのアトリビュート画像のフィルタパラメータを導出するアトリビュート画像フィルタパラメータ導出部と、
上記アトリビュート画像を符号化するアトリビュート画像符号化部を備え、
上記多重化部は、上記アトリビュート画像フィルタが、3Dデータに対してフィルタ処理を行う旨の目的情報を符号化し、
上記アトリビュート画像フィルタパラメータ導出部は、ブロックもしくはピクチャ単位で、ニューラルネットワークの入力テンソルの特定チャネルに設定するQPの適用方法を符号化することを特徴とする3Dデータ符号化装置。
【請求項4】
上記多重化部は、上記QPとしてアトリビュート画像単位で単一のQPもしくは2次元のQPを符号化することを特徴とする請求項3に記載の3Dデータ符号化装置。

発明の詳細な説明【技術分野】
【0001】
本発明の実施形態は、3Dデータ符号化装置および3Dデータ復号装置に関する。
続きを表示(約 2,700 文字)【背景技術】
【0002】
3Dデータを効率的に伝送または記録するために、3Dデータを2次元画像に変換し動画像符号化方式で符号化して符号化データを生成する3Dデータ符号化装置、および、当該符号化データから2次元画像を復号して、再構成し、3Dデータを生成する3Dデータ復号装置がある。また、2次元画像に深層学習ポストフィルタの付加情報を用いてフィルタ処理する技術がある。
【0003】
具体的な3Dデータ符号化方式としては、例えば、MPEG-I V3C (Volumetric Video-based Coding) and V-PCC (Video-based Point Cloud Compression)が挙げられる(非特許文献1)。V3Cは、点の位置と属性情報から構成されるポイントクラウドの他、多視点映像を符号化、復号することができる。また、既存の動画像符号化方式としては、例えば、H.266/VVCやH.265/HEVCなどが挙げられる。さらに、画像の性質や、表示方法、タイミングなどを符号化データと同時に伝送するための補助拡張情報SEI(Supplemental Enhancement Information)があり、深層学習ポストフィルタの付加情報も開示されている(非特許文献2)。
【先行技術文献】
【非特許文献】
【0004】
ISO/IEC 23090-5
“Additional SEI messages for VSEI (Draft 2)”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, JVET-AA2006, 2022
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献1における3Dデータ符号化方式では、3Dデータを構成するアトリビュート(カラー画像)をHEVC、VVCのような動画像符号化方式を用いて符号化・復号する。しかしながら、符号化に起因するカラー画像の歪によって、再構成する3Dデータの精度や画質が低下するという課題がある。また、非特許文献2の深層学習ポストフィルタの付加情報の使用のみではアトリビュート画像ごと、フレームごとの画像の特徴が異なる場合、フィルタ強度の調節が十分にはできないため、画質改善の性能が低下するという課題がある。
【0006】
本発明は、動画像符号化方式を用いた3Dデータの符号化・復号において、符号化歪を低減し、3Dデータを高品質に符号化・復号することを目的とする。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本発明の一態様に係る3Dデータ復号装置は、
符号化データを復号し位置情報と属性情報から構成される3Dデータを復号する3Dデータ復号装置において、
上記符号化データから深層学習ポストフィルタの付加情報を復号するヘッダ復号部と、
上記符号化データからアトリビュート画像を復号するアトリビュート画像復号部と、
上記アトリビュート画像のフィルタ処理を行うアトリビュート画像フィルタ部を備え、
上記ヘッダ復号部は、上記アトリビュート画像フィルタが、上記アトリビュート画像に対してフィルタ処理を行うことを示す目的情報、及びアトリビュート画像単位で上記符号化データからQPを復号し、上記アトリビュート画像フィルタ部は、上記QPの適用方法を用いてブロックもしくはピクチャ単位で、ニューラルネットワークの入力テンソルの特定チャネルに復号したQPを設定することを特徴とする。
【0008】
上記の課題を解決するために、本発明の一態様に係る3Dデータ符号化装置は、
3Dデータを符号化する3Dデータ符号化装置において、
深層学習ポストフィルタの付加情報を符号化する多重化部と、
上記3Dデータのアトリビュート画像のフィルタパラメータを導出するアトリビュート画像フィルタパラメータ導出部と、
上記アトリビュート画像を符号化するアトリビュート画像符号化部を備え、
上記多重化部は、上記アトリビュート画像フィルタが、3Dデータに対してフィルタ処理を行う旨の目的情報を符号化し、
上記アトリビュート画像フィルタパラメータ導出部は、ブロックもしくはピクチャ単位で、ニューラルネットワークの入力テンソルの特定チャネルに設定するQPの適用方法を符号化することを特徴とする。
【発明の効果】
【0009】
本発明の一態様によれば、カラー画像の符号化による歪を低減し、3Dデータを高品質に符号化・復号することができる。
【図面の簡単な説明】
【0010】
本実施形態に係る3Dデータ伝送システムの構成を示す概略図である。
符号化ストリームのデータの階層構造を示す図である。
3Dデータ、オキュパンシマップ、ジオメトリ画像、アトリビュート画像を説明するための図である。
ジオメトリ画像及びアトリビュート画像のレイヤ構造を説明するための図である。
1チャネル画像を4チャネル画像へ変換する処理を説明するための図である。
第1の実施形態に係る3Dデータ復号装置31の概略構成を示す機能ブロック図である。
3Dデータ復号装置31におけるアトリビュート画像フィルタ部308の構成を示す機能ブロック図である。
3Dデータ復号装置31におけるアトリビュート画像フィルタ部308の構成を示す機能ブロック図である。
第1の実施形態に係る3Dデータ符号化装置11の概略構成を示す機能ブロック図である。
SEIの復号処理を示したフローチャートである。
ニューラルネットワークポストフィルタ特性SEIメッセージのシンタックスの例である。
フィルタパラメータをニューラルネットワークポストフィルタ適用SEIメッセージで伝送する構成のシンタックスの例である。
フィルタパラメータをニューラルネットワークポストフィルタ適用SEIメッセージで伝送する構成のシンタックスの例である。
【発明を実施するための形態】
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

シャープ株式会社
装置
5日前
シャープ株式会社
表示装置
9日前
シャープ株式会社
加熱調理器
9日前
シャープ株式会社
画像形成装置
5日前
シャープ株式会社
画像形成装置
10日前
シャープ株式会社
半導体装置及び回路基板
9日前
シャープ株式会社
スタンドおよび表示装置
9日前
シャープ株式会社
端末装置、および、方法
11日前
シャープ株式会社
プリント基板および電子機器
9日前
シャープ株式会社
端末装置、方法、および、集積回路
11日前
シャープ株式会社
受信装置、受信方法、及びプログラム
5日前
シャープ株式会社
受信装置、受信方法、及びプログラム
6日前
シャープ株式会社
照明装置、表示装置及び照明システム
6日前
シャープ株式会社
UE(User Equipment)
10日前
シャープ株式会社
UE(User Equipment)
10日前
シャープ株式会社
UE(User Equipment)
10日前
シャープ株式会社
捺染トナーおよびそれを含む二成分現像剤
9日前
シャープ株式会社
情報処理装置及びウィルス検知の表示方法
10日前
シャープ株式会社
情報処理装置及びウィルス検知の表示方法
10日前
シャープ株式会社
画像形成装置および画像形成装置の制御方法
3日前
シャープ株式会社
難燃性ポリプロピレン樹脂組成物及びその成形体
9日前
シャープ株式会社
コンテンツ表示方法及びコンテンツ表示システム
9日前
シャープ株式会社
拡張二重通信を用いた通信ネットワーク及び方法
9日前
シャープ株式会社
加熱調理器、コンピュータプログラム及び加熱調理方法
9日前
シャープ株式会社
画像処理装置、画像処理方法、及び画像処理プログラム
9日前
シャープ株式会社
画像形成装置
5日前
シャープ株式会社
情報処理装置および情報処理装置の制御方法
2日前
シャープ株式会社
タイプ1のコンフィギュアードグラントをサポートするためのネットワーク制御リピータ(NCR)手順
4日前
シャープ株式会社
タイプ2のコンフィギュアードグラントをサポートするためのネットワーク制御リピータ(NCR)手順
4日前
シャープ株式会社
コンフィギュアードグラントを有する準静的UL送信のためのネットワーク制御リピータ(NCR)サイド情報及び構成
4日前
個人
通話装置
1か月前
個人
挿耳装置
1か月前
個人
メガホン
26日前
オンキヨー株式会社
電子機器
11日前
シャープ株式会社
調理器
19日前
キヤノン株式会社
表示装置
1か月前
続きを見る