特許ウォッチ

公開番号2025004019
公報種別公開特許公報(A)
公開日2025-01-14
出願番号2024161113,2021555500
出願日2024-09-18,2020-02-27
発明の名称マルチビュービデオシーケンスをコード化および復号化するための方法およびデバイス
出願人オランジュ
代理人個人,個人
主分類H04N 19/597 20140101AFI20250106BHJP(電気通信技術)
要約【課題】マルチビュービデオを表すデータストリームを復号する方法及び符号化する方法を提供する。
【解決手段】データストリームを復号するための方法は、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、テクスチャデータおよびテクスチャデータに関連付けられる深度データを備え、サブ画像が少なくとも1つのゾーンを備える。サブ画像が第1の方法または第2の方法に従ってコード化されているかどうかを示すインジケータが復号される。インジケータがサブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、ピクセルが有用なゾーンに属するかどうかを示すバイナリマップが復号される。インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、有用なゾーンの外側に位置するピクセルのサブ画像の深度データは復号された深度値を備える。
【選択図】なし
特許請求の範囲【請求項１】
マルチビュービデオを表す少なくとも1つのデータストリームを復号化するための方法であって、前記少なくとも1つデータストリームが、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、有用なゾーンと呼ばれる少なくとも1つのゾーンと、有用でないゾーンと呼ばれる1つのゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記有用なゾーンが、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図され、前記復号化方法が、
- 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化するステップと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像に復号化するステップと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化するステップであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記深度データが、割当て深度値を備える、ステップと
を備える、方法。
続きを表示（約 2,200 文字）【請求項２】
マルチビュービデオを表すデータストリームをコード化するための方法であって、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備える少なくとも1つのサブ画像をコード化するステップを備え、前記サブ画像が、前記有用なゾーンと呼ばれるゾーンと有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記有用なゾーンが、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図され、前記少なくとも1つのサブ画像をコード化するステップが、
- 第1の方法と第2の方法との間で前記サブ画像をコード化するためのコード化方法を決定するステップと、
- 前記サブ画像が前記第1の方法に従って、または前記第2の方法に従ってコード化されているかどうかを示すインジケータをコード化するステップと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像にコード化するステップと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当て深度値を決定するステップと、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記サブ画像の前記深度データに前記割当て深度値を割り当てるステップと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化するステップとを備える、方法。
【請求項３】
前記割当て深度値が、少なくとも前記サブ画像の前記有用なゾーンにわたって決定され、あらかじめ定められた値だけ減少された最小深度値から決定される、請求項2に記載のコード化方法。
【請求項４】
前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記割当て深度値を表す情報の項目を復号化またはコード化するステップをさらに備え、前記割当て深度値0が、前記有用なゾーンの外側に位置する前記ピクセルについて、前記復号化またはコード化された深度値に対応する、請求項1に記載の復号化方法または請求項2もしくは3に記載のコード化方法。
【請求項５】
前記データストリームにコード化された前記サブ画像の前記深度データが、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルの前記深度値と前記割当て深度値との間の差によって決定される残差を備える、請求項4に記載の方法。
【請求項６】
前記データストリームにおいて、前記少なくとも1つのサブ画像に対して、前記深度データが、前記ピクセルの前記深度値と前記割当て深度値との間の差によって決定される残差によってコード化されるかどうかを示すインジケータを復号化またはコード化するステップを備える、請求項5に記載の方法。
【請求項７】
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記再構築された深度データと、前記復号化された割当て深度値を表す情報の前記項目とから、または、前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記復号化されたバイナリマップから、前記有用なゾーンを決定するステップと、
- 前記有用なゾーンの外側に位置する前記ピクセルに無限の値が割り当てられる前記サブ画像の深度マップを構築するステップと、
- 前記深度マップを合成モジュールに送信するステップと
をさらに備える、請求項4から6のいずれか一項に記載の復号化方法。
【請求項８】
前記サブ画像が前記第2の方法に従ってコード化されていることを前記インジケータが示す場合、
- 前記再構築された深度データと、前記復号化された割当て深度値を表す情報の前記項目とから、前記有用なゾーンを決定するステップと、
- 前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを構築するステップと、
- 前記バイナリマップを合成モジュールに送信するステップと
をさらに備える、請求項4から6のいずれか一項に記載の復号化方法。
【請求項９】
少なくとも2つの有用なゾーンがそれぞれ少なくとも2つのサブ画像に属し、前記少なくとも1つのビューの前記少なくとも1つの画像を生成するために使用されることが意図された前記少なくとも2つの有用なゾーンが、前記データストリームにコード化され、前記最小深度値が、前記少なくとも2つの有用なゾーンの各有用なゾーンから決定される、請求項3に記載の方法。
【請求項１０】
前記少なくとも1つのデータストリームが、前記ビデオの少なくとも1つのビューのコード化されたデータを備え、前記少なくとも1つのビューが、少なくとも1つのソースビューからのコード化において決定されたビューに対応する、請求項1から9のいずれか一項に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、1つまたは複数のカメラによってキャプチャされたシーンを表す没入型ビデオに関する。より詳細には、本発明は、そのようなビデオのコード化および復号化に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
没入型ビデオのコンテキスト、すなわち、視聴者がシーンに没頭しているような感覚の場合、シーンは通常、図1に示されるように、カメラのセットによってキャプチャされる。これらのカメラはタイプ2D(図1におけるカメラC1、C2、C3、C4)であってもよく、タイプ360、すなわち、カメラの周囲360度のシーン全体をキャプチャするもの(図1におけるカメラC5)であってもよい。
【０００３】
これらのキャプチャされたビューはすべて、従来、視聴者の端末によってコード化され、次いで復号化される。しかしながら、十分な品質の体験を提供し、したがって、視聴者に表示されるシーンにおける視覚的品質および良好な没入感を提供するためには、キャプチャされたビューのみを表示することは不十分である。
【０００４】
シーンへの没入感を向上させるために、通常、中間ビューと呼ばれる1つまたは複数のビューが、復号化されたビューから計算される。
【０００５】
これらの中間ビューは、ビューの「合成」アルゴリズムによって計算することができる。合成アルゴリズムの例が図2に示されており、これは、主にビュー合成アルゴリズムの入力/出力を示している。この例によれば、n個のビュー(ここでは1～4)から、合成アルゴリズムは、カメラの位置に応じて、ビューイングボリュームと呼ばれる所与のボリュームに位置する視点「v」を合成することができる。n個のビューおよび合成されたビューは、カメラに対するシーンの要素間の距離を表すテクスチャデータ(T
1
～T
4
、T
v
)と深度データ(D
1
～D
4
、D
v
)の両方で構成される。深度データは通常、深度マップ、すなわち、画像の各ポイントにおいて、そのポイントにおいて表されるオブジェクトに関連付けられる深度を示す画像の形態で表される。
【０００６】
これらの深度マップは、特定のカメラによってキャプチャされるか、テクスチャビューから計算される。大量のデータが考慮されるため、シーンを表すためにキャプチャされたビューを圧縮することは困難である。
【０００７】
さらに、キャプチャされたビューは中間ビューを合成するために必要であるため、ビューのコード化効率と中間ビュー合成の品質との間の妥協が必要である。
【０００８】
MV-HEVCおよび3D-HEVCエンコーダは、マルチビュービデオのコード化に適合した2D HEVCエンコーダの2つの拡張機能である(「High Efficiency Video Coding, Coding Tools and Specification」、Matthias Wien、Signals and Communication Technology、2015年)。
【０００９】
そのようなエンコーダは、ビューのセットと、任意で関連付けられる深度マップを入力として受け取る。MV-HEVCエンコーダは、ブロックレベルで任意の特定のコード化ツールを適用しない。現在のビューの画像をコード化する場合、現在のビューの以前にコード化/復号化された画像に加えて、別のビューの画像を参照画像として単に使用する。
【００１０】
3D-HEVCエンコーダは、深度マップコード化に特定のツールを追加し、より高度なビュー間冗長性とコンポーネント間冗長性を使用し、深度マップコード化はテクスチャコード化を利用する。
（【００１１】以降は省略されています）

関連特許