特許ウォッチ

公開番号2025013824
公報種別公開特許公報(A)
公開日2025-01-28
出願番号2024175158,2023179221
出願日2024-10-04,2019-04-16
発明の名称マルチビュービデオのデコードの方法及び装置、並びに画像合成の方法、コンピュータプログラム及び装置
出願人オランジュ
代理人個人,個人,個人,個人
主分類H04N 19/597 20140101AFI20250121BHJP(電気通信技術)
要約【課題】マルチビュー画像のシーケンスのデコード、及び中間ビューの画像の合成を行う方法及び装置を提供する。
【解決手段】マルチビュービデオを表すデータストリームをデコードする方法は、データストリームの少なくとも一部からシンタックス要素が取得され(E20)、ビデオのビューの少なくとも1つの画像を再構成する(E21)のに用いられ、その後、少なくとも1つの取得したシンタックス要素から所定の形式で少なくとも1つのメタデータを取得し(E23)、画像合成モジュールに提供する(E24)。画像合成モジュールは、再構成された少なくとも1つの画像とメタデータの少なくとも1つの項目とから、マルチビュービデオのビューとは異なる少なくとも1つの仮想ビューを合成することを含む。
【選択図】図4
特許請求の範囲【請求項１】
デコード装置によって実施される、マルチビュービデオを表すデータストリームのデコ
ード方法であって、
前記データストリームの少なくとも１つの部分からシンタックス要素を取得すること（
Ｅ２０）と、
取得された前記シンタックス要素から前記ビデオのビューの少なくとも１つの画像を再
構成すること（Ｅ２１）と、
を含み、該デコード方法は、
少なくとも１つのシンタックス要素から、所定の形式でメタデータの少なくとも１つの
項目を取得すること（Ｅ２３）と、
前記メタデータの少なくとも１つの項目を画像合成モジュールに提供すること（Ｅ２４
）と、
を更に含むことを特徴とする、デコード方法。
続きを表示（約 1,700 文字）【請求項２】
メタデータの少なくとも１つの項目を取得することは、前記シンタックス要素の少なく
とも１つの部分から前記メタデータの少なくとも１つの項目を計算することを更に含む、
請求項１に記載のデコード方法。
【請求項３】
前記メタデータの少なくとも１つの項目は、前記少なくとも１つの画像を再構成するの
に用いられない、請求項１又は２に記載のデコード方法。
【請求項４】
前記メタデータの少なくとも１つの項目は、以下のもの、すなわち、
カメラパラメータ、
デコード及びスケーリングされたモーションベクトル、
前記再構成された画像の分割、
前記再構成されたビューの画像のブロックによって用いられる参照画像、
前記再構成されたビューの画像のコード化モード、
前記再構成されたビューの画像の量子化パラメータ値、
前記再構成されたビューの画像の予測残差値、
前記再構成されたビューの画像内の動きを表すマップ、
前記再構成されたビューの画像内のオクルージョンの存在を表すマップ、
深度マップに関連付けられた信頼度値を表すマップ、
を含むグループ内に含まれる情報の項目に対応する、請求項１～３のいずれか１項に記載
のデコード方法。
【請求項５】
前記所定の形式は、メタデータの少なくとも１つの項目がインデックスに関連付けられ
て記憶される、インデックス付き表に対応する、請求項１～４のいずれか１項に記載のデ
コード方法。
【請求項６】
前記メタデータの少なくとも１つの項目は、前記デコード装置において指定された粒度
レベルに基づいて取得される、請求項１～５のいずれか１項に記載のデコード方法。
【請求項７】
前記デコード装置によって、前記画像合成モジュールによって必要とされるメタデータ
の少なくとも１つの項目を示す要求を該画像合成モジュールから受信することを更に含む
、請求項１～６のいずれか１項に記載のデコード方法。
【請求項８】
前記要求は、利用可能なメタデータの所定のリストの中から前記必要とされるメタデー
タの項目を示す少なくとも１つのインデックスを含む、請求項７に記載のデコード方法。
【請求項９】
マルチビュービデオを表すデータストリームのデコード装置であって、
該装置は、
前記データストリームの少なくとも１つの部分からシンタックス要素を取得し、
取得された前記シンタックス要素から前記ビデオのビューの少なくとも１つの画像を再
構成する、
ように構成され（ＵＴ、ＭＥＭ、ＣＯＭ１）、
該デコード装置は、
少なくとも１つのシンタックス要素から、所定の形式でメタデータの少なくとも１つの
項目を取得し、
前記メタデータの少なくとも１つの項目を画像合成モジュールに提供する、
ように更に構成されることを特徴とする、デコード装置。
【請求項１０】
デコード装置によってデコードされたビューの少なくとも１つの画像から、仮想ビュー
の少なくとも１つの画像を生成することを含む画像合成方法であって、該画像合成方法は
、
所定の形式でメタデータの少なくとも１つの項目を読み出すこと（Ｅ６０）であって、
前記メタデータの少なくとも１つの項目は、前記デコード装置によって、マルチビュービ
デオを表すデータストリームから取得された少なくとも１つのシンタックス要素から取得
されることと、
前記メタデータの少なくとも１つの読み出された項目を用いることを含む前記少なくと
も１つの画像を生成すること（Ｅ６１）と、
を含むことを特徴とする、画像合成方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、一般に、３Ｄ画像処理の分野に関し、より詳細には、マルチビュー画像のシ
ーケンスのデコード、及び中間ビューの画像の合成に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
仮想現実の分野では、フリーナビゲーション（free navigation）により、視認者が、
任意の視点からのシーンを、その視点がカメラによってキャプチャされた視点に対応する
のか又はカメラによってキャプチャされていない視点に対応するのかを問わず、視認する
ことが可能になる。カメラによってキャプチャされていないそのようなビューは、仮想ビ
ュー又は中間ビューとも称され、これはなぜならば、このビューは、カメラによってキャ
プチャされたビューとビューとの間にあり、復元のために合成されなければならないため
である。
【０００３】
シーン内のフリーナビゲーションは、マルチビュービデオを視認するユーザの全ての動
きが正しく管理されるとともに、画像が最適にレンダリングされない場合に視認者が感じ
得る不快感が回避されることを必要とする。
【０００４】
一般に、ユーザの動きは、復元装置、例えば、ＨＭＤ（ヘッドマウントデバイス）仮想
現実ヘッドセットによって正しく考慮される。
【０００５】
しかしながら、ユーザの動き（回転又は平行移動）にかかわらず、表示のために正しい
ピクセルを提供することは、依然として問題である。実際には、表示すべき画像の計算は
、仮想（すなわち、合成された）ビューの追加の画像を表示するためにいくつかのキャプ
チャされたビューの使用を必要とする。そのような仮想ビューは、カメラによってキャプ
チャされていない視点に対応する。そして、デコードされキャプチャされたビュー及び関
連付けられた深度からそれらを計算することが必要とされる。
【０００６】
したがって、フリーナビゲーション機能を提供するコーデックは、いくつかのビュー及
び関連付けられた深度をエンコードするのに有効であるとともに、仮想ビューの最適なレ
ンダリングを可能にしなければならず、すなわち、合成アルゴリズムを表示に使用するこ
とを必要とする。
【０００７】
マルチビューシーケンスをエンコードするように設計されたマルチビュービデオエンコ
ーダ、例えば、スタンダードＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣ（Series H: Audiovisua
l and multimedia systems - Infrastructure of audio visual services - Coding of m
oving video, High Efficiency Video Coding, Recommendation ITU-T H.265, Internati
onal Telecommunication Union, December 2016）が既知である。
【０００８】
ＭＶ－ＨＥＶＣエンコーダは、非常に基本的なビュー間予測を適用し、一方、３Ｄ－Ｈ
ＥＶＣエンコーダは、いくつかの追加のツールを含むことで、時間冗長性のみではなく、
ビュー間冗長性も利用する。加えて、３Ｄ－ＨＥＶＣは、深度マップを効率的にエンコー
ドするための特定のツールを有する。これらの２つのコーデック、及び特に３Ｄ－ＨＥＶ
Ｃは、関連する深度を有する複数のビューをエンコードする際に、ＨＥＶＣ規格等の２Ｄ
ビデオシーケンスを扱う従来のビデオコーデックと比較して、ビットレートを有効に削減
する。
【０００９】
仮想現実の状況では、カメラによってキャプチャされ、データストリームにエンコード
されているビューをデコードした後、例えばユーザの動きに基づいて仮想ビューを合成す
ることができる。
【００１０】
そのような仮想ビューを合成することについて、例えば、ＶＳＲＳツール（Wegner, St
ankiewicz, Tanimoto, Domanski, Enhanced view synthesis reference software (VSRS)
for free-viewpoint television, ISO/IEC JTC1/SC29/WG11 m31520, October 2013, Gen
eva, Switzerland）が既知である。
（【００１１】以降は省略されています）

関連特許