特許ウォッチ

公開番号2024150501
公報種別公開特許公報(A)
公開日2024-10-23
出願番号2024108903,2021517806
出願日2024-07-05,2019-09-25
発明の名称全方位映像の符号化及び復号
出願人オランジュ
代理人個人,個人,個人
主分類H04N 19/597 20140101AFI20241016BHJP(電気通信技術)
要約【課題】多数のビューのうちの一部のビューを符号化する方法を提供する。
【解決手段】多数のビューのうちのビューの画像を符号化するプロセスは、画像からの画像データを符号化するために第1の符号化方法又は第2の符号化方法を選択すること(C1)と、選択されたものが第1の符号化方法か又は第2の符号化方法かを示す情報(flag_proc)を含むデータ信号を生成すること(C10、C12a;C10、C12b;C10、C12c)と、第1の符号化方法である場合、符号化済みのオリジナルデータを提供するために、オリジナル画像データを符号化すること(C11a)と、第2の符号化方法である場合、処理済み且つ符号化済みのデータを提供するために、オリジナル画像データの画像処理によって得られた画像からの処理済みの画像データを符号化すること(C11b)と、適用された画像処理について説明する情報を符号化すること(C11b)とを含む。
【選択図】図1
特許請求の範囲【請求項１】
符号化デバイスによって実施される、多数のビューのビュー形成部分の画像を符号化するための方法であって、前記多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、方法であり、
－前記ビューの前記画像を符号化するために第１の符号化方法又は第２の符号化方法を選択すること（Ｃ１）と、
－選択されたものが前記第１の符号化方法か又は前記第２の符号化方法かを示す情報（ｆｌａｇ＿ｐｒｏｃ）を含むデータ信号を生成すること（Ｃ１０、Ｃ１２ａ；Ｃ１０、Ｃ１２ｂ；Ｃ１０、Ｃ１２ｃ）と、
－前記第１の符号化方法が選択された場合は、前記ビューの前記画像のオリジナルデータを符号化すること（Ｃ１１ａ）であって、前記第１の符号化方法が、符号化済みのオリジナルデータを提供する、符号化すること（Ｃ１１ａ）と、
－前記第２の符号化方法が選択された場合は、
－前記ビューの前記画像の処理済みのデータを符号化すること（Ｃ１１ｂ）であって、前記データが、前記ビューの前記画像の前記オリジナルデータに適用された画像処理によって得られ、前記符号化が、処理済み且つ符号化済みのデータを提供する、符号化すること（Ｃ１１ｂ）と、
－適用された前記画像処理の説明情報を符号化すること（Ｃ１１ｂ）と
を含む、方法であり、
－前記生成されたデータ信号が、
－前記第１の符号化方法が選択された場合は、前記ビューの前記画像の前記符号化済みのオリジナルデータ、
－前記第２の符号化方法が選択された場合は、前記ビューの前記画像の前記処理済み且つ符号化済みのデータ及び前記画像処理の前記符号化済みの説明情報
をさらに含む、方法。
続きを表示（約 2,900 文字）【請求項２】
復号デバイスによって実施される、多数のビューのビュー形成部分の画像を表すデータ信号を復号するための方法であって、前記多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、方法であり、
－前記データ信号において、前記ビューの前記画像を第１の復号方法に従って復号すべきか又は第２の復号方法に従って復号すべきかを示す情報（ｆｌａｇ＿ｐｒｏｃ）のアイテムを読み取ること（Ｄ１）と、
－前記第１の復号方法である場合は、
－前記データ信号において、前記ビューの前記画像と関連付けられた符号化済みのデータを読み取ること（Ｄ１１ａ）と、
－前記符号化済みのデータに基づいて、前記ビューの画像を再構築すること（Ｄ１２ａ）であって、前記再構築済みのビューの前記画像が、前記ビューの前記画像の前記オリジナルデータを含む、再構築すること（Ｄ１２ａ）と、
－前記第２の復号方法である場合は、
－前記データ信号において、前記ビューの前記画像と関連付けられた符号化済みのデータを読み取ること（Ｄ１１ｂ；Ｄ１１ｃ）と、
－読み取られた前記符号化済みのデータに基づいて、前記ビューの前記画像の処理済みのデータ及び前記ビューの前記画像の前記オリジナルデータに適用された画像処理の説明情報を再構築すること（Ｄ１２ｂ）と、
を含む、方法。
【請求項３】
－前記ビューの前記画像の前記処理済みのデータが、前記ビューの前記画像のクロッピングの適用後の削除されなかった前記ビューの前記画像のデータであり、
－前記画像処理の前記説明情報が、前記ビューの前記画像における１つ又は複数のクロッピング済みの領域の場所についての情報である、請求項１又は２に記載の方法。
【請求項４】
－前記ビューの前記画像の前記処理済みのデータが、所定のサンプリングファクタに従って及び少なくとも１つの所定の方向においてサンプリングが行われた前記ビューの前記画像の少なくとも１つの領域の前記データであり、
－前記画像処理の前記説明情報が、前記ビューの前記画像における前記少なくとも１つのサンプリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む、請求項１又は２に記載の方法。
【請求項５】
－前記ビューの前記画像の前記処理済みのデータが、フィルタリングが行われた前記ビューの前記画像の少なくとも１つの領域の前記データであり、
－前記画像処理の前記説明情報が、前記ビューの前記画像における前記少なくとも１つのフィルタリング済みの領域の場所についての情報の少なくとも１つのアイテムを含む、請求項１又は２に記載の方法。
【請求項６】
－前記ビューの前記画像の前記処理済みのデータが、前記多数のビューのうちの別のビューの画像を使用して検出されたオクルージョンに対応する前記ビューの前記画像の画素であり、
－前記画像処理の前記説明情報が、別のビューの前記画像に見られる前記ビューの前記画像の前記画素のインジケータを含む、請求項１又は２に記載の方法。
【請求項７】
多数のビューのビュー形成部分の画像を符号化するためのデバイスであって、前記多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、符号化デバイスであり、
－前記ビューの前記画像のデータを符号化するために第１の符号化方法又は第２の符号化方法を選択することと、
－選択されたものが前記第１の符号化方法か又は前記第２の符号化方法かを示す情報を含むデータ信号を生成することと、
－前記第１の符号化方法が選択された場合は、前記ビューの前記画像のオリジナルデータを符号化することであって、前記第１の符号化方法が、符号化済みのオリジナルデータを提供する、符号化することと、
－前記第２の符号化方法が選択された場合は、
－前記ビューの前記画像の処理済みのデータを符号化することであって、前記データが、前記ビューの前記画像の前記オリジナルデータに適用された画像処理によって得られ、前記符号化が、処理済み且つ符号化済みのデータを提供する、符号化することと、
－適用された前記画像処理の説明情報を符号化することと
を実施するように構成されたプロセッサを含む、符号化デバイスであり、
－前記生成されたデータ信号が、
－前記第１の符号化方法が選択された場合は、前記ビューの前記画像の前記符号化済みのオリジナルデータ、
－前記第２の符号化方法が選択された場合は、前記ビューの前記画像の前記処理済み且つ符号化済みのデータ及び前記画像処理の前記符号化済みの説明情報
をさらに含む、符号化デバイス。
【請求項８】
多数のビューのビュー形成部分の画像を表すデータ信号を復号するためのデバイスであって、前記多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、復号デバイスであり、
－前記データ信号において、前記ビューの前記画像を第１の復号方法に従って復号すべきか又は第２の復号方法に従って復号すべきかを示す情報（ｆｌａｇ＿ｐｒｏｃ）のアイテムを読み取ることと、
－前記第１の復号方法である場合は、
－前記データ信号において、前記ビューの前記画像と関連付けられた符号化済みのデータを読み取ることと、
－読み取られた前記符号化済みのデータに基づいて、前記ビューの画像を再構築することであって、前記再構築済みのビューの前記画像が、前記ビューの前記画像の前記オリジナルデータを含む、再構築することと、
－前記第２の復号方法である場合は、
－前記データ信号において、前記ビューの前記画像と関連付けられた符号化済みのデータを読み取ることと、
－読み取られた前記符号化済みのデータに基づいて、前記ビューの画像を再構築することであって、前記ビューの前記再構築済みの画像が、前記処理済みのデータを得るために使用された画像処理の説明情報と関連付けられた前記ビューの前記画像の処理済みのデータを含む、再構築することと、
を実施するように構成されたプロセッサを含む、復号デバイス。
【請求項９】
コンピュータ上で実行されると、請求項１及び３～６のいずれか一項に記載の符号化方法又は請求項２及び３～６のいずれか一項に記載の復号方法のステップを実行するためのプログラムコード命令を含む命令を含むコンピュータプログラム。
【請求項１０】
コンピュータによって読み取ることができ、請求項９に記載のコンピュータプログラムの命令を含む情報媒体。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、概して、全方位映像の分野に関し、具体的には、３６０°、１８０°などの映像に関する。より具体的には、本発明は、そのような映像を生成するために捕捉された３６０°、１８０°などのビューの符号化及び復号と、非捕捉中間視点の合成とに関する。
続きを表示（約 2,800 文字）【０００２】
本発明は、特に（ただし、排他的ではない）、現在のＡＶＣ及びＨＥＶＣ映像コーダ並びにそれらの拡張（ＭＶＣ、３Ｄ－ＡＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）において実施される映像符号化並びに対応する映像復号に適用することができる。
【背景技術】
【０００３】
全方位映像（例えば、３６０°映像など）を生成するため、３６０°カメラを使用することは一般的なことである。そのような３６０°カメラは、球形プラットフォームに設置された多数の２Ｄ（二次元）カメラで形成されている。各２Ｄカメラは、３Ｄ（三次元）シーンの特定の角度を捕捉し、カメラによって捕捉されたビューのセットにより、３６０°×１８０°視野の３Ｄシーンを表す映像の生成が可能になる。また、単一の３６０°カメラを使用して３６０°×１８０°視野の３Ｄシーンを捕捉することも可能である。当然ながら、そのような視野は、より小さなもの（例えば、２７０°×１３５°）であり得る。
【０００４】
次いで、そのような３６０°映像により、ユーザは、まるでユーザがその中心に位置付けられているかのようにシーンを見たり、ユーザの周囲全体を（３６０°にわたって）見渡したりすることができ、それにより、新しい映像鑑賞方法が提供される。そのような映像は、一般に、「頭部装着型デバイス」に相当するＨＭＤとしても知られているバーチャルリアリティヘッドセットにおいて再生される。しかし、それらの映像は、適切なユーザ対話手段が装備された２Ｄスクリーン上に表示することもできる。３６０°シーンを捕捉するための２Ｄカメラの数は、使用されるプラットフォームによって異なる。
【０００５】
３６０°映像を生成するため、様々な２Ｄカメラによって捕捉された多様なビューは、パノラマ２Ｄ画像を作成するために、ビュー間の重複を考慮した上で、端と端をつなげて並べられる。このステップは、「スティッチング」としても知られている。例えば、正距円筒投影（ＥＲＰ）は、そのようなパノラマ画像を得るための考えられる投影の１つである。この投影によれば、２Ｄカメラの各々によって捕捉されたビューは、球面に投影される。キューブマッピングタイプの投影（立方体の面への投影）など、他のタイプの投影も可能である。次いで、表面に投影されたビューは、２Ｄパノラマ画像を得るために２Ｄ平面に投影され、２Ｄパノラマ画像は、所定の時刻における捕捉されたシーンのビューのすべてを含むものである。
【０００６】
没入感を増大させるため、前述のタイプの多数の３６０°カメラを同時に使用してシーンを捕捉することができ、これらのカメラは、任意の方法でシーンに位置付けられる。３６０°カメラは、実際のカメラ（すなわち、物理的物体）でも、バーチャルカメラでもよく、バーチャルカメラの場合は、ビューは、ビュー生成ソフトウェアによって得られる。具体的には、そのようなバーチャルカメラは、実際のカメラによって捕捉されなかった３Ｄシーンの視点を表すビューの生成を可能にする。
【０００７】
次いで、単一の３６０°カメラを使用して得られた３６０°ビューの画像又は多数の３６０°カメラ（実際のカメラ及びバーチャルカメラ）を使用して得られた３６０°ビューの画像は、例えば、
－従来の２Ｄ映像コーダ（例えば、ＨＥＶＣ（「高効率映像符号化」の略語）規格に適合するコーダ）
－従来の３Ｄ映像コーダ（例えば、ＭＶ－ＨＥＶＣ及び３Ｄ－ＨＥＶＣ規格に適合するコーダ）
を使用して符号化される。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そのようなコーダは、多数の３６０°ビューの画像及びそのような３６０°ビューを使用した３Ｄシーンの３６０°表現の特定の幾何学が符号化されることは言うまでもなく、１つの３６０°ビューにおいて非常に大量のデータの画像が符号化されることを考慮すると、圧縮の観点から十分に効率的とは言えない。その上、３６０°カメラの２Ｄカメラによって捕捉されたビューは多様であるため、これらのコーダによってインター画像予測はほとんど又は全く使用されないことを理由に、前述のコーダは、３６０°ビューの異なる画像の符号化には適さない。特に、２つの２Ｄカメラによってそれぞれ捕捉された２つのビューの間では、予測できる同様のコンテンツはほとんどない。従って、３６０°ビューの画像はすべて、同じ方法で圧縮される。具体的には、これらのコーダでは、符号化予定の現在の３６０°ビューの画像に関して、符号化に次いで復号されるビューのこの画像を使用することになる非捕捉中間ビュー画像の合成の一環として、この画像のデータのすべてを符号化することが理にかなっているか又はこの画像のデータのほんの一部を符号化することが理にかなっているかを判断するための分析は実行されない。
【０００９】
本発明の目的の１つは、前述の先行技術の欠点を修正することである。
【課題を解決するための手段】
【００１０】
その目的のため、本発明の一対象は、符号化デバイスによって実施される、多数のビューのビュー形成部分の画像を符号化するための方法であって、多数のビューが、異なる視野角又は位置からの３Ｄシーンを同時に表す、方法であり、
－ビューの画像を符号化するために第１の符号化方法又は第２の符号化方法を選択することと、
－選択されたものが第１の符号化方法か又は第２の符号化方法かを示す情報を含むデータ信号を生成することと、
－第１の符号化方法が選択された場合は、ビューの画像のオリジナルデータを符号化することであって、第１の符号化方法が、符号化済みのオリジナルデータを提供する、符号化することと、
－第２の符号化方法が選択された場合は、
－ビューの画像の処理済みのデータを符号化することであって、これらのデータが、ビューの画像のオリジナルデータに適用された画像処理によって得られ、符号化が、処理済み且つ符号化済みのデータを提供する、符号化することと、
－適用された画像処理の説明情報を符号化することと
を含む、方法であり、
－生成されたデータ信号が、
－第１の符号化方法が選択された場合は、ビューの画像の符号化済みのオリジナルデータ、
－第２の符号化方法が選択された場合は、ビューの画像の処理済み且つ符号化済みのデータ及び画像処理の符号化済みの説明情報
をさらに含む、方法に関する。
（【００１１】以降は省略されています）

関連特許