特許ウォッチ

公開番号2025020389
公報種別公開特許公報(A)
公開日2025-02-12
出願番号2024198195,2023094171
出願日2024-11-13,2020-01-31
発明の名称サブピクチャまたは領域ごとのランダムアクセスを可能にするビデオコーデックとこのビデオコーデックを使用したビデオ合成の概念
出願人フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
代理人弁理士法人鷲田国際特許事務所
主分類H04N 19/597 20140101AFI20250204BHJP(電気通信技術)
要約【課題】効果的なビデオ合成/統合又は段階的復号リフレッシュを効果的に実装するビデオコーデックの概念を、ビデオ合成/統合を効果的に可能とする概念と共に提供する。
【解決手段】デコーダ22は、ビデオの1つ以上のピクチャのセット42における各ピクチャ18の各サブピクチャ24について、データストリーム10からサブピクチャ関連情報40を復号し、サブピクチャ関連情報が第1の状態の時、ランダムアクセスポイント方式で符号化されているものとして個々のサブピクチャを識別し、第2の状態の時、ランダムアクセスポイント方式で符号化されていないものとして識別する。また、データストリームからランダムアクセスポイント・シグナリング粒度指示44を復号する。粒度指示は、第1の粒度のときサブピクチャ関連情報がそれぞれのピクチャの全てのサブピクチャに対して共通の状態をとることを示し、第2の粒度のとき異なる状態をとり得ることを示す。
【選択図】図2
特許請求の範囲【請求項１】
データストリームからピクチャを復号する方法であって、
ピクチャに対して、ＮＡＬユニットタイプが前記ピクチャの少なくとも２つのサブピクチャの間で異なるかどうかを示すフラグを前記データストリームから復号することと、
前記フラグが第１の値である場合、前記ＮＡＬユニットタイプが前記ピクチャのすべての前記サブピクチャに対して同じであると決定することと、
前記フラグが、前記第１の値とは異なる第２の値である場合、前記ピクチャの第１のサブピクチャの第１のＮＡＬユニットタイプと、前記ピクチャの第２のサブピクチャの、前記第１のＮＡＬユニットタイプとは異なる第２のＮＡＬユニットタイプと、を復号することと、
を備える方法。
続きを表示（約 1,500 文字）【請求項２】
前記第１のＮＡＬユニットタイプはランダムアクセスであり、
前記第２のＮＡＬユニットタイプはランダムアクセスではない、
請求項１に記載の方法。
【請求項３】
前記フラグは、前記データストリームのピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）に含まれ、
各ＮＡＬユニットタイプは、サブピクチャのスライスに関連付けられる、
請求項１に記載の方法。
【請求項４】
前記フラグが前記第２の値である場合、前記サブピクチャを復号する間に、前記サブピクチャの少なくとも１つをバッファに格納し、
前記ピクチャのすべての前記サブピクチャが解析または復号された後、前記バッファをフラッシュする、
ことをさらに備える、請求項１に記載の方法。
【請求項５】
前記ＮＡＬユニットタイプに対応する整数値のシンタックス要素に基づいて、２つのＮＡＬユニットタイプのサブセットを区別することをさらに備え、
前記２つのＮＡＬユニットタイプのサブセットのうちの第１のサブセットは、ランダムアクセスに対応し、
前記２つのＮＡＬユニットタイプのサブセットのうちの第２のサブセットは、ランダムアクセスでないものに対応する、
請求項１に記載の方法。
【請求項６】
ピクチャに対して、ＮＡＬユニットタイプが前記ピクチャの少なくとも２つのサブピクチャの間で異なるかどうかを示すフラグをデータストリームから復号し、
前記フラグが第１の値である場合、前記ＮＡＬユニットタイプが前記ピクチャのすべての前記サブピクチャに対して同じであると決定し、
前記フラグが、前記第１の値とは異なる第２の値である場合、前記ピクチャの第１のサブピクチャの第１のＮＡＬユニットタイプと、前記ピクチャの第２のサブピクチャの、前記第１のＮＡＬユニットタイプとは異なる第２のＮＡＬユニットタイプとを復号する、
ように構成された、デコーダ。
【請求項７】
前記第１のＮＡＬユニットタイプはランダムアクセスであり、
前記第２のＮＡＬユニットタイプはランダムアクセスではない、
請求項６に記載のデコーダ。
【請求項８】
前記フラグは、前記データストリームのピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）に含まれ、
各ＮＡＬユニットタイプは、サブピクチャのスライスに関連付けられる、
請求項６に記載のデコーダ。
【請求項９】
前記フラグが前記第２の値である場合、前記サブピクチャを復号する間に、前記サブピクチャの少なくとも１つをバッファに格納し、
前記ピクチャのすべての前記サブピクチャが解析または復号された後、前記バッファをフラッシュする、
ようにさらに構成された、請求項６に記載のデコーダ。
【請求項１０】
前記ＮＡＬユニットタイプに対応する整数値のシンタックス要素に基づいて、２つのＮＡＬユニットタイプのサブセットを区別するようにさらに構成され、
前記２つのＮＡＬユニットタイプのサブセットのうちの第１のサブセットは、ランダムアクセスに対応し、
前記２つのＮＡＬユニットタイプのサブセットのうちの第２のサブセットは、ランダムアクセスでないものに対応する、
請求項６に記載のデコーダ。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本出願は、ビデオ符号化およびビデオ合成（video composition）に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
様々なアプリケーションは、サブピクチャを利用しており、つまり、個別の符号化と復号化のために、ビデオピクチャをサブピクチャにサブ分割している。これらのアプリケーションの中には、３６０°ビデオと段階的復号リフレッシュ（gradual decoding refresh）とがある。
【０００３】
３６０°ビデオの場合、図１０の左側に示すように、サブピクチャ（ＨＥＶＣの場合はタイル）が異なる解像度で個別に提供される。ユーザーは、図１０の中央に示されているように、あるタイルを高解像度で、他のタイルを低解像度で、彼らの視線方向（viewing orientation）に従って選択し、図１０の右側に示されているように、１つの共通のビットストリームへとマージ（統合）される。ユーザーが視線方向を変化させるときは常に、高解像度のタイルセットと低解像度のタイルのセットも変化する。ただし、高解像度のすべてのタイルが低解像度のタイルに変わるわけではなく、その逆も同様である。これは、解像度が変化するタイルのサブセットに対してのみ、切換ポイントが必要であることを意味する。この切換ポイントは通常、その特定のサブピクチャ・ビットストリームのランダムアクセスポイント（ＲＡＰ）である。
【０００４】
段階的復号リフレッシュ（ＧＤＲ）は、図１１に示されるように、非ＲＡＰでビットストリームの復号を開始し、所与の数のピクチャを復号した後、復号プロセスがＲＡＰで開始された場合と同じような品質でビデオを表示できるようにするメカニズムである。
【０００５】
図１１では、例えば（符号化順序９００で連続する）４つの連続する非ＲＡＰピクチャが、３つのタイルグループtile_group0、tile_group1、tile_group2へと、つまりそれぞれのピクチャの領域へと、均等にサブ分割されていることが示される。ビデオ９０２のピクチャは、参照記号９０４ａ～９０４ｄによって示され、それらがサブ分割された領域は、参照記号９０６を使用して示される。各領域９０６は、その中に「ＩＲＡＰ」と銘記されることによって、自己完結型の方法で、即ちランダムアクセスポイントを形成する方法で符号化されること、又は、そうでなく、その中に「インター」と銘記されることによって、他のピクチャを参照する方法で符号化されること、を示している。図１１に示される４つのピクチャ９０４ａ～９０４ｄのいずれも、すべての領域９０６がランダムアクセスポイントとして符号化される訳ではない。むしろ、図１１の例では、その領域の１つだけがランダムアクセスポイントであるが、図１１の例では、ピクチャ９０４ａ～９０４ｃなどの３つの連続するピクチャのランダムアクセスポイント領域は、ビデオ９０２のピクチャのピクチャ領域を空間的に完全にカバーしている。したがって、そのようなピクチャのトリプレットの後、そのようなトリプレットの最後のピクチャ、ここではピクチャ９０４ｃは、デコーダにおいてある条件下でアーチファクトのない状態で利用可能である。その条件とは、このピクチャ９０４ｃの非ＲＡＰ領域が－例えば予測および／またはエントロピーコンテキスト導出の点で、即ち符号化の相互依存性（coding interdependencies）の点で－ＲＡＰ領域、または、それら自身ＲＡＰ領域だけに対して符号化依存性を直接的または間接的に有している非ＲＡＰ領域である領域を単に参照したことを、エンコーダが管理していたという点である。つまり、復号化がＲＡＰを用いて開始されたときのように、即座に明瞭な復号済みピクチャが達成される訳ではない。むしろ、欠落した参照のアーチファクトを排除するために、復号済みピクチャが段階的にリフレッシュされた後、しばらくして明瞭な復号済みピクチャが達成される。これはピクチャ９０４ｃである。典型的には、ＧＤＲは、コンテンツを領域（タイルなど）に分割し、それら領域を整列されていないサブピクチャＲＡＰを用いて符号化することで実現できる。
【０００６】
上記の２つのシナリオのいずれの結果としても、異なるサブビットストリームにわたる参照は変化する。また、異なるサブピクチャがＩ＿ＳＬＩＣＥＳタイプ（前に復号されたピクチャへの予測が適用されない）としてのみシグナリングされるため、異なるサブピクチャのＲＡＰマーキングは明確には実行されず、かつ参照ピクチャリスト内でＩ＿ＳＬＩＣＥタイプのピクチャの前にサブピクチャを含めないことによってのみ、同じサブピクチャ・ビットストリームの連続するサブピクチャの予測が中断される。
【０００７】
上記した既存のビデオ符号化の概念にも関わらず、例えば、より効果的なビデオ合成、および／または段階的復号リフレッシュのより効果的な実装を可能にする、ビデオ符号化環境の必要性が依然として存在する。
【先行技術文献】
【特許文献】
【０００８】
WO 2015/059194
WO 2016/026526
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、本発明の目的は、より効果的なビデオ合成／統合および／または段階的復号リフレッシュのより効果的な実装を可能にするビデオコーデック、および／または、例えば合成／統合作業の複雑さの観点から、ビデオ合成／統合をより効果的にすることを可能にする概念を提供することである。
【課題を解決するための手段】
【００１０】
この目的は、本出願の独立請求項の要旨によって達成される。
（【００１１】以降は省略されています）

関連特許