特許ウォッチ

公開番号2025000643
公報種別公開特許公報(A)
公開日2025-01-07
出願番号2024152815,2023194808
出願日2024-09-05,2014-07-15
発明の名称クラスタに基づいた依存信号
出願人ジーイービデオコンプレッションエルエルシー
代理人弁理士法人岡田特許事務所
主分類H04N 19/70 20140101AFI20241224BHJP(電気通信技術)
要約【課題】レイヤ間予測を使用して異なる情報量レベルに対応する異なる層でビデオ素材が符号化されるマルチレイヤデータストリームを処理する装置を提供する。
【解決手段】ベースレイヤID20と拡張レイヤID22に基づいて、ネットワーク装置18であって、個々のパケット12が関連する層を識別しているレイヤIDを導出し、マルチレイヤデータストリーム10から、識別された第1相互依存構文構造及び第2相互依存構文構造を読み取る。第1相互依存構文構造は、ベースレイヤID20によって表現可能な異なる値のペア間の相互依存を2進数の方法で示す。第2相互依存構文構造は、拡張レイヤIDによって表現可能な異なる値のペア間の相互依存を2進数の方法で示す。両方の相互依存構文構造に基づいて、ネットワーク装置は、その時、異なる層14の間のレイヤ間予測依存を明らかにしているレイヤ間依存マトリクスを形成する。
【選択図】図3
特許請求の範囲【請求項１】
レイヤ間予測を使用して異なる情報量レベルに対応する異なる層でビデオ素材が符号化されている、マルチレイヤデータストリーム（１０）を処理するように構成された装置であって、前記マルチレイヤデータストリームは、それぞれが前記異なる層の１つと関連する複数のパケット（１２）を含み、それぞれの層はベースレイヤＩＤ（２０）、または、ベースレイヤＩＤ（２０）および拡張レイヤＩＤ（２２）によって索引を付けられる装置であって、前記装置は、
前記ベースレイヤＩＤ（２０）によって表現できる異なる値のペア間の相互依存を示す第１相互依存構文構造（２４）、および、前記拡張レイヤＩＤ（２２）によって表現できる異なる値のペア間の相互依存を示す第２相互依存構文構造（２６）を、前記マルチレイヤデータストリームから読み取り、
前記第１相互依存構文構造および前記第２相互依存構文構造に基づいて、前記異なる層間の可能な相互層予測依存を明らかにする相互層依存記述（１４）を構築するように構成されていることを特徴とする装置。
続きを表示（約 2,200 文字）【請求項２】
前記マルチレイヤデータストリームから、前記第２相互依存構造（２６）の複数の実例（３４）を読み取る、すなわち、Ｎが前記ベースレイヤＩＤによって表現することができる値の数である、前記ベースレイヤＩＤによって表現できる、値が０＜ｋ≦ｊ≦ｎ＜Ｎの異なるペア（ｊ、ｋ）に対して、ペア（ｊ、ｋ）間の相互依存の存在または不存在を示す前記第１相互依存構文構造に条件付きで依存しているペア（ｊ、ｋ）について、前記マルチレイヤデータストリームから前記第２相互依存構文構造（２６）を読み取る又はスキップしながら読み取ることによって、前記第２相互依存構文構造（２６）の複数の実例（３４）を読み取るように構成される装置であって、
ｊ＝ｋであるペア（ｊ、ｋ）について読み取られた前記第２相互依存構文構造（２６）の実例（３４）は、ベースレイヤＩＤがｊであるそれらの間の層が、ベースレイヤＩＤがｊであるそれらの間の別の層に依存するレイヤ間予測であるかを示し、そして、ｋ＜ｊであるペア（ｊ、ｋ）について読み取られた前記第２相互依存構文構造（２６）の前記実例（３４）は、ベースレイヤＩＤがｊであるそれらの間の層が、ベースレイヤＩＤがｋであるそれらの間の層に依存するレイヤ間予測であるかを示していること、
を特徴とする請求項１に記載の装置。
【請求項３】
前記マルチレイヤデータストリームから前記第２相互依存構文構造（２６）の１つの実例を読み取るように構成された装置であって、前記第２相互依存構文構造（２６）の前記１つの実例は、Ｎを前記ベースレイヤＩＤが表現できる値の数として、
前記ベースレイヤＩＤによって表現できる値が０＜ｉ≦ｎ＜Ｎのそれぞれについて、ベースレイヤＩＤがｉであるそれらの間の層が、ベースレイヤＩＤがｉであるそれらの間の別の層に依存する相互層予測であるかを共通して、または、
０＜ｋ＜ｊ≦ｎ＜Ｎであるペア（ｊ、ｋ）のセットのそれぞれについて、ベースレイヤＩＤがｊであるそれらの間の層が、ベースレイヤＩＤがｋであるそれらの間の層に依存するレイヤ間予測であるかをそれぞれ、共通して示すように構成されていること、を特徴とする請求項１に記載の装置。
【請求項４】
前記第２相互依存構文構造（２６）の実例のそれぞれについて、前記ベースレイヤＩＤによって表現できる値が０＜ｋ≦ｊ≦ｎ＜Ｎのペア（ｊ、ｋ）の個々の副セットと前記第２相互依存構文構造（２６）のそれぞれの実例を関連付ける関連構文構造と一緒に、前記マルチレイヤデータストリームから前記第２相互依存構文構造（２６）の実例を読み取るように構成されている装置であって、Ｎは前記ベースレイヤＩＤによって表現できる値の数であること、を特徴とする請求項１に記載の装置。
【請求項５】
前記関連構文構造がペア（ｊ、ｋ）毎にフラグを含み、前記装置は、
前記第１相互依存構文構造がペア（ｊ、ｋ）間の相互依存の不存在を示す、値が０＜ｋ≦ｊ≦ｎ＜Ｎのスキップペア（ｊ、ｋ）を持つ前記関連構文構造を構文解析するように構成されていること、を特徴とする請求項４に記載の装置。
【請求項６】
前記拡張レイヤＩＤ（２２）によって表現できる数値がＭであり、前記第２相互依存構文構造が、
ベースレイヤＩＤがｊであるそれらの間の層が、ベースレイヤＩＤがｊであるそれらの間の別の層に依存するレイヤ間予測であるかを示すために、拡張値が０＜ｑ＜ｐ≦ｍ＜Ｍであるペア（ｐ、ｑ）毎に１つの２進数の値、および
拡張値がｐであり、かつベースレイヤＩＤがｊである層のうちのどれが、拡張値がｑであり、かつベースレイヤＩＤがｋ＜ｊである層に依存するレイヤ間予測であるかを示すために、拡張値が０＜ｐ、ｑ≦ｍ＜Ｍであるペア（ｐ、ｑ）毎に１つの２進数の値を含むこと、
を特徴とする請求項１～請求項５のいずれかに記載の装置。
【請求項７】
前記マルチレイヤデータストリームにおいて、前記ベースレイヤＩＤによって表現できるＮ個の値の中の仮の最大値の明示的なシグナリングからｎを導出する、および／または、前記マルチレイヤデータストリームにおいて、前記拡張レイヤＩＤによって表現できるＭ個の値の中の仮の最大値の明示的なシグナリングからｍを導出するように構成されていること、を特徴とする請求項１～請求項６のいずれかに記載の装置。
【請求項８】
前記第１相互依存構文構造（２４）が、層の異なるセットの間の相互依存を定義し、前記第２相互依存構文構造（２６）が、依存するセットの中の層の間の相互依存を定義していること、を特徴とする請求項１～請求項７のいずれかに記載の装置。
【請求項９】
前記第１相互依存構文構造および前記パケットのベースレイヤＩＤに基づいて、共通のベースレイヤＩＤをそれぞれ持つ層のセットを単位としてパケットを破棄するように構成されていること、を特徴とする請求項１～請求項８のいずれかに記載の装置。
【請求項１０】
前記第１相互依存構文構造、前記第２相互依存構文構造、前記パケットのベースレイヤＩＤおよび前記パケットの拡張レイヤＩＤに基づいて、さらに個々の層を破棄するように構成されていること、を特徴とする請求項９に記載の装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、例えばマルチレイヤビデオ符号化の分野などの・・・・に関する。
続きを表示（約 3,900 文字）【背景技術】
【０００２】
ＨＥＶＣ基本仕様［非特許文献１］などのビデオ符号器規格、および、マルチビュー（ｖｉｅｗ）拡張［非特許文献２、３］などのその拡張は、通常、層にされた符号化シナリオにおいて、ビデオデータの個々の符号化された大きな塊が属する層を信号で伝えるためのメカニズムを引き継ぐ。信号化メカニズムはすぐに利用できることを必要とする（図１の表に与えられたＨＥＶＣのＮＡＬユニットヘッダー（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）の中のレイヤ識別子と比較してください）。
【０００３】
ビットについてその有限サイズに関して、個々のＨＥＶＣ構文要素は、スケーラブル層、ビューおよび／または深度を識別するために用いられる６４個の値を許容する。例えば、現在のＨＥＶＣＮＡＬユニットヘッダー構文を使っているマルチビュービデオに対して、これは、最大６４個のビュー、または、３２個のビュー＋深度の組み合わせの制限を暗示している。これは多くの共通のステレオビューシナリオおよび他の応用のために十分であるけれども、光分野画像処理［非特許文献４、５］またはホログラフィックディスプレイ［非特許文献６］のような応用のための１００個を超えるビューを有する莫大なカメラ配列は、レイヤ識別子のより大きい空間を信号で伝えるために拡張可能なメカニズムを必要とする。
【０００４】
さらに、それらの符号化依存（ｃｏｄｉｎｇｄｅｐｅｎｄｅｎｃｉｅｓ）もしくは互いの空間関係の観点から、所定の層またはビューをグループ化することによってレイヤ識別子の空間を構造化することが有利である。さらに、そのような情報を符号化されたビデオビットストリーム内の既に利用可能な情報から導出することが耐えられない計算処理源を必要とするので、構造化されたレイヤ識別子空間の中の符号化依存のコンパクトな表現も利点がある。
【先行技術文献】
【非特許文献】
【０００５】
Ｂ．ブロス、Ｗ．－Ｊ．ハン、Ｊ．－Ｒ．オーム、Ｇ．Ｊ．サリバン、Ｔ．ウィーガント（編集）、「高能率ビデオ符号化（ＨＥＶＣ）テキスト仕様書草稿１０」、ＪＣＴＶＣ－Ｌ１００３、ジュネーブ、ＣＨ、２０１３年１月
Ｇ．テク、Ｋ．ウェグナー、Ｙ．チェン、Ｍ．ハンニュクセラ、Ｊ．ボイス（編集）、「ＭＶ－ＨＥＶＣ草稿テキスト３（ＩＳＯ／ＩＥＣ２３００８－２ＰＤＡＭ２）」、ＪＣＴ３Ｖ－Ｃ１００４、ジュネーブ、ＣＨ、２０１３年１月
Ｇ．テク、Ｋ．ウェグナー、Ｙ．チェン、Ｓ．イア（編集）、「３Ｄ－ＨＥＶＣテストモデル説明書、草稿仕様書」、ＪＣＴ３Ｖ－Ｃ１００５、ジュネーブ、ＣＨ、２０１３年１月
ウィルバーン、ベネット他、大きいカメラ配列を使用している高性能画像、グラフィックのＡＣＭトランスアクション、２００５、２４。Ｊｇ．、Ｎｒ．３、Ｓ．７６５－７７６
ウィルバーン、ベネットＳ．他、光分野ビデオカメラ、電子画像処理２００２、光学と光通信学のための国際協会、２００１．Ｓ．２９－３６
ホリマイヒデヨシ他、３６０度水平線視角を持つフルカラー３Ｄディスプレイシステム、Ｐｒｏｃ．Ｉｎｔ．３Ｄとコンテンツのシンポジウム、２０１０、Ｓ．７－１０
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従って、例えば、減少したサイド情報オーバーヘッド、および／または、発展したバックワード互換性について、より効率的であるマルチレイヤ符号化に関連して・・・・の信号のための概念を提供することが、本応用の目的である。この目的は保留中の独立請求項の主題によって達成される。
【課題を解決するための手段】
【０００７】
本応用の面のうちの１つは、マルチレイヤデータストリームの層間のレイヤ間依存の信号化に関係している。この面によると、一方のレイヤ間依存の潜在的な多様性の非常に集中的な制限と、他方のレイヤ間依存の非常に複雑な信号との間の良好な妥協案は、ベースレイヤＩＤによって表現可能な異なる値のペア間の相互依存を標示している第１相互依存構文構造と、拡張レイヤＩＤによって表現可能な異なる値のペア間の相互依存を標示している第２相互依存構文構造との方法によって、レイヤ間依存を説明することによって見付けられる。マルチレイヤデータストリームの部分は、層に索引を付けているベースレイヤＩＤおよび拡張レイヤＩＤに関連する。この概念に従って、強調は、一方の信号化できる相互層依存の増大した多様性と、他方のレイヤ間依存を信号で伝えるための減少したサイド情報オーバーヘッドとの間を移行する。例えば、共通のベースレイヤＩＤを持つ層のセットを、それぞれ「クラスタ（群れ）」と呼ぶ。同じ第２相互依存構文構造は、第１の相互依存構文構造を介して、全てのクラスタ内の、および、互いに関連した全てのクラスタ間の相互依存を調節するために、別々に使用される。代わりに、第２相互依存構文構造の２つの例示が、一方のクラスタ内の層と他方の異なるクラスタの層間との相互依存を説明するために用いられる。増大した多様性または減少したサイド情報オーバーヘッドに置かれた強調とは無関係に、相互依存信号概念が、信号オーバーヘッドを低く保持することを生じる。
【０００８】
本応用の面のうちの１つは、マルチレイヤビデオ信号のパケットの各々が関連するレイヤＩＤの信号に関係している。特にこの面は、この層関係を信号で伝える効率的な方法を達成する。それでも、ベースレイヤＩＤフィールドの所定の値が、ベースレイヤＩＤフィールドのベースレイヤＩＤ値が０のように拡張できないと制限される符号でバックワード互換性を維持する。この拡張できないベースレイヤＩＤ値についてこの制限を特に回避する代わりに、マルチレイヤデータストリームの部分のレイヤＩＤは、ベースレイヤＩＤフィールドを第１副フィールドおよび第２副フィールドに区分することによって拡張できる方法で信号で伝えられる。ベースレイヤＩＤフィールドの第１の副フィールドが既定の基準を満たせば、いつでも、拡張レイヤＩＤフィールドが提供される。仮にベースレイヤＩＤフィールドの第１副フィールドが、既定の基準を満たさないならば、拡張レイヤＩＤフィールドは省略される。前記の拡張できないベースレイヤＩＤ値は、ベースレイヤＩＤフィールドの第１副フィールドが既定の基準を満たさないベースレイヤＩＤ値のグループ内に「隠されて」いる。従って、この拡張できないベースレイヤＩＤ値は別々に処理されるのではなく、前者のグループの部分が処理される。むしろ、仮にベースレイヤＩＤフィールドの第１副フィールドが、既定の基準を満たすならば、拡張値は、拡張値のドメインの第１副セットの中に存在するように、マルチレイヤデータストリーム内の信号で伝えられた拡張レイヤＩＤフィールドから導出される。そして、仮にベースレイヤＩＤフィールドの第１副フィールドが、既定の基準を満たさないならば、この拡張値は、拡張値のドメインの第１副セットに解体する値に設定される。個々の部分が関連する層は、その時、ベースレイヤＩＤフィールドの第２副フィールドから導出されるクラスタ値と同様の拡張値を使って索引を付けられる。大体、信号効率は、バックワード互換性の維持にも関わらず失われない。
【０００９】
本応用の面のうちの１つは、マルチレイヤビデオ信号などの層のための少なくとも１つの特性の信号（例えばそれぞれの層毎にそれぞれの層がレイヤ間予測を介して直接に関連する依存層の標示）または、前述の第２相互依存構文構造の信号に関係している。この面に従って、最大の構文要素は、マルチレイヤビデオ信号のパケットの拡張レイヤＩＤフィールドの使用された最大値を示すために、マルチレイヤビデオ信号内で信号が伝えられる。例えば、最大の構文要素の範囲は、マルチレイヤビデオ信号のいくつかの部分を横切って拡張している、マルチレイヤビデオ信号の既定の部分である。従って、この面によると、マルチレイヤビデオ信号の相対的に大きい既定の部分に対して、拡張レイヤＩＤフィールドによって信号化できる可能な値の可能なドメインの実際に消費された部分についての知識を得ることは、マルチレイヤビデオ信号を受信するデコーダやネットワーク要素などの装置に対して適当である。少なくとも１つの特性が、ベースレイヤＩＤフィールド値と拡張レイヤＩＤフィールド値とのそれぞれの結合のために信号で伝えられる必要はないけれども、むしろ、仮の最大値に基づいて決定された層の最大値のための少なくとも１つの特性を信号で伝えることは重要である。従って、少なくとも１つの特性は、レイヤＩＤを持つ層のために送信／信号することは必要でない。その拡張レイヤＩＤは、マルチレイヤビデオ信号の既定の部分内で起こらない。これを越えて、別の実施の形態に従って、仮の最大値の知識は、個々の部分のレイヤＩＤを信号で伝えるためのサイド情報オーバーヘッドを減らすために、すなわち、マルチレイヤビデオ信号のパケット内の拡張レイヤＩＤフィールドを信号で伝えるために必要なビットを減らすために使用される。
【図面の簡単な説明】
【００１０】
概説された面は結合され又は個々に使用され、上で概説された面の好ましい実例は、従属請求項の主題であり、図に関して後で議論される。
（【００１１】以降は省略されています）

関連特許