特許ウォッチ

公開番号2025015541
公報種別公開特許公報(A)
公開日2025-01-30
出願番号2024180667,2023121817
出願日2024-10-16,2020-03-11
発明の名称混合NALユニットタイプピクチャの制約
出願人ホアウェイ・テクノロジーズ・カンパニー・リミテッド
代理人個人,個人
主分類H04N 19/70 20140101AFI20250123BHJP(電気通信技術)
要約【課題】ビデオコーディング機構を開示する。
【解決手段】この機構は、ピクチャと関連付けられるフラグおよび複数のサブピクチャを備えるビットストリームを受信することを含む。複数のサブピクチャが、複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれる。この機構は、フラグの値に基づいて、ピクチャのサブピクチャのうちの1つまたは複数のVCL NALユニットがすべてNALユニットタイプの第1の特定の値を有することと、ピクチャの中の他のVCL NALユニットがすべてNALユニットタイプの異なる第2の特定の値を有することとを決定する。サブピクチャのうちの1つまたは複数は、NALユニットタイプの第1の特定の値およびNALユニットタイプの第2の特定の値に基づいて復号される。サブピクチャのうちの1つまたは複数が、復号されたビデオシーケンスの一部としての表示のために転送される。
【選択図】図7
特許請求の範囲【請求項１】
デコーダにおいて実施される方法であって、
前記デコーダの受信機によって、ピクチャと関連付けられるフラグおよび複数のサブピクチャを備えるビットストリームを受信するステップであって、前記サブピクチャが複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれる、ステップと、
前記プロセッサによって、前記フラグの値に基づいて、前記ピクチャの前記サブピクチャのうちの1つまたは複数の前記VCL NALユニットがすべてNALユニットタイプの第1の特定の値を有することと、前記ピクチャの他のVCL NALユニットがすべてNALユニットタイプの異なる第2の特定の値を有することとを決定するステップと、
前記プロセッサによって、NALユニットタイプの前記第1の特定の値またはNALユニットタイプの前記第2の特定の値に基づいて、前記サブピクチャのうちの1つまたは複数を復号するステップと
を備える、方法。
続きを表示（約 1,600 文字）【請求項２】
NALユニットタイプの前記第1の特定の値が、前記ピクチャが単一のタイプのイントラランダムアクセスポイント(IRAP)サブピクチャを含むことを示し、NALユニットタイプの前記第2の特定の値が、前記ピクチャが単一のタイプの非IRAPサブピクチャを含むことを示す、請求項1に記載の方法。
【請求項３】
前記ビットストリームが前記フラグを含むピクチャパラメータセット(PPS)を含む、請求項1または2に記載の方法。
【請求項４】
NALユニットタイプの前記第1の特定の値が、ランダムアクセス復号可能先行ピクチャを伴う瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、先行ピクチャを伴わないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しい、請求項1から3のいずれか一項に記載の方法。
【請求項５】
NALユニットタイプの前記第2の特定の値が、後端ピクチャNALユニットタイプ(TRAIL_NUT)、ランダムアクセス復号可能先行ピクチャNALユニットタイプ(RADL_NUT)、またはランダムアクセススキップ先行ピクチャ(RASL)NALユニットタイプ(RASL_NUT)に等しい、請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記フラグがmixed_nalu_types_in_pic_flagである、請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記mixed_nalu_types_in_pic_flagが、前記PPSを参照する各ピクチャが1つより多くのVCL NALユニットを有することと、前記VCL NALユニットがNALユニットタイプ(nal_unit_type)の同じ値を有しないこととを指定するとき、1に等しく、mixed_nalu_types_in_pic_flagが、前記PPSを参照する各ピクチャが1つまたは複数のVCL NALユニットを有し、前記PPSを参照する各ピクチャの前記VCL NALユニットがnal_unit_typeの同じ値を有するとき、0に等しい、請求項1から6のいずれか一項に記載の方法。
【請求項８】
エンコーダにおいて実施される方法であって、
前記プロセッサによって、ピクチャが異なるタイプの複数のサブピクチャを含むと決定するステップと、
前記プロセッサによって、前記ピクチャの前記サブピクチャをビットストリームの中の複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットへと符号化するステップと、
前記プロセッサによって、前記ピクチャの前記サブピクチャのうちの1つまたは複数のVCL NALユニットがすべてNALユニットタイプの第1の特定の値を有することと、前記ピクチャの中の他のVCL NALユニットがすべてNALユニットタイプの異なる第2の特定の値を有することとを示すように設定されたフラグを、前記ビットストリームへと符号化するステップと、
前記プロセッサに結合されたメモリによって、デコーダへの通信のために前記ビットストリームを記憶するステップと
を備える、方法。
【請求項９】
NALユニットタイプの前記第1の特定の値が、前記ピクチャが単一のタイプのイントラランダムアクセスポイント(IRAP)サブピクチャを含むことを示し、NALユニットタイプの前記第2の特定の値が、前記ピクチャが単一のタイプの非IRAPサブピクチャを含むことを示す、請求項8に記載の方法。
【請求項１０】
ピクチャパラメータセット(PPS)を前記ビットストリームへと符号化するステップをさらに備え、前記フラグが前記PPSへと符号化される、請求項8または9に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
関連出願の相互参照
本特許出願は、参照によって本明細書に組み込まれる、「Support Of Mixed NAL Unit Types Within One Picture In Video Coding」という表題のYe-Kui Wang他により2019年3月11日に出願された米国仮特許出願第62/816,749号、および「Support Of Mixed NAL Unit Types Within One Picture In Video Coding」という表題のYe-Kui Wang他により2019年4月10日に出願された米国仮特許出願第62/832,132号の利益を主張する。
続きを表示（約 3,200 文字）【０００２】
本開示は一般にビデオコーディングに関し、詳細には、ビデオコーディングにおいてピクチャのサブピクチャをコーディングすることに関する。
【背景技術】
【０００３】
比較的短いビデオでもそれを描写するために必要なビデオデータの量はかなり多いことがあり、これは、帯域幅容量が限られている通信ネットワークを介してデータがストリーミングまたは別様に通信されることになるときに、困難さをもたらし得る。したがって、ビデオデータは一般に、現代の遠隔通信ネットワークを介して通信される前に圧縮される。メモリリソースは限られていることがあるので、ビデオがストレージデバイスに記憶されるときには、ビデオのサイズも問題であり得る。ビデオ圧縮デバイスはしばしば、ソースにおけるソフトウェアおよび/またはハードウェアを使用して、送信または記憶の前にビデオデータをコーディングし、それにより、デジタルビデオ画像を表現するために必要とされるデータの量を減らす。圧縮されたデータは次いで、ビデオデータを復号するビデオ圧縮解除デバイスによってデスティネーションにおいて受信される。ネットワークリソースが限られていること、およびより高いビデオ品質に対する要求が高まり続けていることにより、画像品質をほとんどまたはまったく犠牲にせずに圧縮比を改善する、改善された圧縮および圧縮解除技法が望ましい。
【発明の概要】
【課題を解決するための手段】
【０００４】
ある実施形態では、本開示は、デコーダにおいて実施される方法を含み、この方法は、デコーダの受信機によって、フラグおよびピクチャと関連付けられる複数のサブピクチャを備えるビットストリームを受信するステップであって、サブピクチャが複数のビデオコーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットに含まれる、ステップと、プロセッサによって、フラグの値に基づいて、ピクチャのサブピクチャのうちの1つまたは複数のVCL NALユニットがすべてNALユニットタイプの第1の特定の値を有することと、ピクチャの他のVCL NALユニットがすべてNALユニットタイプの異なる第2の特定の値を有することとを決定するステップと、プロセッサによって、NALユニットタイプの第1の特定の値またはNALユニットタイプの第2の特定の値に基づいてサブピクチャのうちの1つまたは複数を復号するステップとを備える。
【０００５】
ピクチャは複数のサブピクチャへと区分され得る。そのようなサブピクチャを別々のサブビットストリームへとコーディングすることができ、これらのサブビットストリームを次いでデコーダへの送信のためにビットストリームへと統合することができる。たとえば、サブピクチャは仮想現実(VR)用途に利用され得る。ある特定の例として、ユーザは任意の時間においてVRピクチャの一部分しか見ないことがある。したがって、コーディング効率を高めるために、表示される可能性の高いサブピクチャにより多くの帯域幅を割り振れるように、かつ、表示される可能性の低いサブピクチャを圧縮できるように、異なるサブピクチャが異なる解像度で送信され得る。さらに、ビデオストリームは、イントラランダムアクセスポイント(IRAP)ピクチャを使用することによって符号化され得る。IRAPピクチャは、イントラ予測に従ってコーディングされ、他のピクチャを参照せずに復号され得る。非IRAPピクチャは、インター予測に従ってコーディングされてもよく、他のピクチャを参照することによって復号され得る。非IRAPピクチャは、IRAPピクチャよりはるかに凝縮されている。しかしながら、IRAPピクチャは他のピクチャを参照することなく復号されるのに十分なデータを含むので、ビデオシーケンスはIRAPピクチャで復号を始めなければならない。IRAPピクチャは、サブピクチャにおいて使用することができ、動的な解像度の変更を可能にできる。したがって、ビデオシステムは、コーディング効率をさらに高めるために、(たとえば、ユーザの現在のビューポートに基づいて)見られる可能性がより高いサブピクチャのためにより多くのIRAPピクチャを送信し、見られる可能性がより低いサブピクチャのためにより少ないIRAPピクチャを送信し得る。しかしながら、サブピクチャは同じピクチャの一部である。したがって、この方式により、IRAPサブピクチャと非IRAPサブピクチャの両方を含むピクチャが生じ得る。一部のビデオシステムは、IRAP領域と非IRAP領域の両方を伴う混合ピクチャを扱うことに対応していない。本開示は、ピクチャが混合しているかどうか、したがってIRAP成分と非IRAP成分の両方を含むかどうかを示す、フラグを含む。さらに、このフラグは、混合ピクチャが1つのIRAPタイプおよび1つの非IRAPタイプを含む厳密に2つのNALユニットタイプを含むように、ピクチャを制約する。このフラグに基づいて、デコーダは、ピクチャ/サブピクチャを適切に復号して表示するために、復号する際に異なるサブピクチャを異なるように扱うことができる。このフラグはPPSに記憶されてもよく、mixed_nalu_types_in_pic_flagと呼ばれてもよい。したがって、開示される機構は、追加の機能の実装を可能にする。さらに、開示される機構は、サブピクチャビットストリームを利用するとき、動的な解像度の変更を可能にする。よって、開示される機構は、ユーザ体験を大きく損なうことなく、VRビデオをストリーミングするときに、より低い解像度のサブピクチャビットストリームが送信されることを可能にする。したがって、開示される機構は、コーディング効率を高めるので、エンコーダとデコーダにおいて、ネットワークリソース、メモリリソース、および/または処理リソースの使用を減らす。
【０００６】
任意選択で、先行する態様のいずれにおいても、態様の別の実装形態は、ピクチャが単一のタイプのイントラランダムアクセスポイント(IRAP)サブピクチャを含むことをNALユニットタイプの第1の特定の値が示すことと、ピクチャが単一のタイプの非IRAPサブピクチャを含むことをNALユニットタイプの第2の特定の値が示すこととを規定する。
【０００７】
任意選択で、先行する態様のいずれにおいても、態様の別の実装形態は、ビットストリームがフラグを含むピクチャパラメータセット(PPS)を含むことを規定する。
【０００８】
任意選択で、先行する態様のいずれにおいても、態様の別の実装形態は、NALユニットタイプの第1の特定の値が、ランダムアクセス復号可能先行ピクチャを伴う瞬時復号リフレッシュ(IDR)(IDR_W_RADL)、先行ピクチャを伴わないIDR(IDR_N_LP)、またはクリーンランダムアクセス(CRA)NALユニットタイプ(CRA_NUT)に等しいことを規定する。
【０００９】
任意選択で、先行する態様のいずれにおいても、態様の別の実装形態は、NALユニットタイプの第2の特定の値が、後端ピクチャNALユニットタイプ(TRAIL_NUT)、ランダムアクセス復号可能先行ピクチャNALユニットタイプ(RADL_NUT)、またはランダムアクセススキップ先行ピクチャ(RASL)NALユニットタイプ(RASL_NUT)に等しいことを規定する。
【００１０】
任意選択で、先行する態様のいずれにおいても、態様の別の実装形態は、このフラグがmixed_nalu_types_in_pic_flagであることを規定する。
（【００１１】以降は省略されています）

関連特許