特許ウォッチ

公開番号2025060837
公報種別公開特許公報(A)
公開日2025-04-10
出願番号2024228438,2023197913
出願日2024-12-25,2020-09-21
発明の名称指定されたレイヤのためのスケーラブル・ネスティングSEIメッセージ
出願人華為技術有限公司,HUAWEI TECHNOLOGIES CO.,LTD.
代理人弁理士法人ITOH
主分類H04N 19/70 20140101AFI20250403BHJP(電気通信技術)
要約【課題】マルチ・レイヤ・ビットストリームにおける符号化レイヤをサポートするために使用されるスケーラブル・ネスティング補足エンハンスメント情報(SEI)メッセージにが適用される方法を提供する。
【解決手段】復号器で受信したビットストリームは、1つ以上のレイヤ及び現在のSEIネットワーク抽象化レイヤ(NAL)ユニットにおいて、スケーラブル・ネスティング補足エンハンスメント情報(SEI)メッセージを含む。スケーラブル・ネスティングSEIメッセージは、スケーラブル・ネスティングされたSEIメッセージ及び現在のSEI NALユニットのレイヤ識別子(Id)以上であるレイヤIdを有するすべてのレイヤにスケーラブル・ネスティングされたSEIメッセージが適用されるかどうかを指定するscalable nesting all layers flag(SN all_layers_flag)を含む。
【選択図】図7
特許請求の範囲【請求項１】
復号器において実装される方法であって、
復号器の受信機によって、１つ以上のレイヤ及び現在の補足エンハンスメント情報（ＳＥＩ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットにおいてスケーラブル・ネスティングＳＥＩメッセージを含むビットストリームを受信することを含み、前記スケーラブル・ネスティングＳＥＩメッセージは、１つ以上のスケーラブル・ネスティングされたＳＥＩメッセージと、前記現在のＳＥＩＮＡＬユニットのレイヤ識別子（Ｉｄ）値を除く前記１つ以上のスケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤのレイヤＩｄ値を指定する１つ以上のスケーラブル・ネスティング・レイヤＩｄと、を含み、
前記復号器は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しいときに、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出するように構成され、前記変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、
TIFF
2025060837000011.tif
25
170
で導出され、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－２の範囲（両端を含む）にある、方法。
続きを表示（約 3,600 文字）【請求項２】
符号化器において実装される方法であって、
前記符号化器のプロセッサによって、１つ以上のレイヤを含むビットストリームを符号化することと、
前記プロセッサによって、現在の補足エンハンスメント情報（ＳＥＩ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットにおいてスケーラブル・ネスティングＳＥＩメッセージを前記ビットストリームに符号化することを含み、前記スケーラブル・ネスティングＳＥＩメッセージは、１つ以上のスケーラブル・ネスティングされたＳＥＩメッセージと、前記現在のＳＥＩＮＡＬユニットのレイヤ識別子（Ｉｄ）値を除く前記１つ以上のスケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤのレイヤＩｄ値を指定する１つ以上のスケーラブル・ネスティング・レイヤＩｄと、を含み、
前記符号化器は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しいときに、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出するように構成され、前記変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、
TIFF
2025060837000012.tif
25
170
で導出され、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－２の範囲（両端を含む）にある、方法。
【請求項３】
復号器であって、
１つ以上のレイヤ及び現在の補足エンハンスメント情報（ＳＥＩ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットにおいてスケーラブル・ネスティングＳＥＩメッセージを含むビットストリームを受信するための受信手段を含み、
前記スケーラブル・ネスティングＳＥＩメッセージは、１つ以上のスケーラブル・ネスティングされたＳＥＩメッセージと、前記現在のＳＥＩＮＡＬユニットのレイヤ識別子（Ｉｄ）値を除く前記１つ以上のスケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤのレイヤＩｄ値を指定する１つ以上のスケーラブル・ネスティング・レイヤＩｄと、を含み、
前記復号器は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しいときに、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出するように構成され、前記変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、
TIFF
2025060837000013.tif
24
170
で導出され、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－２の範囲（両端を含む）にある、復号器。
【請求項４】
符号化器であって、
１つ以上のレイヤを含むビットストリームを符号化することと、
現在の補足エンハンスメント情報（ＳＥＩ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットにおいてスケーラブル・ネスティングＳＥＩメッセージをビットストリームに符号化することと、を行うための符号化手段を含み、
前記スケーラブル・ネスティングＳＥＩメッセージは、１つ以上のスケーラブル・ネスティングされたＳＥＩメッセージと、前記現在のＳＥＩＮＡＬユニットのレイヤ識別子（Ｉｄ）値を除く前記１つ以上のスケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤのレイヤＩｄ値を指定する１つ以上のスケーラブル・ネスティング・レイヤＩｄと、を含み、
前記符号化器は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しいときに、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出するように構成され、前記変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、
TIFF
2025060837000014.tif
24
170
で導出され、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－２の範囲（両端を含む）にある、符号化器。
【請求項５】
符号化するピクチャを受信するか、又は復号するビットストリームを受信するように構成されている受信機と、
前記受信機に結合された送信機であって、前記ビットストリームを復号器に送信するか、又は復号された画像をディスプレイに送信するように構成されている送信機と、
前記受信機又は前記送信機のうちの少なくとも１つに結合されたメモリであって、命令を記憶するように構成されているメモリと、
前記メモリに結合されたプロセッサであって、前記メモリに記憶された前記命令を実行して、請求項１又は２に記載の方法を実行するように構成されているプロセッサと、を含む、コーディング装置。
【請求項６】
符号化器と、
前記符号化器と通信する復号器と、を含み、前記符号化器又は前記復号器は、請求項３に記載の復号器、請求項４に記載の符号化器、又は請求項５に記載のコーディング装置である、システム。
【請求項７】
符号化するピクチャを受信するか、又は復号するビットストリームを受信するように構成されている受信手段と、
前記受信手段に結合された送信手段であって、前記ビットストリームを復号手段に送信するか、又は復号された画像を表示手段に送信するように構成されている送信手段と、
前記受信手段又は前記送信手段のうちの少なくとも１つに結合された記憶手段であって、命令を記憶するように構成されている記憶手段と、
前記記憶手段に結合された処理手段であって、前記記憶手段に記憶された前記命令を実行して、請求項１又は２に記載の方法を実行するように構成されている処理手段と、を含む、コーディングするための手段。
【請求項８】
ビットストリームを処理するためのシステムであって、符号化デバイスと、１つ以上の記憶デバイスと、復号デバイスと、を含み、
前記符号化デバイスは、ビデオ信号を取得し、前記ビデオ信号を符号化して、１つ以上のビットストリームを取得するように構成されており、
前記１つ以上のビットストリームは、１つ以上のレイヤ及び現在の補足エンハンスメント情報（ＳＥＩ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットにおいてスケーラブル・ネスティングＳＥＩメッセージを含み、前記スケーラブル・ネスティングＳＥＩメッセージは、１つ以上のスケーラブル・ネスティングされたＳＥＩメッセージと、前記現在のＳＥＩＮＡＬユニットのレイヤ識別子（Ｉｄ）値を除く前記１つ以上のスケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤのレイヤＩｄ値を指定する１つ以上のスケーラブル・ネスティング・レイヤＩｄと、を含み、
前記符号化デバイスは、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しいときに、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出するように構成され、前記変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、
TIFF
2025060837000015.tif
24
170
で導出され、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－２の範囲（両端を含む）にあり、
前記１つ以上の記憶デバイスは、前記１つ以上のビットストリームを記憶するように構成されており、
前記復号デバイスは、前記１つ以上のビットストリームを復号するように構成されている、システム。
【請求項９】
プロセッサによって実行されるコンピュータ・プログラムを記憶するコンピュータ可読記憶媒体であって、前記コンピュータ・プログラムが前記プロセッサによって実行されるときに、前記プロセッサが、請求項１又は２に記載の方法を実行する、コンピュータ可読記憶媒体。
【請求項１０】
コンピュータ又はプロセッサ上で実行されるときに、請求項１又は２に記載の方法を実行するためのプログラム・コードを含むプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、一般的に、ビデオ・コーディングに関係し、特に、マルチ・レイヤ・ビットストリームにおける符号化レイヤをサポートするために使用されるスケーラブル・ネスティング補足エンハンスメント情報（ＳＥＩ）メッセージに関係する。
続きを表示（約 4,000 文字）【背景技術】
【０００２】
比較的短いビデオでさえ描写するために必要とされるビデオ・データの量は、相当なものであり、これは、データがストリーム化されるか、又は他の方法で限定された帯域幅容量を有する通信ネットワークを介して通信されるときに、困難になることがある。したがって、ビデオ・データは、一般に、現代の電気通信ネットワークを介して通信される前に圧縮される。また、メモリ・リソースが制限されることがあるため、ビデオが記憶デバイスに記憶される場合に、ビデオのサイズも問題となる可能性がある。ビデオ圧縮デバイスは、しばしば、送信又は記憶の前にビデオ・データをコーディングするためにソースにおいてソフトウェア及び／又はハードウェアを使用し、それによってデジタル・ビデオ画像を表すのに必要なデータ量を減少させる。次いで、圧縮されたデータは、ビデオ・データを復号するビデオ解凍デバイスによって宛先で受信される。ネットワーク・リソースが限られており、より高いビデオ品質の要求が絶えず増加しているため、ピクチャ品質にほとんど犠牲を払わずに圧縮比を改善する改善された圧縮及び解凍技術が望ましい。
【発明の概要】
【０００３】
一実施形態では、開示は、復号器において実装される方法であって、復号器の受信機によって、１つ以上のレイヤ及び現在のＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットにおいてスケーラブル・ネスティング補足エンハンスメント情報（ＳＥＩ）メッセージを含むビットストリームを受信することであって、スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージ、及び現在のＳＥＩＮＡＬユニットのレイヤ識別子（Ｉｄ）以上であるレイヤＩｄを有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されるかどうかを指定するｓｃａｌａｂｌｅｎｅｓｔｉｎｇａｌｌｌａｙｅｒｓｆｌａｇ（ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ）を含む、受信することと、復号器のプロセッサによって、１つ以上のレイヤからのコーディングされたピクチャを復号して、復号されたピクチャを生成することと、プロセッサによって、復号されたビデオ・シーケンスの一部として表示するために復号されたピクチャを転送することと、を含む、方法を含む。
【０００４】
いくつかのビデオ・コーディング・システムは、ＳＥＩメッセージを用いる。ＳＥＩメッセージは、復号されたピクチャにおけるサンプルの値を決定するために、復号プロセスによって必要とされない情報を含む。例えば、ＳＥＩメッセージは、標準との適合性についてビットストリームを検査するために使用されるパラメータを含んでもよい。いくつかの例では、ビデオは、複数のレイヤを使用してビットストリームにコーディングされる。スケーラブル・ネスティングＳＥＩメッセージは、複数のレイヤに対するＳＥＩメッセージを含めるために用いられてもよい。例えば、スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージを含む。問題は、スケーラブル・ネスティングＳＥＩメッセージにおけるスケーラブル・ネスティングされたＳＥＩメッセージがアクセス・ユニット（ＡＵ）におけるすべてのレイヤに適用されることを示すためにフラグが使用されるときに発生する。ＡＵは、異なるレイヤに含まれ、同じ出力時間に関連するコーディングされたピクチャのセットである。このアプローチは、すべてのＡＵがすべてのレイヤに対するピクチャをときに機能する。しかしながら、場合によっては、ピクチャは、いくつかのレイヤで出力時間に対して存在し、他のレイヤにおいて省かれることがある。例えば、高フレームレートレイヤは、各ＡＵにおけるピクチャを含んでもよく、一方、低フレームレートレイヤは、高フレームレートレイヤによって占有される多くのＡＵにおけるピクチャを省略する。その結果、フラグは、現在のＡＵにおけるピクチャを含むレイヤにのみ、ＳＥＩメッセージが適用されるようにする。これは仮想参照復号器（ＨＲＤ）が現在のＡＵにおけるピクチャを省くレイヤにスケーラブル・ネスティングＳＥＩメッセージを関連付けることができないことがあるため、適合性テストエラーを引き起こす。例えば、そのようなレイヤは、現在のＡＵの後のＡＵにピクチャを含むことがある。このような場合、ＨＲＤは、後のＡＵが適合性についてテストされるときに、スケーラブル・ネスティングＳＥＩメッセージを、そのようなレイヤに適用されるものとして認識しない。したがって、ＨＲＤは、すべてのレイヤに対するフラグが不完全なＡＵで用いられているときに、後のＡＵで適合性についてこのようなレイヤを正確にテストすることができないことがある。
【０００５】
本例は、上記のエラーを訂正するために、ｓｃａｌａｂｌｅｎｅｓｔｉｎｇａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇを含む。ｓｃａｌａｂｌｅｎｅｓｔｉｎｇａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブル・ネスティングＳＥＩメッセージにおけるスケーラブル・ネスティングされたＳＥＩメッセージがビデオ・パラメータ・セット（ＶＰＳ）で指定されたすべてのレイヤに適用されることを示すようにセットされ得る。ＶＰＳは、すべてのレイヤをリストする。それゆえ、このアプローチにより、符号化器は、スケーラブル・ネスティングされたＳＥＩメッセージがいつすべてのレイヤにグローバルに適用されるかを明確に示すことを可能にする。ＨＲＤ適合性テスト・プロセスは、スケーラブル・ネスティングＳＥＩメッセージに関連する不完全なＡＵに続くＡＵで予測不可能なエラーを返すことなく、適合性についてビットストリームを検査することができる。それゆえ、ｓｃａｌａｂｌｅｎｅｓｔｉｎｇａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、不完全なＡＵが存在するときに、適合性についてビットストリームが正しく検査されるようにすることによって、符号化器及び／又は復号器の機能性を上昇させる。さらに、ｓｃａｌａｂｌｅｎｅｓｔｉｎｇａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、そのようなメッセージがすべてのレイヤに適用されるときに、スケーラブル・ネスティングされたＳＥＩメッセージのための明示的なレイヤ・シグナリングを省くことによって、符号化されたビットストリームのサイズを低減する。その結果、コーディング効率が上昇し、これは、符号化器及び復号器の両方におけるプロセッサ、メモリ、及び／又はネットワーク・シグナリング・リソースの使用量を低減する。
【０００６】
任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、ｓｃａｌａｂｌｅｎｅｓｔｉｎｇａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、現在のＳＥＩＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のＮＡＬユニット・ヘッダ・レイヤＩｄ（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されることを指定するときに、１に等しいことを提供する。
【０００７】
任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、ｓｃａｌａｂｌｅｎｅｓｔｉｎｇａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、現在のＳＥＩＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されてもよいか、又は適用されなくてもよいことを指定するときに、０に等しいことを提供する。
【０００８】
任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、プロセッサによって、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定するネスティング・レイヤ数（ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ）変数を導出することをさらに含むことを提供する。
【０００９】
任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、プロセッサによって、０～ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１の範囲（両端を含む）のｉに対して、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定するネスティング・レイヤＩｄのリスト（ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］）を導出することをさらに含むことを提供する。
【００１０】
任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ及びＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］が、
TIFF
2025060837000002.tif
55
170
として導出され、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１はビデオ・パラメータ・セット（ＶＰＳ）によって指定されたレイヤ数を指定し、ＧｅｎｅｒａｌＬａｙｅｒＩｄｘは、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤのレイヤ・インデックスを指定する変数であり、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定し、ｓｃａｌａｂｌｅｎｅｓｔｉｎｇｎｕｍ＿ｍｉｎｕｓ１＋１は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定し、ｓｃａｌａｂｌｅｎｅｓｔｉｎｇｌａｙｅｒ＿ｉｄ［ｉ］は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する、ことを提供する。
（【００１１】以降は省略されています）

関連特許