特許ウォッチ

公開番号2024058564
公報種別公開特許公報(A)
公開日2024-04-25
出願番号2023084058
出願日2023-05-22
発明の名称符号化ピクチャバッファを用いたビデオ符号化
出願人フラウンホッファー-ゲゼルシャフトツァフェルダールングデァアンゲヴァンテンフォアシュンクエー.ファオ
代理人弁理士法人岡田特許事務所
主分類H04N 19/46 20140101AFI20240418BHJP(電気通信技術)
要約【課題】HRD信号化のためのビット消費と多くのビットレートシナリオに対するHRDパラメータの効果的な決定方法との間のより良いトレードオフをもたらす、符号化ピクチャバッファ(CPB)動作を使用するビデオ符号化を提供する。
【解決手段】エンコーダにおいて、選択されたビットレートにおける明示的に信号化された、CPBまたはHRDパラメータ間の補間は、CPBパラメータ伝送容量とCPBパラメータ化の有効性との間の良好な妥協を達成するために用いられる。特に、復号化側において、選択されたビットレートに対する時間オフセットおよび時間的除去遅延の両方が、選択されたビットレートで、信号化されたCPBパラメータに従ってこのオフセットおよび遅延に対する対応値の間を補間することによって決定される。
【選択図】図1
特許請求の範囲【請求項１】
ビデオが符号化され、第１のＣＰＢパラメータ及び第２のＣＰＢパラメータを含むデータストリームであって、方法が、符号化ピクチャバッファと復号化ピクチャバッファ（ＤＰＢ）を用いることによりビデオ復号化するようになっており、
前記方法は、
ビデオのピクチャが符号化順序に沿って符号化されているデータストリームをアクセスユニットのシーケンスとして受信するステップと、
選択されたビットレートを用いて前記アクセスユニットのシーケンスを前記ＣＰＢにシーケンシャルに供給するとともに、前記符号化順序において最初のアクセスユニットについては選択された時間的除去遅延の分、及び、前記符号化順序において２番目以降のアクセスユニットについては前記選択された時間的除去遅延と選択された時間オフセットとの和の分、前倒しされた時間フレーム除去ラスタによる仮想利用可能時間にまだ到達していないアクセスユニットについては前記仮想利用可能時間に到達するまでは前記供給を停止させるステップと、
時間ラスタを用いて前記ＣＰＢから前記ＡＵをＡＵ単位で除去するステップと、
第１の動作点に関連する第１のＣＰＢパラメータと第２の動作点に関連する第２のＣＰＢパラメータとを前記データストリームから抽出するステップであって、前記第１のＣＰＢパラメータ及び第２のＣＰＢパラメータの各々は、ＣＰＢサイズ、既定の時間オフセット、既定の時間的除去遅延及び既定のビットレートを示し、前記第１のＣＰＢパラメータは、少なくとも前記既定のビットレートに関して前記第２のＣＰＢパラメータと相違している、ステップと、
前記第１のＣＰＢパラメータが示す前記既定の時間オフセットと前記第２のＣＰＢパラメータが示す前記既定の時間オフセットとの間を前記選択されたビットレートで補間することによって前記選択された時間オフセットを決定し、前記第１のＣＰＢパラメータが示す前記既定の時間的除去遅延と前記第２のＣＰＢパラメータが示す前記既定の時間的除去遅延との間を前記選択されたビットレートで補間することによって前記選択された時間的除去遅延を決定するステップと、
前記ＣＰＢから除去された現在のＡＵを前記ＤＰＢに格納された参照される基準ピクチャからピクチャ間予測を用いて復号化し、復号化されたピクチャを取得するステップと、
前記復号化されたピクチャを前記ＤＰＢに挿入するステップと、
前記ＤＰＢに格納された各基準ピクチャに、短期基準ピクチャ、長期基準ピクチャ、未参照基準ピクチャのうちの１つとしての分類を割り当てるステップと、
前記現在のＡＵからＤＰＢモード情報を読み出すステップと、
前記ＤＰＢモード情報が第１モードを示す場合、ＦＩＦＯ方法に従って、短期ピクチャに分類される１つ以上の基準ピクチャを前記ＤＰＢから除去するステップと、
前記ＤＰＢモード情報が第２モードを示す場合、前記現在のＡＵにおいて少なくとも１つのコマンドを含むメモリ管理制御情報を読み出し、前記少なくとも１つのコマンドを実行して前記ＤＰＢに格納された前記基準ピクチャのうちの少なくとも１つに割り当てられた前記分類を変更し、前記ＤＰＢ内の前記基準ピクチャの前記分類を使用して前記ＤＰＢからの基準ピクチャの除去を管理するステップと、
を含む、データストリーム。
続きを表示（約 4,200 文字）【請求項２】
ビデオ復号化のための装置であって、前記装置は、符号化ピクチャバッファ（ＣＰＢ）と復号化ピクチャバッファ（ＤＰＢ）とを備え、
ビデオのピクチャが符号化順序に沿って符号化されているデータストリームをアクセスユニット（ＡＵ）のシーケンスとして受信し、
選択されたビットレートを用いて前記アクセスユニットのシーケンスを前記ＣＰＢにシーケンシャルに供給するとともに、前記符号化順序において最初のアクセスユニットについては選択された時間的除去遅延の分、及び、前記符号化順序において２番目以降のアクセスユニットについては前記選択された時間的除去遅延と選択された時間オフセットとの和の分、前倒しされた時間フレーム除去ラスタによる仮想利用可能時間にまだ到達していないアクセスユニットについては前記仮想利用可能時間に到達するまでは前記供給を停止させ、
時間ラスタを用いて前記ＣＰＢから前記ＡＵをＡＵ単位で除去し、
第１の動作点に関連する第１のＣＰＢパラメータと第２の動作点に関連する第２のＣＰＢパラメータとを前記データストリームから抽出し、ここで前記第１のＣＰＢパラメータ及び前記第２のＣＰＢパラメータの各々は、ＣＰＢサイズ、既定の時間オフセット、既定の時間的除去遅延及び既定のビットレートを示し、前記第１のＣＰＢパラメータは、少なくとも前記既定のビットレートに関して前記第２のＣＰＢパラメータと相違しており、
前記第１のＣＰＢパラメータが示す前記既定の時間オフセットと前記第２のＣＰＢパラメータが示す前記既定の時間オフセットとの間を前記選択されたビットレートで補間することによって前記選択された時間オフセットを決定し、前記第１のＣＰＢパラメータが示す前記既定の時間的除去遅延と前記第２のＣＰＢパラメータが示す前記既定の時間的除去遅延との間を前記選択されたビットレートで補間することによって前記選択された時間的除去遅延を決定し、
前記ＣＰＢから除去された現在のＡＵを前記ＤＰＢに格納された参照される基準ピクチャからピクチャ間予測を用いて復号化して復号化されたピクチャを取得し、
前記復号化されたピクチャを前記ＤＰＢに挿入し、
前記ＤＰＢに格納された各基準ピクチャに、短期基準ピクチャ、長期基準ピクチャ、未参照基準ピクチャのうちの１つとしての分類を割り当て、
前記現在のＡＵからＤＰＢモード情報を読み出し、
前記ＤＰＢモード情報が第１モードを示す場合、先入れ先出し（ＦＩＦＯ）方法に従って、短期ピクチャに分類された１つ以上の基準ピクチャを前記ＤＰＢから除去し、
前記ＤＰＢモード情報が第２モードを示す場合、前記現在のＡＵにおいて少なくとも１つのコマンドを含むメモリ管理制御情報を読み出し、前記少なくとも１つのコマンドを実行して前記ＤＰＢに格納された前記基準ピクチャのうちの少なくとも１つに割り当てられた前記分類を変更し、前記ＤＰＢ内の前記基準ピクチャの前記分類を使用して前記ＤＰＢからの基準ピクチャの除去を管理する
ように構成され、
長期ピクチャに分類される前記ＤＰＢ内の各基準ピクチャにフレームインデックスを割り当て、
既定の基準ピクチャに割り当てられた前記フレームインデックスが前記現在のＡＵにおいて参照される場合、長期ピクチャに分類される前記ＤＰＢ内の前記既定の基準ピクチャを前記ＤＰＢ内の参照される基準ピクチャとして使用する
ように構成される、装置。
【請求項３】
前記現在のＡＵ内の前記少なくとも１つのコマンドが第１コマンドである場合、短期基準ピクチャに分類された前記ＤＰＢ内の基準ピクチャを未参照基準ピクチャとして再分類し、
前記現在のＡＵ内の前記少なくとも１つのコマンドが第２コマンドである場合、長期基準ピクチャに分類された前記ＤＰＢ内の基準ピクチャを未参照基準ピクチャとして再分類し、
前記現在のＡＵ内の前記少なくとも１つのコマンドが第３コマンドである場合、短期ピクチャに分類された前記ＤＰＢ内の基準ピクチャを長期基準ピクチャに再分類して、再分類された前記基準ピクチャにフレームインデックスを割り当て、
前記現在のＡＵ内の前記少なくとも１つのコマンドが第４コマンドである場合、前記第４コマンドに従ってフレームインデックス上限値を設定し、長期ピクチャに分類され、前記フレームインデックス上限値を超えるフレームインデックスが割り当てられた前記ＤＰＢ内の全ての基準ピクチャを未参照基準ピクチャに再分類し、
前記現在のＡＵ内の前記少なくとも１つのコマンドが第５コマンドである場合、前記現在のピクチャを長期ピクチャとして分類し、前記現在のピクチャにフレームインデックスを割り当てる、
のうちの１つ以上を満たすように構成される、請求項２に記載の装置。
【請求項４】
データストリームにビデオを符号化するための装置であって、前記データストリームは、符号化ピクチャバッファ（ＣＰＢ）を備えるデコーダに供給されることによって復号化されるものであり、前記装置は、
符号化順序で符号化されたビデオのピクチャをアクセスユニット（ＡＵ）のシーケンスとしてデータストリームに符号化し、
第１の動作点に関連する第１のＣＰＢパラメータと第２の動作点に関連する第２のＣＰＢパラメータを決定し、ここで前記第１のＣＰＢパラメータ及び第２のＣＰＢパラメータの各々は、ＣＰＢサイズ、既定の時間オフセット、既定の時間的除去遅延及び既定のビットレートを示し、前記第１のＣＰＢパラメータは、少なくとも前記既定のビットレートに関して前記第２のＣＰＢパラメータと相違し、複数の選択されたビットレートの各々において前記第１のＣＰＢパラメータの前記既定の時間オフセットと前記第２のＣＰＢパラメータの前記既定の時間的オフセットとの間を補間することによって、補間された時間オフセット及び補間された時間的除去遅延が生じて、
それぞれの前記選択されたビットレートを使用して前記ＡＵのシーケンスを前記ＣＰＢにシーケンシャルに供給するとともに前記符号化順序において最初のアクセスユニットについては補間された時間的除去遅延の分、及び、符号化順序において２番目以降のアクセスユニットについては前記補間された時間的除去遅延と補間された時間オフセットとの和の分、前倒しされた時間フレーム除去ラスタによる仮想利用可能時間にまだ到達していないアクセスユニットについては前記仮想利用可能時間に到達するまでは前記供給を停止し、
時間ラスタを用いて前記ＣＰＢから前記ＡＵをＡＵ単位で除去して、
前記データストリームを前記ＣＰＢを介して前記デコーダに供給することが、いかなるアンダーフローも、いかなるオーバーフローも引き起こさないように前記決定が実行され、
前記ＣＰＢパラメータを前記データストリームに符号化する
ように構成され、
ここで、前記装置は、前記ＡＵを符号化する際に、
復号化ピクチャバッファ（ＤＰＢ）に格納された参照される基準ピクチャからのピクチャ間予測を使用して現在のピクチャを現在のＡＵに符号化し、
前記ＤＰＢ内の前記現在のピクチャの復号化バージョンを前記ＤＰＢに挿入し、
前記ＤＰＢに格納された各基準ピクチャに、短期基準ピクチャ、長期基準ピクチャ、未使用基準ピクチャのうちの１つとしての分類を割り当て、
ＤＰＢモード情報を前記現在のＡＵに書き込み、
前記ＤＰＢモード情報が第１モードを示す場合、ＦＩＦＯ方法に従って、短期ピクチャに分類される１つ以上の基準ピクチャを前記ＤＰＢから除去し、
前記ＤＰＢモード情報が第２モードを示す場合、少なくとも１つのコマンドを含むメモリ管理制御情報を前記現在のＡＵに書き込み、ここで前記コマンドは、前記ＤＰＢに格納された前記基準ピクチャのうちの少なくとも１つに割り当てられた前記分類を変更するように指示するものであり、前記ＤＰＢにおける前記基準ピクチャの前記分類は、前記ＤＰＢからの基準ピクチャ除去を管理するために使用される
ように構成され、
長期ピクチャに分類される前記ＤＰＢ内の各基準ピクチャにフレームインデックスが割り当てられ、
既定の基準ピクチャに割り当てられた前記フレームインデックスが前記現在のＡＵにおいて参照される場合、長期ピクチャに分類される、前記ＤＰＢ内の既定の基準ピクチャを前記ＤＰＢ内の参照される基準ピクチャとして使用される、装置。
【請求項５】
前記現在のＡＵ内の前記少なくとも１つのコマンドが第１コマンドである場合、短期参照ピクチャに分類された前記ＤＰＢ内の基準ピクチャを未参照基準ピクチャに再分類し、
前記現在のＡＵ内の前記少なくとも１つのコマンドが第２コマンドである場合、長期参照ピクチャに分類された前記ＤＰＢ内の基準ピクチャを未参照基準ピクチャとして再分類し、
前記現在のＡＵ内の前記少なくとも１つのコマンドが第３コマンドである場合、短期ピクチャに分類された前記ＤＰＢ内の基準ピクチャを長期基準ピクチャに再分類し、再分類された前記基準ピクチャにフレームインデックスを割り当て、
前記現在のＡＵ内の前記少なくとも１つのコマンドが第４コマンドである場合、前記第４コマンドに従ってフレームインデックス上限値を設定し、長期ピクチャに分類され、前記フレームインデックス上限値を超えるフレームインデックスが割り当てられた前記ＤＰＢ内の全ての基準ピクチャを未参照基準ピクチャに再分類し、
前記現在のＡＵ内の前記少なくとも１つのコマンドが第５コマンドである場合、前記現在のピクチャを長期ピクチャとして分類し、前記現在のピクチャにフレームインデックスを割り当てる、
のうちの１つ以上を満たす、請求項４に記載の装置。

発明の詳細な説明【技術分野】
【０００１】
本願発明は、ビデオ符号化及びビデオ符号化における符号化ピクチャバッファの使用法に関するものである。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
仮想的な基準デコーダと、ビットストリーム及びデコーダの適合性をチェックするためのその使用は、ＶＶＣのようなあらゆるビデオ符号化規格に不可欠な要素である。
【０００３】
このような適合性チェックを行うために、図１７に示すように、ＨＳＳ（Ｈｙｐｏｔｈｅｔｉｃａｌｓｔｒｅａｍｓｃｈｅｄｕｌｅｒ：仮説ストリームスケジューラ）、ＣＰＢ（ＣｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ：符号化ピクチャバッファ）、（瞬時とみなされる）デコード処理、ＤＢＰ（ＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ：復号化ピクチャバッファ）、出力クロッピング処理からなるＨＲＤバッファモデルを規定する。
【０００４】
符号化ピクチャーバッファにビットストリームを供給するタイミング及びビットレート、その復号化ユニット（低遅延動作モードの場合はアクセスユニット又はＶＣＬＮＡＬユニット）をＣＰＢから除去して瞬時に復号化する時間、及びＤＰＢからピクチャーを出力する出力時間を定義するモデルである。
【０００５】
そうすることで、バッファオーバーフロー（ＣＰＢに保持できる量より多くのデータがデコーダに送られる）又はアンダーフロー（必要以上に低いビットレートで少ない量のデータがデコーダに送られる）、ＡＵからの必要なデータが復号化のために適切なタイミングでデコーダに存在しないことを避けるために、デコーダに必要なＣＰＢサイズを定義することも可能になる。
【０００６】
最先端のビデオ符号化規格では、ビットストリーム及びＨＲＤの要件及びバッファモデルを記述するために、異なるパラメータが指定される。
【０００７】
例えば、ＨＥＶＣでは、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ｈｒｄ＿パラメータ）がサブレイヤごとに定義され、Ｂｉｔｒａｔｅ（ｉ）及びＣＰＢｓｉｚｅ（ｉ）の１つ以上のタプル（ｔｕｐｌｅｓ）を記述し、ＨＳＳがＣＰＢｓｉｚｅ（ｉ）のサイズのＣＰＢにＢｉｔｒａｔｅ（ｉ）のビットレートを供給する場合、オーバーフローやアンダーフローは発生しないことを示す。つまり、これらのビットレート及びＣＰＢサイズのタプルに従えば、連続した復号化が保証される。
【０００８】
ｈｒｄ＿ｐａｒａｍｅｔｅｒシンタックスエレメントと連動して、ＣＰＢからの各ピクチャの除去時間を特定する追加のタイミング情報、すなわち、各ピクチャに属するＶＣＬ
ＮＡＬユニットがどのタイミングでデコードに送られるかを示す情報がビットストリーム内に存在する。
【０００９】
関連する情報は、ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙ（ｉ）、ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙＯｆｆｓｅｔ（ｉ）、ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙのシンタックスエレメントまたは変数でバッファリング期間ＳＥＩメッセージに存在し、及び、ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙでピクチャタイミングＳＥＩメッセージに存在する。
【００１０】
しかし、アプリケーションや及び伝送チャネルによっては、ビットレートに関して微調整できるようにするには、多くのビットレートのＨＲＤパラメータに関する情報が必要となる場合がある。しかし、この場合、ｂｉｔｒａｔｅｓ（ｉ）を密に選択するために、多くのＨＲＤパラメータをビット消費して送信する必要がある。ＨＲＤ情報を送信するための合理的なオーバーヘッドで多数のビットレートに対して正しいＨＲＤパラメータ化、すなわち、ＣＰＢのアンダーフローまたはオーバーフローにつながらないものを可能にする概念を手元に置くことは好ましいと思われる。
【発明の概要】
【発明が解決しようとする課題】
（【００１１】以降は省略されています）

関連特許