特許ウォッチ

公開番号2024058566
公報種別公開特許公報(A)
公開日2024-04-25
出願番号2023084060
出願日2023-05-22
発明の名称符号化ピクチャバッファを用いたビデオ符号化
出願人フラウンホッファー-ゲゼルシャフトツァフェルダールングデァアンゲヴァンテンフォアシュンクエー.ファオ
代理人弁理士法人岡田特許事務所
主分類H04N 19/70 20140101AFI20240418BHJP(電気通信技術)
要約【課題】HRD信号化のためのビット消費と多くのビットレートシナリオに対するHRDパラメータの効果的な決定方法との間のより良いトレードオフをもたらす、符号化ピクチャバッファ動作を使用するビデオ符号化を提供する。
【解決手段】エンコーダ10は、ビデオ12を表示する際にピクチャ16がシーケンシャルに表示又は出力される表示時間順序18とは異なる可能性のあるピクチャ符号化順序を用いてビデオのピクチャをビットストリーム14に符号化し、ブロック単位方式で、ピクチャの現在符号化されているポーションを予測し、減算器22で現在のピクチャ26のオリジナルバージョンから予測信号24を減算することによって予測残差20を形成し、残差符号化器28が予測残差をビットストリームに符号化し、残差デコーダ30が残差符号化を反転し、残差符号化器によって導入された損失の分によって予測残差とは異なる残差信号32を生成する。
【選択図】図1
特許請求の範囲【請求項１】
ビデオ復号化のための装置であって、前記装置は、符号化ピクチャバッファ（ＣＰＢ）と復号化ピクチャバッファ（ＤＰＢ）とを備え、
ビデオのピクチャが符号化順序に沿って符号化されているデータストリームをアクセスユニット（ＡＵ）のシーケンスとして受信し、
選択されたビットレートを用いて前記アクセスユニットのシーケンスを前記ＣＰＢにシーケンシャルに供給するとともに、前記符号化順序において最初のアクセスユニットについては選択された時間的除去遅延の分、及び、前記符号化順序において２番目以降のアクセスユニットについては前記選択された時間的除去遅延と選択された時間オフセットとの和の分、前倒しされた時間フレーム除去ラスタによる仮想利用可能時間にまだ到達していないアクセスユニットについては前記仮想利用可能時間に到達するまでは前記供給を停止させ、
時間ラスタを用いて前記ＣＰＢから前記ＡＵをＡＵ単位で除去し、
第１の動作点に関連する第１のＣＰＢパラメータと第２の動作点に関連する第２のＣＰＢパラメータとを前記データストリームから抽出し、ここで前記第１のＣＰＢパラメータ及び前記第２のＣＰＢパラメータの各々は、ＣＰＢサイズ、既定の時間オフセット、既定の時間的除去遅延及び既定のビットレートを示し、前記第１のＣＰＢパラメータは、少なくとも前記既定のビットレートに関して前記第２のＣＰＢパラメータと相違しており、
前記第１のＣＰＢパラメータが示す前記既定の時間オフセットと前記第２のＣＰＢパラメータが示す前記既定の時間オフセットとの間を前記選択されたビットレートで補間することによって前記選択された時間オフセットを決定し、前記第１のＣＰＢパラメータが示す前記既定の時間的除去遅延と前記第２のＣＰＢパラメータが示す前記既定の時間的除去遅延との間を前記選択されたビットレートで補間することによって前記選択された時間的除去遅延を決定し、
前記ＣＰＢから除去された現在のＡＵを前記ＤＰＢに格納された参照される基準ピクチャからピクチャ間予測を用いて復号化して復号化されたピクチャを取得し、
前記復号化されたピクチャを前記ＤＰＢに挿入し、
前記ＤＰＢに格納された各基準ピクチャに、短期基準ピクチャ、長期基準ピクチャ、未参照基準ピクチャのうちの１つとしての分類を割り当て、
前記現在のＡＵからＤＰＢモード情報を読み出し、
前記ＤＰＢモード情報が第１モードを示す場合、先入れ先出し（ＦＩＦＯ）方法に従って、短期ピクチャに分類された１つ以上の基準ピクチャを前記ＤＰＢから除去し、
前記ＤＰＢモード情報が第２モードを示す場合、前記現在のＡＵにおいて少なくとも１つのコマンドを含むメモリ管理制御情報を読み出し、前記少なくとも１つのコマンドを実行して前記ＤＰＢに格納された前記基準ピクチャのうちの少なくとも１つに割り当てられた前記分類を変更し、前記ＤＰＢ内の前記基準ピクチャの前記分類を使用して前記ＤＰＢからの基準ピクチャの除去を管理する
ように構成され、
前記選択されたビットレートは、前記第１のＣＰＢパラメータが示す前記既定のビットレートと前記第２のＣＰＢパラメータが示す前記既定のビットレートとの間にある、装置。
続きを表示（約 4,300 文字）【請求項２】
ビデオ復号化のための装置であって、前記装置は、符号化ピクチャバッファ（ＣＰＢ）と復号化ピクチャバッファ（ＤＰＢ）とを備え、
ビデオのピクチャが符号化順序に沿って符号化されているデータストリームをアクセスユニット（ＡＵ）のシーケンスとして受信し、
選択されたビットレートを用いて前記アクセスユニットのシーケンスを前記ＣＰＢにシーケンシャルに供給するとともに、前記符号化順序において最初のアクセスユニットについては選択された時間的除去遅延の分、及び、前記符号化順序において２番目以降のアクセスユニットについては前記選択された時間的除去遅延と選択された時間オフセットとの和の分、前倒しされた時間フレーム除去ラスタによる仮想利用可能時間にまだ到達していないアクセスユニットについては前記仮想利用可能時間に到達するまでは前記供給を停止させ、
時間ラスタを用いて前記ＣＰＢから前記ＡＵをＡＵ単位で除去し、
第１の動作点に関連する第１のＣＰＢパラメータと第２の動作点に関連する第２のＣＰＢパラメータとを前記データストリームから抽出し、ここで前記第１のＣＰＢパラメータ及び前記第２のＣＰＢパラメータの各々は、ＣＰＢサイズ、既定の時間オフセット、既定の時間的除去遅延及び既定のビットレートを示し、前記第１のＣＰＢパラメータは、少なくとも前記既定のビットレートに関して前記第２のＣＰＢパラメータと相違しており、
前記第１のＣＰＢパラメータが示す前記既定の時間オフセットと前記第２のＣＰＢパラメータが示す前記既定の時間オフセットとの間を前記選択されたビットレートで補間することによって前記選択された時間オフセットを決定し、前記第１のＣＰＢパラメータが示す前記既定の時間的除去遅延と前記第２のＣＰＢパラメータが示す前記既定の時間的除去遅延との間を前記選択されたビットレートで補間することによって前記選択された時間的除去遅延を決定し、
前記ＣＰＢから除去された現在のＡＵを前記ＤＰＢに格納された参照される基準ピクチャからピクチャ間予測を用いて復号化して復号化されたピクチャを取得し、
前記復号化されたピクチャを前記ＤＰＢに挿入し、
前記ＤＰＢに格納された各基準ピクチャに、短期基準ピクチャ、長期基準ピクチャ、未参照基準ピクチャのうちの１つとしての分類を割り当て、
前記現在のＡＵからＤＰＢモード情報を読み出し、
前記ＤＰＢモード情報が第１モードを示す場合、先入れ先出し（ＦＩＦＯ）方法に従って、短期ピクチャに分類された１つ以上の基準ピクチャを前記ＤＰＢから除去し、
前記ＤＰＢモード情報が第２モードを示す場合、前記現在のＡＵにおいて少なくとも１つのコマンドを含むメモリ管理制御情報を読み出し、前記少なくとも１つのコマンドを実行して前記ＤＰＢに格納された前記基準ピクチャのうちの少なくとも１つに割り当てられた前記分類を変更し、前記ＤＰＢ内の前記基準ピクチャの前記分類を使用して前記ＤＰＢからの基準ピクチャの除去を管理する
ように構成され、
前記データストリームから１つ以上の補間パラメータを導出し、前記１つ以上の補間パラメータを用いて前記補間をパラメータ化するように構成される、装置。
【請求項３】
ビデオ復号化のための装置であって、前記装置は、符号化ピクチャバッファ（ＣＰＢ）と復号化ピクチャバッファ（ＤＰＢ）とを備え、
ビデオのピクチャが符号化順序に沿って符号化されているデータストリームをアクセスユニット（ＡＵ）のシーケンスとして受信し、
選択されたビットレートを用いて前記アクセスユニットのシーケンスを前記ＣＰＢにシーケンシャルに供給するとともに、前記符号化順序において最初のアクセスユニットについては選択された時間的除去遅延の分、及び、前記符号化順序において２番目以降のアクセスユニットについては前記選択された時間的除去遅延と選択された時間オフセットとの和の分、前倒しされた時間フレーム除去ラスタによる仮想利用可能時間にまだ到達していないアクセスユニットについては前記仮想利用可能時間に到達するまでは前記供給を停止させ、
時間ラスタを用いて前記ＣＰＢから前記ＡＵをＡＵ単位で除去し、
第１の動作点に関連する第１のＣＰＢパラメータと第２の動作点に関連する第２のＣＰＢパラメータとを前記データストリームから抽出し、ここで前記第１のＣＰＢパラメータ及び前記第２のＣＰＢパラメータの各々は、ＣＰＢサイズ、既定の時間オフセット、既定の時間的除去遅延及び既定のビットレートを示し、前記第１のＣＰＢパラメータは、少なくとも前記既定のビットレートに関して前記第２のＣＰＢパラメータと相違しており、
前記第１のＣＰＢパラメータが示す前記既定の時間オフセットと前記第２のＣＰＢパラメータが示す前記既定の時間オフセットとの間を前記選択されたビットレートで補間することによって前記選択された時間オフセットを決定し、前記第１のＣＰＢパラメータが示す前記既定の時間的除去遅延と前記第２のＣＰＢパラメータが示す前記既定の時間的除去遅延との間を前記選択されたビットレートで補間することによって前記選択された時間的除去遅延を決定し、
前記ＣＰＢから除去された現在のＡＵを前記ＤＰＢに格納された参照される基準ピクチャからピクチャ間予測を用いて復号化して復号化されたピクチャを取得し、
前記復号化されたピクチャを前記ＤＰＢに挿入し、
前記ＤＰＢに格納された各基準ピクチャに、短期基準ピクチャ、長期基準ピクチャ、未参照基準ピクチャのうちの１つとしての分類を割り当て、
前記現在のＡＵからＤＰＢモード情報を読み出し、
前記ＤＰＢモード情報が第１モードを示す場合、先入れ先出し（ＦＩＦＯ）方法に従って、短期ピクチャに分類された１つ以上の基準ピクチャを前記ＤＰＢから除去し、
前記ＤＰＢモード情報が第２モードを示す場合、前記現在のＡＵにおいて少なくとも１つのコマンドを含むメモリ管理制御情報を読み出し、前記少なくとも１つのコマンドを実行して前記ＤＰＢに格納された前記基準ピクチャのうちの少なくとも１つに割り当てられた前記分類を変更し、前記ＤＰＢ内の前記基準ピクチャの前記分類を使用して前記ＤＰＢからの基準ピクチャの除去を管理する
ように構成され、
前記現在のＡＵにおける動きベクトルに基づいて、且つ６タップＦＩＲフィルタを使用して２分の１ピクセル単位値を導出し、隣接する２分の１ピクセル単位値を平均化して、前記参照される基準ピクチャにおける４分の１ピクセル単位値を導出するように構成される、装置。
【請求項４】
データストリームにビデオを符号化するための装置であって、前記データストリームは、符号化ピクチャバッファ（ＣＰＢ）を備えるデコーダに供給されることによって復号化されるものであり、前記装置は、
符号化順序で符号化されたビデオのピクチャをアクセスユニット（ＡＵ）のシーケンスとしてデータストリームに符号化し、
第１の動作点に関連する第１のＣＰＢパラメータと第２の動作点に関連する第２のＣＰＢパラメータを決定し、ここで前記第１のＣＰＢパラメータ及び第２のＣＰＢパラメータの各々は、ＣＰＢサイズ、既定の時間オフセット、既定の時間的除去遅延及び既定のビットレートを示し、前記第１のＣＰＢパラメータは、少なくとも前記既定のビットレートに関して前記第２のＣＰＢパラメータと相違し、複数の選択されたビットレートの各々において前記第１のＣＰＢパラメータの前記既定の時間オフセットと前記第２のＣＰＢパラメータの前記既定の時間的オフセットとの間を補間することによって、補間された時間オフセット及び補間された時間的除去遅延が生じて、
それぞれの前記選択されたビットレートを使用して前記ＡＵのシーケンスを前記ＣＰＢにシーケンシャルに供給するとともに前記符号化順序において最初のアクセスユニットについては補間された時間的除去遅延の分、及び、符号化順序において２番目以降のアクセスユニットについては前記補間された時間的除去遅延と補間された時間オフセットとの和の分、前倒しされた時間フレーム除去ラスタによる仮想利用可能時間にまだ到達していないアクセスユニットについては前記仮想利用可能時間に到達するまでは前記供給を停止し、
時間ラスタを用いて前記ＣＰＢから前記ＡＵをＡＵ単位で除去して、
前記データストリームを前記ＣＰＢを介して前記デコーダに供給することが、いかなるアンダーフローも、いかなるオーバーフローも引き起こさないように前記決定が実行され、
前記ＣＰＢパラメータを前記データストリームに符号化する
ように構成され、
ここで、前記装置は、前記ＡＵを符号化する際に、
復号化ピクチャバッファ（ＤＰＢ）に格納された参照される基準ピクチャからのピクチャ間予測を使用して現在のピクチャを現在のＡＵに符号化し、
前記ＤＰＢ内の前記現在のピクチャの復号化バージョンを前記ＤＰＢに挿入し、
前記ＤＰＢに格納された各基準ピクチャに、短期基準ピクチャ、長期基準ピクチャ、未使用基準ピクチャのうちの１つとしての分類を割り当て、
ＤＰＢモード情報を前記現在のＡＵに書き込み、
前記ＤＰＢモード情報が第１モードを示す場合、ＦＩＦＯ方法に従って、短期ピクチャに分類される１つ以上の基準ピクチャを前記ＤＰＢから除去し、
前記ＤＰＢモード情報が第２モードを示す場合、少なくとも１つのコマンドを含むメモリ管理制御情報を前記現在のＡＵに書き込み、ここで前記コマンドは、前記ＤＰＢに格納された前記基準ピクチャのうちの少なくとも１つに割り当てられた前記分類を変更するように指示するものであり、前記ＤＰＢにおける前記基準ピクチャの前記分類は、前記ＤＰＢからの基準ピクチャ除去を管理するために使用される
ように構成され、
前記補間は、補間パラメータを用いてパラメータ化され、
前記装置は、前記補間パラメータを前記データストリームに符号化する
ように構成される、装置。

発明の詳細な説明【技術分野】
【０００１】
本願発明は、ビデオ符号化及びビデオ符号化における符号化ピクチャバッファの使用法に関するものである。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
仮想的な基準デコーダと、ビットストリーム及びデコーダの適合性をチェックするためのその使用は、ＶＶＣのようなあらゆるビデオ符号化規格に不可欠な要素である。
【０００３】
このような適合性チェックを行うために、図１７に示すように、ＨＳＳ（Ｈｙｐｏｔｈｅｔｉｃａｌｓｔｒｅａｍｓｃｈｅｄｕｌｅｒ：仮説ストリームスケジューラ）、ＣＰＢ（ＣｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ：符号化ピクチャバッファ）、（瞬時とみなされる）デコード処理、ＤＢＰ（ＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ：復号化ピクチャバッファ）、出力クロッピング処理からなるＨＲＤバッファモデルを規定する。
【０００４】
符号化ピクチャーバッファにビットストリームを供給するタイミング及びビットレート、その復号化ユニット（低遅延動作モードの場合はアクセスユニット又はＶＣＬＮＡＬユニット）をＣＰＢから除去して瞬時に復号化する時間、及びＤＰＢからピクチャーを出力する出力時間を定義するモデルである。
【０００５】
そうすることで、バッファオーバーフロー（ＣＰＢに保持できる量より多くのデータがデコーダに送られる）又はアンダーフロー（必要以上に低いビットレートで少ない量のデータがデコーダに送られる）、ＡＵからの必要なデータが復号化のために適切なタイミングでデコーダに存在しないことを避けるために、デコーダに必要なＣＰＢサイズを定義することも可能になる。
【０００６】
最先端のビデオ符号化規格では、ビットストリーム及びＨＲＤの要件及びバッファモデルを記述するために、異なるパラメータが指定される。
【０００７】
例えば、ＨＥＶＣでは、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ｈｒｄ＿パラメータ）がサブレイヤごとに定義され、Ｂｉｔｒａｔｅ（ｉ）及びＣＰＢｓｉｚｅ（ｉ）の１つ以上のタプル（ｔｕｐｌｅｓ）を記述し、ＨＳＳがＣＰＢｓｉｚｅ（ｉ）のサイズのＣＰＢにＢｉｔｒａｔｅ（ｉ）のビットレートを供給する場合、オーバーフローやアンダーフローは発生しないことを示す。つまり、これらのビットレート及びＣＰＢサイズのタプルに従えば、連続した復号化が保証される。
【０００８】
ｈｒｄ＿ｐａｒａｍｅｔｅｒシンタックスエレメントと連動して、ＣＰＢからの各ピクチャの除去時間を特定する追加のタイミング情報、すなわち、各ピクチャに属するＶＣＬ
ＮＡＬユニットがどのタイミングでデコードに送られるかを示す情報がビットストリーム内に存在する。
【０００９】
関連する情報は、ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙ（ｉ）、ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙＯｆｆｓｅｔ（ｉ）、ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙのシンタックスエレメントまたは変数でバッファリング期間ＳＥＩメッセージに存在し、及び、ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙでピクチャタイミングＳＥＩメッセージに存在する。
【００１０】
しかし、アプリケーションや及び伝送チャネルによっては、ビットレートに関して微調整できるようにするには、多くのビットレートのＨＲＤパラメータに関する情報が必要となる場合がある。しかし、この場合、ｂｉｔｒａｔｅｓ（ｉ）を密に選択するために、多くのＨＲＤパラメータをビット消費して送信する必要がある。ＨＲＤ情報を送信するための合理的なオーバーヘッドで多数のビットレートに対して正しいＨＲＤパラメータ化、すなわち、ＣＰＢのアンダーフローまたはオーバーフローにつながらないものを可能にする概念を手元に置くことは好ましいと思われる。
【発明の概要】
【発明が解決しようとする課題】
（【００１１】以降は省略されています）

関連特許