特許ウォッチ

公開番号2024058557
公報種別公開特許公報(A)
公開日2024-04-25
出願番号2023084051
出願日2023-05-22
発明の名称符号化ピクチャバッファを用いたビデオ符号化
出願人フラウンホッファー-ゲゼルシャフトツァフェルダールングデァアンゲヴァンテンフォアシュンクエー.ファオ
代理人弁理士法人岡田特許事務所
主分類H04N 19/423 20140101AFI20240418BHJP(電気通信技術)
要約【課題】HRD信号化のためのビット消費と多くのビットレートシナリオに対するHRDパラメータの効果的な決定方法との間のより良いトレードオフをもたらす、符号化ピクチャバッファ(CPB)動作を使用するビデオ符号化を提供する。
【解決手段】エンコーダにおいて、選択されたビットレートにおける明示的に信号化された、CPBまたはHRDパラメータ間の補間は、CPBパラメータ伝送容量とCPBパラメータ化の有効性との間の良好な妥協を達成するために用いられる。特に、復号化側において、選択されたビットレートに対する時間オフセットおよび時間的除去遅延の両方が、選択されたビットレートで、信号化されたCPBパラメータに従ってこのオフセットおよび遅延に対する対応値の間を補間することによって決定される。
【選択図】図1
特許請求の範囲【請求項１】
ビデオ復号化のための装置であって、前記装置は、符号化ピクチャバッファ（ＣＰＢ）と復号化ピクチャバッファ（ＤＰＢ）とを備え、
ビデオのピクチャが符号化順序に沿って符号化されているデータストリームをアクセスユニット（ＡＵ）のシーケンスとして受信し、
選択されたビットレートを用いて前記アクセスユニットのシーケンスを前記ＣＰＢにシーケンシャルに供給するとともに、前記符号化順序において最初のアクセスユニットについては選択された時間的除去遅延の分、及び、前記符号化順序において２番目以降のアクセスユニットについては前記選択された時間的除去遅延と選択された時間オフセットとの和の分、前倒しされた時間フレーム除去ラスタによる仮想利用可能時間にまだ到達していないアクセスユニットについては前記仮想利用可能時間に到達するまでは前記供給を停止させ、
時間ラスタを用いて前記ＣＰＢから前記ＡＵをＡＵ単位で除去し、
第１の動作点に関連する第１のＣＰＢパラメータと第２の動作点に関連する第２のＣＰＢパラメータとを前記データストリームから抽出し、ここで前記第１のＣＰＢパラメータ及び前記第２のＣＰＢパラメータの各々は、ＣＰＢサイズ、既定の時間オフセット、既定の時間的除去遅延及び既定のビットレートを示し、前記第１のＣＰＢパラメータは、少なくとも前記既定のビットレートに関して前記第２のＣＰＢパラメータと相違しており、
前記第１のＣＰＢパラメータが示す前記既定の時間オフセットと前記第２のＣＰＢパラメータが示す前記既定の時間オフセットとの間を前記選択されたビットレートで補間することによって前記選択された時間オフセットを決定し、前記第１のＣＰＢパラメータが示す前記既定の時間的除去遅延と前記第２のＣＰＢパラメータが示す前記既定の時間的除去遅延との間を前記選択されたビットレートで補間することによって前記選択された時間的除去遅延を決定し、
前記ＣＰＢから除去された現在のＡＵを前記ＤＰＢに格納された参照される基準ピクチャからピクチャ間予測を用いて復号化して復号化されたピクチャを取得し、
前記復号化されたピクチャを前記ＤＰＢに挿入し、
前記ＤＰＢに格納された各基準ピクチャに、短期基準ピクチャ、長期基準ピクチャ、未参照基準ピクチャのうちの１つとしての分類を割り当て、
前記現在のＡＵからＤＰＢモード情報を読み出し、
前記ＤＰＢモード情報が第１モードを示す場合、先入れ先出し（ＦＩＦＯ）方法に従って、短期ピクチャに分類された１つ以上の基準ピクチャを前記ＤＰＢから除去し、
前記ＤＰＢモード情報が第２モードを示す場合、前記現在のＡＵにおいて少なくとも１つのコマンドを含むメモリ管理制御情報を読み出し、前記少なくとも１つのコマンドを実行して前記ＤＰＢに格納された前記基準ピクチャのうちの少なくとも１つに割り当てられた前記分類を変更し、前記ＤＰＢ内の前記基準ピクチャの前記分類を使用して前記ＤＰＢからの基準ピクチャの除去を管理する
ように構成され、
第１の重みで重み付けされた前記第１のＣＰＢパラメータが示す前記既定の時間オフセットと、第２の重みで重み付けされた前記第２のＣＰＢパラメータが示す前記既定の時間オフセットとの重み付け和を用いて前記補間を実行するように構成され、
前記選択されたビットレートと前記第１のＣＰＢパラメータが示す前記既定のビットレートとの間の差を、前記第１のＣＰＢパラメータが示す前記既定のビットレートと前記第２のＣＰＢパラメータが示す前記既定のビットレートとの間の差によって除算することによって線形補間重みを計算し、
前記線形補間重みを用いて前記第１の重み及び前記第２の重みを決定する
ように構成される、装置。
続きを表示（約 2,500 文字）【請求項２】
前記第１の重みが前記線形補間重み又は因数の１つが前記線形補間重みである積となるように前記第１の重みを決定し、
前記第２の重みが前記線形補間重みと１との差、又は因数の１つが前記線形補間重みと１との前記差である積となるように前記第２の重みを決定する
ように構成される、請求項１に記載の装置。
【請求項３】
前記第１の重みが、第１の因数が前記線形補間重みであり、第２の因数が前記第１のＣＰＢパラメータが示す前記既定のビットレートを前記選択されたビットレートで除算したものである積となるように前記第１の重みを決定し、
前記第２の重みが、第１の因数が前記線形補間重みと１との前記差であり、第２の因数が前記第２のＣＰＢパラメータが示す前記既定のビットレートを前記選択されたビットレートで除算したものである積となるように第２の重みを決定する
ように構成される、請求項１に記載の装置。
【請求項４】
データストリームにビデオを符号化するための装置であって、前記データストリームは、符号化ピクチャバッファ（ＣＰＢ）を備えるデコーダに供給されることによって復号化されるものであり、前記装置は、
符号化順序で符号化されたビデオのピクチャをアクセスユニット（ＡＵ）のシーケンスとしてデータストリームに符号化し、
第１の動作点に関連する第１のＣＰＢパラメータと第２の動作点に関連する第２のＣＰＢパラメータを決定し、ここで前記第１のＣＰＢパラメータ及び第２のＣＰＢパラメータの各々は、ＣＰＢサイズ、既定の時間オフセット、既定の時間的除去遅延及び既定のビットレートを示し、前記第１のＣＰＢパラメータは、少なくとも前記既定のビットレートに関して前記第２のＣＰＢパラメータと相違し、複数の選択されたビットレートの各々において前記第１のＣＰＢパラメータの前記既定の時間オフセットと前記第２のＣＰＢパラメータの前記既定の時間的オフセットとの間を補間することによって、補間された時間オフセット及び補間された時間的除去遅延が生じて、
それぞれの前記選択されたビットレートを使用して前記ＡＵのシーケンスを前記ＣＰＢにシーケンシャルに供給するとともに前記符号化順序において最初のアクセスユニットについては補間された時間的除去遅延の分、及び、符号化順序において２番目以降のアクセスユニットについては前記補間された時間的除去遅延と補間された時間オフセットとの和の分、前倒しされた時間フレーム除去ラスタによる仮想利用可能時間にまだ到達していないアクセスユニットについては前記仮想利用可能時間に到達するまでは前記供給を停止し、
時間ラスタを用いて前記ＣＰＢから前記ＡＵをＡＵ単位で除去して、
前記データストリームを前記ＣＰＢを介して前記デコーダに供給することが、いかなるアンダーフローも、いかなるオーバーフローも引き起こさないように前記決定が実行され、
前記ＣＰＢパラメータを前記データストリームに符号化する
ように構成され、
ここで、前記装置は、前記ＡＵを符号化する際に、
復号化ピクチャバッファ（ＤＰＢ）に格納された参照される基準ピクチャからのピクチャ間予測を使用して現在のピクチャを現在のＡＵに符号化し、
前記ＤＰＢ内の前記現在のピクチャの復号化バージョンを前記ＤＰＢに挿入し、
前記ＤＰＢに格納された各基準ピクチャに、短期基準ピクチャ、長期基準ピクチャ、未使用基準ピクチャのうちの１つとしての分類を割り当て、
ＤＰＢモード情報を前記現在のＡＵに書き込み、
前記ＤＰＢモード情報が第１モードを示す場合、ＦＩＦＯ方法に従って、短期ピクチャに分類される１つ以上の基準ピクチャを前記ＤＰＢから除去し、
前記ＤＰＢモード情報が第２モードを示す場合、少なくとも１つのコマンドを含むメモリ管理制御情報を前記現在のＡＵに書き込み、ここで前記コマンドは、前記ＤＰＢに格納された前記基準ピクチャのうちの少なくとも１つに割り当てられた前記分類を変更するように指示するものであり、前記ＤＰＢにおける前記基準ピクチャの前記分類は、前記ＤＰＢからの基準ピクチャ除去を管理するために使用される
ように構成され、
前記補間は、第１の重みで重み付けされた前記第１のＣＰＢパラメータが示す前記既定の時間オフセットと、第２の重みで重み付けされた前記第２のＣＰＢパラメータが示す前記既定の時間オフセットとの重み付き和を用いて実行され、
前記選択されたビットレートと前記第１のＣＰＢパラメータが示す前記既定のビットレートとの間の差を、前記第１のＣＰＢパラメータが示す前記既定のビットレートと前記第２のＣＰＢパラメータが示す前記既定のビットレートとの間の差で除算することによって決定される線形補間重みが、前記第１の重み及び前記第２の重みを決定するために使用される、装置。
【請求項５】
前記第１の重みは、前記第１の重みが前記線形補間重み又は１つの因数が前記線形補間重みである積となるように決定され、
前記第２の重みは、前記第２の重みが前記線形補間重みと１との差又は１つの因数が前記線形補間重みと１との前記差である積となるように決定される、請求項４に記載の装置。
【請求項６】
前記第１の重みは、前記第１の重みが、第１の因数が前記線形補間重みであり、第２の因数が前記第１のＣＰＢパラメータが示す前記既定のビットレートを前記選択されたビットレートで割ったものである積となるように決定され、
前記第２の重みは、前記第２の重みが、１つの因数が前記線形補間重みと１との前記差であり、第２の因数が前記第２のＣＰＢパラメータが示す前記既定のビットレートを前記選択されたビットレートで除算したものである積となるように決定される、
請求項４に記載の装置。

発明の詳細な説明【技術分野】
【０００１】
本願発明は、ビデオ符号化及びビデオ符号化における符号化ピクチャバッファの使用法に関するものである。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
仮想的な基準デコーダと、ビットストリーム及びデコーダの適合性をチェックするためのその使用は、ＶＶＣのようなあらゆるビデオ符号化規格に不可欠な要素である。
【０００３】
このような適合性チェックを行うために、図１７に示すように、ＨＳＳ（Ｈｙｐｏｔｈｅｔｉｃａｌｓｔｒｅａｍｓｃｈｅｄｕｌｅｒ：仮説ストリームスケジューラ）、ＣＰＢ（ＣｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ：符号化ピクチャバッファ）、（瞬時とみなされる）デコード処理、ＤＢＰ（ＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ：復号化ピクチャバッファ）、出力クロッピング処理からなるＨＲＤバッファモデルを規定する。
【０００４】
符号化ピクチャーバッファにビットストリームを供給するタイミング及びビットレート、その復号化ユニット（低遅延動作モードの場合はアクセスユニット又はＶＣＬＮＡＬユニット）をＣＰＢから除去して瞬時に復号化する時間、及びＤＰＢからピクチャーを出力する出力時間を定義するモデルである。
【０００５】
そうすることで、バッファオーバーフロー（ＣＰＢに保持できる量より多くのデータがデコーダに送られる）又はアンダーフロー（必要以上に低いビットレートで少ない量のデータがデコーダに送られる）、ＡＵからの必要なデータが復号化のために適切なタイミングでデコーダに存在しないことを避けるために、デコーダに必要なＣＰＢサイズを定義することも可能になる。
【０００６】
最先端のビデオ符号化規格では、ビットストリーム及びＨＲＤの要件及びバッファモデルを記述するために、異なるパラメータが指定される。
【０００７】
例えば、ＨＥＶＣでは、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ｈｒｄ＿パラメータ）がサブレイヤごとに定義され、Ｂｉｔｒａｔｅ（ｉ）及びＣＰＢｓｉｚｅ（ｉ）の１つ以上のタプル（ｔｕｐｌｅｓ）を記述し、ＨＳＳがＣＰＢｓｉｚｅ（ｉ）のサイズのＣＰＢにＢｉｔｒａｔｅ（ｉ）のビットレートを供給する場合、オーバーフローやアンダーフローは発生しないことを示す。つまり、これらのビットレート及びＣＰＢサイズのタプルに従えば、連続した復号化が保証される。
【０００８】
ｈｒｄ＿ｐａｒａｍｅｔｅｒシンタックスエレメントと連動して、ＣＰＢからの各ピクチャの除去時間を特定する追加のタイミング情報、すなわち、各ピクチャに属するＶＣＬＮＡＬユニットがどのタイミングでデコードに送られるかを示す情報がビットストリーム内に存在する。
【０００９】
関連する情報は、ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙ（ｉ）、ＩｎｉｔｉａｌＣＰＢＲｅｍｏｖａｌＤｅｌａｙＯｆｆｓｅｔ（ｉ）、ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙのシンタックスエレメントまたは変数でバッファリング期間ＳＥＩメッセージに存在し、及び、ＡｕＣＰＢＲｅｍｏｖａｌＤｅｌａｙでピクチャタイミングＳＥＩメッセージに存在する。
【００１０】
しかし、アプリケーションや及び伝送チャネルによっては、ビットレートに関して微調整できるようにするには、多くのビットレートのＨＲＤパラメータに関する情報が必要となる場合がある。しかし、この場合、ｂｉｔｒａｔｅｓ（ｉ）を密に選択するために、多くのＨＲＤパラメータをビット消費して送信する必要がある。ＨＲＤ情報を送信するための合理的なオーバーヘッドで多数のビットレートに対して正しいＨＲＤパラメータ化、すなわち、ＣＰＢのアンダーフローまたはオーバーフローにつながらないものを可能にする概念を手元に置くことは好ましいと思われる。
【発明の概要】
【発明が解決しようとする課題】
（【００１１】以降は省略されています）

関連特許