特許ウォッチ

公開番号2024166356
公報種別公開特許公報(A)
公開日2024-11-28
出願番号2024160908,2023069776
出願日2024-09-18,2020-04-27
発明の名称オプティカルフローを用いる予測改善のための方法および装置
出願人ベイジン・ダジア・インターネット・インフォメーション・テクノロジー・カンパニー,リミテッド
代理人個人,個人,個人,個人,個人
主分類H04N 19/513 20140101AFI20241121BHJP(電気通信技術)
要約【課題】予測改善のビット深度表現のための双方向オプティカルフロー(BDOF)の方法を提供する。
【解決手段】この方法は、ビデオブロックに関連した第1の参照ピクチャおよび第2の参照ピクチャを取得するステップと、前記第1の参照ピクチャから前記ビデオブロックの第1の予測サンプルを取得するステップと、前記第2の参照ピクチャから前記ビデオブロックの第2の予測サンプルを取得するステップと、パディングされた予測サンプルに基づいて前記第1の予測サンプルおよび第2の予測サンプルの水平方向勾配値および垂直方向勾配値を取得するステップと、前記水平方向勾配値および前記垂直方向勾配値に基づいて、前記ビデオブロックにおけるサンプルの動き改善を取得するステップと、前記動き改善に基づいて前記ビデオブロックの双予測サンプルを取得するステップとを含む。
【選択図】図1
特許請求の範囲【請求項１】
ビデオ信号を復号するための、オプティカルフローを用いる予測改善（ＰＲＯＦ）のビット深度表現方法であって、
前記ビデオ信号の中のビデオブロックに関連した第１の参照ピクチャと、現在のピクチャ内のビデオブロックから前記第１の参照ピクチャ内の参照ブロックへの第１の動きベクトル（ＭＶ）とを取得するステップであって、前記第１の参照ピクチャが、オーバラップしない複数のビデオブロックを含み、少なくとも１つのビデオブロックが少なくとも１つのＭＶに関連付けられる、ステップと、
前記第１の参照ピクチャの中の前記参照ブロックから生成されたビデオブロックの当該第１の予測サンプルＩ（ｉ，ｊ）を取得するステップであって、ｉおよびｊが、前記ビデオブロックを有する１つのサンプルの座標を表す、ステップと、
前記内部ＰＲＯＦパラメータの内部ビット深度を制御するステップであって、前記内部ＰＲＯＦパラメータが、予測サンプルＩ（ｉ，ｊ）に関して導出された水平方向勾配値、垂直方向勾配値、水平方向動き差分および垂直方向動き差分を含む、ステップと、
水平方向勾配値および垂直方向勾配値ならびに水平方向動き差分および垂直方向動き差分を基に、前記第１の予測サンプルＩ（ｉ，ｊ）の予測改善値を取得するステップと、
前記ビデオブロックが第２のＭＶを含むときには、前記第２のＭＶに関連した第２の予測サンプルＩ’（ｉ，ｊ）と、前記第２の予測サンプルＩ’（ｉ，ｊ）の対応する予測改善値とを取得するステップと、
前記第１の予測サンプルＩ（ｉ，ｊ）と第２の予測サンプルＩ’（ｉ，ｊ）と前記予測改善値との組合せに基づいて、前記ビデオブロックの最終予測サンプルを取得するステップと
を含む方法。
続きを表示（約 2,100 文字）【請求項２】
前記内部ＰＲＯＦパラメータの内部ビット深度を制御するステップが、
第１の予測サンプルＩ（ｉ＋１，ｊ）と第１の予測サンプルＩ（ｉ－１，ｊ）との間の差に基づいて第１の予測サンプルＩ（ｉ，ｊ）の水平方向勾配値を取得するステップと、
第１の予測サンプルＩ（ｉ，ｊ＋１）と第１の予測サンプルＩ（ｉ，ｊ－１）との間の差に基づいて前記第１の予測サンプルＩ（ｉ，ｊ）の垂直方向勾配値を取得するステップと、
前記水平方向勾配値を第１のシフト値だけ右シフトするステップと、
前記垂直方向勾配値を前記第１のシフト値だけ右シフトするステップと
を含む、請求項１に記載の方法。
【請求項３】
前記第１のシフト値が、６と、符号化ビット深度値から６を減じた値とのうちの大きい方に等しい、請求項２に記載の方法。
【請求項４】
前記ビデオブロックの制御点ＭＶを取得するステップであって、前記制御点ＭＶが、前記ビデオブロックを含む１つのブロックの、左上隅のブロックのＭＶ、右上隅のブロックのＭＶ、および左下隅のブロックのＭＶを含む、ステップと、
前記制御点ＭＶに基づいて導出されたアフィンモデルパラメータを取得するステップと、
前記アフィンモデルパラメータに基づいて水平方向オフセットおよび垂直方向オフセットを判定するステップと、
前記アフィンパラメータ、前記水平方向オフセット、および前記垂直方向オフセットに基づいて第１の予測サンプルＩ（ｉ，ｊ）用の水平方向ＭＶ差分Δｖ
ｘ
（ｉ，ｊ）を取得するステップと、
前記アフィンパラメータ、前記水平方向オフセット、および前記垂直方向オフセットに基づいて第１の予測サンプルＩ（ｉ，ｊ）用の垂直方向ＭＶ差分Δｖ
ｙ
（ｉ，ｊ）を取得
するステップと、
前記水平方向ＭＶ差分Δｖ
ｘ
（ｉ，ｊ）を第２のシフト値だけ右シフトするステップと、
前記垂直方向ＭＶ差分Δｖ
ｙ
（ｉ，ｊ）を前記第２のシフト値だけ右シフトするステップと
をさらに含む、請求項２に記載の方法。
【請求項５】
前記第２のシフト値が、１３から勾配値の精密なビット深度を減じたものに等しい、請求項４に記載の方法。
【請求項６】
前記勾配値の精密なビット深度が、６と、符号化ビット深度から６を減じた値とのうちの大きい方に等しい、請求項５に記載の方法。
【請求項７】
前記ビデオブロックが前記第２のＭＶを含むときには、前記ビデオブロックの最終的な予測サンプルを取得するステップが、
前記第１の予測サンプルＩ（ｉ，ｊ）用に生成された前記水平方向勾配値、前記水平方向ＭＶ差分Δｖ
ｘ
（ｉ，ｊ）、前記垂直方向勾配値、および前記垂直方向ＭＶ差分Δｖ
ｙ
（ｉ，ｊ）に基づいて第１の予測改善値ΔＩ（ｉ，ｊ）を取得するステップと、
前記第２の予測サンプルＩ’（ｉ，ｊ）用に生成された前記水平方向勾配値、前記水平方向動き差分Δｖ
ｘ
（ｉ，ｊ）、前記垂直方向勾配値、および前記垂直方向動き差分Δｖ
ｙ
（ｉ，ｊ）に基づいて第２の予測改善値ΔＩ’（ｉ，ｊ）を取得するステップと、
前記第１の予測改善値ΔＩ（ｉ，ｊ）と前記第２の予測改善値ΔＩ’（ｉ，ｊ）との平均をとることによって前記予測改善値を取得するステップと、
前記第１の予測サンプルＩ（ｉ，ｊ）と、前記第２の予測サンプルＩ’（ｉ，ｊ）と、前記予測改善値との合計に基づいて、双予測サンプルを取得するステップと、
前記合計を第３のシフト値だけ右シフトするステップと
を含む、請求項４に記載の方法。
【請求項８】
前記第３のシフト値が、１５から符号化ビット深度を減じたものに等しい、請求項６に記載の方法。
【請求項９】
前記第１の予測サンプルＩ（ｉ，ｊ）の前記水平方向勾配値および前記垂直方向勾配値を取得するステップが、
前記第１の予測サンプルＩ（ｉ，ｊ）用の前記参照ブロックの上境界、左境界、下境界、および右境界の各々に対して予測サンプルの追加の行および列をパディングするステップをさらに含む、請求項２に記載の方法。
【請求項１０】
前記予測サンプルの前記追加の行および列をパディングするステップが、
整数参照サンプルから、左境界および右境界のパディングされた予測サンプルを、分数サンプル位置の左側にコピーするステップと、
整数参照サンプルから、上境界および下境界のパディングされた予測サンプルを、前記分数サンプル位置の上側にコピーするステップと
をさらに含む、請求項９に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
関連出願の相互参照
続きを表示（約 4,300 文字）【０００２】
この出願は、内容の全体が参照によって本明細書に組み込まれている、２０１９年４月２５日出願の米国仮出願第６２／８３８，９３９号に基づき、優先権を主張するものである。
【０００３】
この開示はビデオ符号化および圧縮に関連するものである。より具体的には、この開示は、多用途ビデオ符号化（ＶＶＣ：ｖｅｒｓａｔｉｌｅｖｉｄｅｏｃｏｄｉｎｇ）規格、すなわちオプティカルフローを用いる予測改善（ＰＲＯＦ：ｐｒｅｄｉｃｔｉｏｎｒｅｆｉｎｅｍｅｎｔｗｉｔｈｏｐｔｉｃａｌｆｌｏｗ）および双方向オプティカルフロー（ＢＤＯＦ：ｂｉ－ｄｉｒｅｃｔｉｏｎａｌｏｐｔｉｃａｌｆｌｏｗ）にて研究されている２つのインター予測ツールに基づく方法および装置に関する。
【背景技術】
【０００４】
ビデオデータを圧縮するために様々なビデオ符号化技術が使用され得る。ビデオ符号化は１つまたは複数のビデオ符号化規格に従って実行される。たとえば、ビデオ符号化規格は、多用途ビデオ符号化（ＶＶＣ）、共同探索テストモデル（ＪＥＭ：ｊｏｉｎｔｅｘｐｌｏｒａｔｉｏｎｔｅｓｔｍｏｄｅｌ）、高効率ビデオ符号化（Ｈ．２６５／ＨＥＶＣ）、高度ビデオ符号化（Ｈ．２６４／ＡＶＣ）、動画エキスパートグループ（ＭＰＥＧ）符号化等を含む。ビデオ符号化は、一般に、ビデオピクチャまたはビデオシーケンスに存在する冗長性を活用する予測方法（たとえばインター予測、イントラ予測等）を利用するものである。ビデオ符号化技術の重点目標は、ビデオ品質の劣化の回避または最小化を行いつつ、ビデオデータを、より低いビットレートを使用する形式に圧縮することである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示の実例は、オプティカルフローを用いる予測改善のビット深度表現のための方法および装置を提供するものである。
【課題を解決するための手段】
【０００６】
本開示の第１の態様によれば、ビデオ信号を復号するための、オプティカルフローを用いる予測改善（ＰＲＯＦ）のビット深度表現方法が提供される。この方法は、ビデオ信号の中のビデオブロックに関連した第１の参照ピクチャと、現在のピクチャ内のビデオブロックから第１の参照ピクチャ内の参照ブロックへの第１の動きベクトル（ＭＶ）とを取得するステップを含み得る。第１の参照ピクチャはオーバラップしない複数のビデオブロックを含み得、少なくとも１つのビデオブロックが少なくとも１つのＭＶに関連付けられ得る。この方法は、第１の参照ピクチャの中の参照ブロックから生成されたビデオブロックの第１の予測サンプルＩ（ｉ，ｊ）を取得するステップをも含み得る。ｉおよびｊは、このビデオブロックを有する１つのサンプルの座標を表し得る。この方法、内部ＰＲＯＦパラメータの内部ビット深度を制御するステップを含み得る。内部ＰＲＯＦパラメータは、予測サンプルＩ（ｉ，ｊ）に関して導出された水平方向勾配値、垂直方向勾配値、水平方向動き差分、および垂直方向動き差分を含み得る。この方法は、水平方向勾配値および垂直方向勾配値ならびに水平方向動き差分および垂直方向動き差分に基づいて第１の予測サンプルＩ（ｉ，ｊ）の予測改善値を取得するステップをさらに含み得る。この方法は、ビデオブロックが第２のＭＶを含み得るとき、第２のＭＶに関連した第２の予測サンプルＩ
’（ｉ，ｊ）と、第２の予測サンプルＩ’（ｉ，ｊ）の対応する予測改善値とを取得するステップを含み得る。この方法は、第１の予測サンプルＩ’（ｉ，ｊ）と第２の予測サンプルＩ’（ｉ，ｊ）と予測改善値との組合せに基づいて、ビデオブロックの最終予測サンプルを取得するステップを含み得る。
【０００７】
本開示の第２の態様によれば、映像信号を復号するための双方向オプティカルフロー（ＢＤＯＦ）のビット深度表現方法が提供される。この方法は、ビデオブロックに関連した第１の参照ピクチャＩ
（０）
および第２の参照ピクチャＩ
（１）
を取得するステップを含み得る。表示順序では、第１の参照ピクチャＩ
（０）
は現在のピクチャの前のものでよく、第２の参照ピクチャＩ
（１）
は現在のピクチャの後のものでよい。この方法は、第１の参照ピクチャＩ
（０）
の中の参照ブロックからビデオブロックの第１の予測サンプルＩ
（０）
（ｉ，ｊ）を取得するステップをも含み得る。ｉおよびｊは、現在のピクチャを有する１つのサンプルの座標を表し得る。この方法は、第２の参照ピクチャＩ
（１）
の中の参照ブロックからビデオブロックの第２の予測サンプルＩ
（１）
（ｉ，ｊ）を取得するステップを含み得る。この方法は、第１の予測サンプルＩ
（０）
（ｉ，ｊ）および第２の予測サンプルＩ
（１）
（ｉ，ｊ）に基づいてビデオブロックにＢＤＯＦを適用するステップを含み得る。この方法は、パディングされた予測サンプルに基づいて第１の予測サンプルＩ
（０）
（ｉ，ｊ）および第２の予測サンプルＩ
（１）
（ｉ，ｊ）の水平方向勾配値および垂直方向勾配値を取得するステップを含み得る。この方法は、ビデオブロックに適用されているＢＤＯＦならびに水平方向勾配値および垂直方向勾配値に基づいてビデオブロックにおけるサンプルの動き改善を取得するステップをさらに含み得る。この方法は、動き改善に基づいてビデオブロックの双予測サンプルを取得するステップを含み得る。
【０００８】
本開示の第３の態様によれば、コンピューティングデバイスが提供される。コンピューティングデバイスは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読メモリとを含み得る。１つまたは複数のプロセッサは、ビデオ信号の中のビデオブロックに関連した第１の参照ピクチャと、現在のピクチャ内のビデオブロックから第１の参照ピクチャ内の参照ブロックへの第１のＭＶとを取得するように構成され得る。第１の参照ピクチャはオーバラップしない複数のビデオブロックを含み得、少なくとも１つのビデオブロックが少なくとも１つのＭＶに関連付けられ得る。１つまたは複数のプロセッサは、第１の参照ピクチャの中の参照ブロックから生成されたビデオブロックの第１の予測サンプルＩ（ｉ，ｊ）を取得するようにも構成され得る。ｉおよびｊは、このビデオブロックを有する１つのサンプルの座標を表す。１つまたは複数のプロセッサは、内部ＰＲＯＦパラメータの内部ビット深度を制御するように構成され得る。内部ＰＲＯＦパラメータは、予測サンプルＩ（ｉ，ｊ）に関して導出された水平方向勾配値、垂直方向勾配値、水平方向動き差分および垂直方向動き差分を含み得る。１つまたは複数のプロセッサは、水平方向勾配値および垂直方向勾配値ならびに水平方向動き差分および垂直方向動き差分に基づいて第１の予測サンプルＩ（ｉ，ｊ）の予測改善値を取得するようにも構成され得る。１つまたは複数のプロセッサは、ビデオブロックが第２のＭＶを含み得るときには、第２のＭＶに関連した第２の予測サンプルＩ’（ｉ，ｊ）と、第２の予測サンプルＩ’（ｉ，ｊ）の対応する予測改善値とを取得するようにも構成され得る。１つまたは複数のプロセッサは、第１の予測サンプルＩ（ｉ，ｊ）と第２の予測サンプルＩ’（ｉ，ｊ）と予測改善値との組合せに基づいて、ビデオブロックの最終予測サンプルを取得するように構成され得る。
【０００９】
本開示の第４の態様によれば、コンピューティングデバイスが提供される。コンピューティングデバイスは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読メモリとを含み得る。１つまたは複数のプロセッサは、ビデオブロックに関連した第１の参照ピクチャＩ
（０）
および第２の参照ピクチャＩ
（１）
を取得するように構成され得る。表示順序では、第１の参照ピ
クチャＩ
（０）
は現在のピクチャの前のものでよく、第２の参照ピクチャＩ
（１）
は現在のピクチャの後のものでよい。１つまたは複数のプロセッサは、第１の参照ピクチャＩ
（０）
の中の参照ブロックからビデオブロックの第１の予測サンプルＩ
（０）
（ｉ，ｊ）を取得するようにも構成され得る。ｉおよびｊは、現在のピクチャを有する１つのサンプルの座標を表し得る。１つまたは複数のプロセッサは、第２の参照ピクチャＩ
（１）
の中の参照ブロックからビデオブロックの第２の予測サンプルＩ
（１）
（ｉ，ｊ）を取得するように構成され得る。１つまたは複数のプロセッサは、第１の予測サンプルＩ
（０）
（ｉ，ｊ）および第２の予測サンプルＩ
（１）
（ｉ，ｊ）に基づいてビデオブロックにＢＤＯＦを適用するように構成され得る。１つまたは複数のプロセッサは、パディングされた予測サンプルに基づいて第１の予測サンプルＩ
（０）
（ｉ，ｊ）および第２の予測サンプルＩ
（１）
（ｉ，ｊ）の水平方向勾配値および垂直方向勾配値を取得するように構成され得る。１つまたは複数のプロセッサは、ビデオブロックに適用されているＢＤＯＦならびに水平方向勾配値および垂直方向勾配値に基づいて、ビデオブロックにおけるサンプルの動き改善を取得するようにさらに構成され得る。１つまたは複数のプロセッサは、動き改善に基づいてビデオブロックの双予測サンプルを取得するように構成され得る。
【００１０】
上記の概要および以下の発明を実施するための形態は、例でしかなく、本開示を限定するものではないことを理解されたい。
（【００１１】以降は省略されています）

関連特許