特許ウォッチ

公開番号2024166257
公報種別公開特許公報(A)
公開日2024-11-28
出願番号2024153291,2023111403
出願日2024-09-05,2019-09-17
発明の名称双方向オプティカルフローのための複雑性低減およびビット幅制御
出願人ヴィドスケールインコーポレイテッド
代理人弁理士法人谷・阿部特許事務所
主分類H04N 19/577 20140101AFI20241121BHJP(電気通信技術)
要約【課題】ビデオコーディングにおける双方向オプティカルフロー(BIO)を使用する複雑性を低減するシステムおよび方法を提供する。
【解決手段】いくつかの実施形態では、BIO計算に使用される最大ビット幅を低減するために、ビット幅低減ステップがBIO動き精緻化プロセスに導入される。いくつかの実施形態では、簡略化された補間フィルタを使用して、カレントコーディングユニットの周りの拡張された領域における予測されたサンプルを生成する。いくつかの実施形態では、垂直補間と水平補間に対して異なる補間フィルタが使用される。いくつかの実施形態では、BIOは、小さい高さを有するコーディングユニットについて、および/または高度時間動きベクトル予測(ATMVP)若しくはアフィン予測などのサブブロックレベルインター予測技法を使用して予測されたコーディングユニットについて無効にされる。
【選択図】図7
特許請求の範囲【請求項１】
第１の参照ピクチャから第１の予測信号アレイを取得することと、
前記第１の予測信号アレイの２つのサンプルに対して右ビットシフトを実行し、前記第１の予測信号アレイの２つの右ビットシフトされたサンプル間の差を決定することを含む、第１の勾配成分の第１のアレイを取得することと、
第２の参照ピクチャから第２の予測信号アレイを取得することと、
前記第２の予測信号アレイの２つのサンプルに対して右ビットシフトを実行し、前記第２の予測信号アレイの２つの右ビットシフトされたサンプル間の差を決定することを含む、第１の勾配成分の第２のアレイを取得することと、
前記第１の勾配成分の第１のアレイと前記第１の勾配成分の第２のアレイの合計を決定することを含む、第１の成分の中間パラメータアレイを取得することと、
前記第１の成分の中間パラメータアレイに少なくとも部分的に基づいて少なくとも第１の成分の動き精緻化を取得することと、
少なくとも前記第１の成分の動き精緻化を使用して双方向オプティカルフローを用いてビデオにおけるカレントブロックの予測を生成することと、
を含むビデオデコーディング方法。
続きを表示（約 2,200 文字）【請求項２】
前記第１の成分の中間パラメータアレイを取得することは、前記第１の勾配成分の第１のアレイと前記第１の勾配成分の第２のアレイの合計に対して右ビットシフトを実行することを含む、請求項１の方法。
【請求項３】
前記第１の予測信号アレイと前記第２の予測信号アレイの差を取得する前に、前記第１の予測信号アレイと前記第２の予測信号アレイのそれぞれに対して右ビットシフトを実行することを含む、信号差パラメータアレイを取得することをさらに含み、前記第１の成分の動き精緻化は、前記信号差パラメータアレイに少なくとも部分的に基づく、請求項１または請求項２の方法。
【請求項４】
前記第１の成分の中間パラメータアレイは、水平中間パラメータアレイであり、前記第１の成分の動き精緻化は、水平動き精緻化であり、前記方法は、
前記信号差パラメータアレイと前記水平中間パラメータアレイとの要素ごとの乗算の成分を合計することによって信号水平勾配相関パラメータを取得することをさらに含み、
前記水平動き精緻化を取得することは、前記信号水平勾配相関パラメータをビットシフトして前記水平動き精緻化を取得することを含む、請求項３の方法。
【請求項５】
前記第１の勾配成分は、水平勾配であり、
座標（ｉ，ｊ）を有する前記第１のアレイの少なくとも複数の水平勾配に対して、前記第１の予測信号アレイの２つのサンプルは、座標（ｉ＋１，ｊ）および（ｉ－１，ｊ）を有し、
座標（ｉ，ｊ）を有する前記第２のアレイの少なくとも複数の水平勾配に対して、前記第２の予測信号アレイの２つのサンプルは、座標（ｉ＋１，ｊ）および（ｉ－１，ｊ）を有する、
請求項４の方法。
【請求項６】
前記第１の予測信号アレイの２つのサンプルに対して右ビットシフトを実行し、前記第１の予測信号アレイの２つの右ビットシフトされたサンプル間の差を決定することを含む、第２の勾配成分の第１のアレイを取得することと、
前記第２の予測信号アレイの２つのサンプルに対して右ビットシフトを実行し、前記第２の予測信号アレイの２つの右ビットシフトされたサンプル間の差を決定することを含む、第２の勾配成分の第２のアレイを取得することと、
前記第２の勾配成分の第１のアレイと前記第２の勾配成分の第２のアレイの合計を決定することを含む、第２の成分の中間パラメータアレイを取得することと、
前記第２の成分の中間パラメータアレイに少なくとも部分的に基づいて第２の成分の動き精緻化を取得することと、
をさらに含み、
前記カレントブロックの予測は、前記第２の成分の動き精緻化をさらに使用する、請求項３の方法。
【請求項７】
前記第２の勾配成分は、垂直勾配であり、
座標（ｉ，ｊ）を有する前記第１のアレイの少なくとも複数の垂直勾配に対して、前記第１の予測信号アレイの２つのサンプルは、座標（ｉ，ｊ＋１）および（ｉ，ｊ－１）を有し、
座標（ｉ，ｊ）を有する前記第２のアレイの少なくとも複数の垂直勾配に対して、前記第２の予測信号アレイの２つのサンプルは、座標（ｉ，ｊ＋１）および（ｉ，ｊ－１）を有する、
請求項６の方法。
【請求項８】
第１の参照ピクチャから第１の予測信号アレイを取得することと、
前記第１の予測信号アレイの２つのサンプルに対して右ビットシフトを実行し、前記第１の予測信号アレイの２つの右ビットシフトされたサンプル間の差を決定することを含む、第１の勾配成分の第１のアレイを取得することと、
第２の参照ピクチャから第２の予測信号アレイを取得することと、
前記第２の予測信号アレイの２つのサンプルに対して右ビットシフトを実行し、前記第２の予測信号アレイの２つの右ビットシフトされたサンプル間の差を決定することを含む、第１の勾配成分の第２のアレイを取得することと、
前記第１の勾配成分の第１のアレイと前記第１の勾配成分の第２のアレイの合計を決定することを含む、第１の成分の中間パラメータアレイを取得することと、
前記第１の成分の中間パラメータアレイに少なくとも部分的に基づいて少なくとも第１の成分の動き精緻化を取得することと、
少なくとも前記第１の成分の動き精緻化を使用して双方向オプティカルフローを用いてビデオにおけるカレントブロックの予測を生成することと、
を実行するように構成された１つまたは複数のプロセッサを備えたビデオデコーダ装置。
【請求項９】
前記第１の成分の中間パラメータアレイを取得することは、前記第１の勾配成分の第１のアレイと前記第１の勾配成分の第２のアレイの合計に対して右ビットシフトを実行することを含む、請求項８の装置。
【請求項１０】
前記第１の予測信号アレイと前記第２の予測信号アレイの差を取得する前に、前記第１の予測信号アレイと前記第２の予測信号アレイのそれぞれに対して右ビットシフトを実行することを含む、信号差パラメータアレイを取得することをさらに含み、前記第１の成分の動き精緻化は、前記信号差パラメータアレイに少なくとも部分的に基づく、請求項８または請求項９の装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
関連出願の相互参照
本出願は、（２０１８年９月２１日に出願された）米国特許仮出願第６２／７３４７６３号、（２０１８年９月２８日に出願された）米国特許仮出願第６２／７３８６５５号、および（２０１９年１月７日に出願された）米国特許仮出願第６２／７８９３３１号の利益を米国特許法第１１９条（ｅ）に基づいて主張する非仮出願であり、それらは全て、「Complexity Reduction and Bit-Width Control for Bi-Directional Optical Flow」と題され、参照によりそれらの全体が本明細書に組み込まれている。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
ビデオコーディングシステムは、デジタルビデオ信号を圧縮して、そのような信号の記憶の必要性および／または送信帯域幅を低減させるために、広く使用されている。ブロックベース、ウェーブレットベース、およびオブジェクトベースのシステムなど、ビデオコーディングシステムの様々なタイプの中でも、ブロックベースのハイブリッドビデオコーディングシステムが現在、最も広く使用され展開されている。ブロックベースのビデオコーディングシステムの例は、ＭＰＥＧ１／２／４パート２、Ｈ．２６４／ＭＰＥＧ－４パート１０ＡＶＣ、ＶＣ－１、並びにＩＴＵ－Ｔ／ＳＧ１６／Ｑ．６／ＶＣＥＧおよびＩＳＯ／ＩＥＣ／ＭＰＥＧのＪＣＴ－ＶＣ（Joint Collaborative Team on Video Coding：ビデオコーディング共同作業チーム）によって開発された高効率ビデオコーディング（ＨＥＶＣ）などの国際ビデオコーディング規格を含む。
【０００３】
ＨＥＶＣ規格の最初のバージョンは、２０１３年１０月に完成され、これは、前世代のビデオコーディング規格Ｈ．２６４／ＭＰＥＧＡＶＣと比較して約５０％のビットレートの節約または同等の知覚品質を提供する。ＨＥＶＣ規格は、その前身より大幅なコーディング改善を提供するが、ＨＥＶＣに対して優れたコーディング効率が追加のコーディングツールを用いて達成され得るという証拠がある。これに基づいて、ＶＣＥＧとＭＰＥＧの両方が、将来のビデオコーディング規格化のための新しいコーディング技術の探索作業を開始した。２０１５年１０月にＩＴＵ－ＴＶＥＣＧおよびＩＳＯ／ＩＥＣＭＰＥＧによって共同ビデオ探索チーム（Joint Video Exploration Team：ＪＶＥＴ）が形成され、コーディング効率の相当な向上を可能にし得る先進技術の重要な研究を開始した。ＨＥＶＣテストモデル（ＨＭ）上でいくつかの追加のコーディングツールを統合することにより、ＪＶＥＴによって、共同探索モデル（joint exploration model：ＪＥＭ）と呼ばれる参照ソフトウェアが保持された。
【０００４】
２０１７年１０月に非特許文献１がＩＴＵ－ＴおよびＩＳＯ／ＩＥＣによって発行された。２０１８年４月に、第１０回ＪＶＥＴ会合で２３のＣｆＰ応答が受領されて評価され、それらはＨＥＶＣを約４０％上回る圧縮効率向上を示した。そのような評価結果に基づいて、ＪＶＥＴは、多用途ビデオコーディング（Versatile Video Coding：ＶＶＣ）と名付けられた新世代ビデオコーディング規格を開発するための新しいプロジェクトを立ち上げた。同月に、ＶＶＣテストモデル（ＶＴＭ）と呼ばれる１つの参照ソフトウェアコードベースが、ＶＶＣ規格の参照実装を示すために確立された。一方、新しいコーディングツールの評価を容易にするために、ベンチマークセット（ＢＭＳ）と呼ばれる別の参照ソフトウェアベースも生成された。ＢＭＳコードベースでは、より高いコーディング効率および適度な実装複雑性を提供する追加のコーディングツールのリストがＶＴＭ上に含まれ、ＶＶＣ規格化プロセス中に同様のコーディング技術を評価する際のベンチマークとして使用さる。具体的には、ＢＭＳ－２．０に統合された５つのＪＥＭコーディングツールがあり、それらは、４ｘ４非分離二次変換（non-separable secondary transform：ＮＳＳＴ）、一般化された双予測（generalized bi-prediction：ＧＢｉ）、双方向オプティカルフロー（bi-directional optical flow:ＢＩＯ）、デコーダ側動きベクトル精緻化（decoder-side motion vector refinement：ＤＭＶＲ）、およびカレントピクチャ参照（current picture referencing：ＣＰＲ）を含む。
【先行技術文献】
【非特許文献】
【０００５】
joint call for proposals (CfP) on video compression with capability beyond HEVC, Oct. 2017
S. Jeong et al., “CE4 Ultimate motion vector expression (Test 4.5.4)”, JVET-L0054, Oct. 2018
S. Esenlik et al., “Simplified DMVR for inclusion in VVC”, JVET-L0670, Oct. 2018
M.-S. Chiang et al., “CE10.1.1: Multi-hypothesis prediction for improving AMVP mode, skip or merge mode, and intra mode”, JVET-L0100, Oct. 2018
M. Winken et al., “CE10-related: Multi-Hypothesis Inter Prediction with simplified AMVP process”, JVET-L0679, Oct. 2018
【発明の概要】
【０００６】
本明細書に記載される実施形態は、ビデオ符号化および復号（総称して「コーディング」）において使用される方法を含む。いくつかの実施形態では、ビデオコーディング方法が提供され、この方法は、双方向オプティカルフローを使用してコーディングされたビデオにおける少なくとも１つのカレントブロックについて、第１の参照ピクチャからの第１の予測信号アレイＩ
(0)
（ｉ，ｊ）に基づいて第１の水平勾配アレイ
【０００７】
TIFF
2024166257000002.tif
14
21
【０００８】
を計算するステップと、第２の参照ピクチャからの第２の予測信号アレイＩ
(1)
（ｉ，ｊ）に基づいて第２の水平勾配アレイ
【０００９】
TIFF
2024166257000003.tif
14
21
【００１０】
を計算するステップと、（ｉ）第１の水平勾配アレイおよび（ｉｉ）第２の水平勾配アレイの合計に対して右ビットシフトを実行するステップを含む方法によって、縮小ビット幅水平中間パラメータアレイ（reduced-bit-width horizontal intermediate parameter array）Ψ
x
（ｉ，ｊ）を計算するステップと、縮小ビット幅水平中間パラメータアレイに少なくとも部分的に基づいて少なくとも水平動き精緻化ｖ
x
を計算するステップと、少なくとも水平動き精緻化ｖ
x
を使用して双方向オプティカルフローを用いてカレントブロックの予測を生成するステップとを含む。
（【００１１】以降は省略されています）

関連特許