特許ウォッチ

公開番号2025087840
公報種別公開特許公報(A)
公開日2025-06-10
出願番号2025035590,2023107021
出願日2025-03-06,2020-02-04
発明の名称オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法
出願人インターデイジタルヴィーシーホールディングスインコーポレイテッド
代理人弁理士法人谷・阿部特許事務所
主分類H04N 19/54 20140101AFI20250603BHJP(電気通信技術)
要約【課題】方法、装置、およびシステムが開示される。
【解決手段】一態様にて、デコード方法は、ビデオのカレントブロックに対するサブブロックベース動き予測信号を取得することと、サブブロックベース動き予測信号の1つまたは複数の空間勾配または1つまたは複数の動きベクトル差分値を取得することと、1つまたは複数の取得した空間勾配または1つまたは複数の取得した動きベクトル差分値に基づいてカレントブロックに対するリファインメント信号を取得することと、サブブロックベース動き予測信号およびリファインメント信号に基づいてカレントブロックに対するリファインした動き予測信号を取得することと、リファインした動き予測信号に基づいてカレントブロックをデコードすることとを含む。
【選択図】図18A
特許請求の範囲【請求項１】
ビデオをデコードする方法であって、
ブロックに関連付けられたアフィン動きモデルに基づいて、ピクチャの前記ブロックのサブブロックに対してサブブロックベース動き予測信号を生成することと、
前記ブロックに関連付けられた前記アフィン動きモデルを用いて、前記サブブロックに対してピクセルレベルの動きベクトル差分値のセットを決定することと、
前記サブブロックの各サンプル位置に対して、前記サブブロックベース動き予測信号の空間勾配を決定することであって、拡張されるサブブロックは、前記サブブロックベース動き予測信号と、前記サブブロックを囲む複数のサンプルとを含むように形成され、前記サブブロックを囲む前記複数のサンプルの各々は、整数動き補償に基づいて取得される、ことと、
ピクセルレベルの動きベクトル差分値の前記決定したセットと、前記決定した空間勾配とに基づいて、前記サブブロックに対して動き予測リファインメント信号を決定することと、
前記動き予測信号と前記動き予測リファインメント信号とを組み合わせて、前記サブブロックに対してリファインメントした動き予測信号を生成することと、
前記リファインメントした動き予測信号を用いて前記ビデオをデコードすることと
を備えることを特徴とする方法。
続きを表示（約 1,200 文字）【請求項２】
前記整数動き補償は、前記サブブロックの動きベクトルの整数部分に基づくことを特徴とする請求項１に記載の方法。
【請求項３】
前記整数動き補償は、前記サブブロックの動きベクトルの最も近い整数動きベクトルに基づくことを特徴とする請求項１に記載の方法。
【請求項４】
前記サブブロックは、前記拡張されるサブブロックを形成する各方向において１つのサンプルにより拡張されることを特徴とする請求項１に記載の方法。
【請求項５】
請求項１に記載の方法に従ってビデオデータをデコードするために格納された命令を有することを特徴とするコンピュータ読取り可能記録媒体。
【請求項６】
ビデオをエンコードする方法であって、
ブロックに関連付けられたアフィン動きモデルに基づいて、ピクチャの前記ブロックのサブブロックに対してサブブロックベース動き予測信号を生成することと、
前記ブロックに関連付けられた前記アフィン動きモデルを用いて、前記サブブロックに対してピクセルレベルの動きベクトル差分値のセットを決定することと、
前記サブブロックの各サンプル位置に対して、前記サブブロックベース動き予測信号の空間勾配を決定することであって、拡張されるサブブロックは、前記サブブロックベース動き予測信号と、前記サブブロックを囲む複数のサンプルとを含むように形成され、前記サブブロックを囲む前記複数のサンプルの各々は、整数動き補償に基づいて取得される、ことと、
ピクセルレベルの動きベクトル差分値の前記決定したセットと、前記決定した空間勾配とに基づいて、前記サブブロックに対して動き予測リファインメント信号を決定することと、
前記動き予測信号と前記動き予測リファインメント信号とを組み合わせて、前記サブブロックに対してリファインメントした動き予測信号を生成することと、
前記リファインメントした動き予測信号を用いて前記ビデオをエンコードすることと
を備えることを特徴とする方法。
【請求項７】
前記整数動き補償は、前記サブブロックの動きベクトルの整数部分に基づくことを特徴とする請求項６に記載の方法。
【請求項８】
前記整数動き補償は、前記サブブロックの動きベクトルの最も近い整数動きベクトルに基づくことを特徴とする請求項６に記載の方法。
【請求項９】
前記サブブロックは、前記拡張されるサブブロックを形成する各方向において１つのサンプルにより拡張されることを特徴とする請求項６に記載の方法。
【請求項１０】
請求項６に記載の方法に従ってビデオデータをエンコードするために格納された命令を有することを特徴とするコンピュータ読取り可能記録媒体。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本出願は、ビデオ符号化、特に、オプティカルフローを用いたインター予測リファインメントを使用するシステム、装置、および方法に関する。
続きを表示（約 3,800 文字）【背景技術】
【０００２】
相互参照
本出願は、それぞれの内容が参照により本明細書に組み込まれている、２０１９年２月７日に出願された米国特許仮出願第６２／８０２，４２８号明細書、２０１９年３月６日に出願された米国特許仮出願第６２／８１４，６１１号明細書、２０１９年４月１５日に出願された米国特許仮出願第６２／８８３，９９９号明細書の利益を主張するものである。
【０００３】
従来技術
ビデオ符号化システムは、デジタルビデオ信号を圧縮して、そのような信号の記憶量および／または送信帯域幅を減らすために広く使用されている。ブロックベース、ウェーブレットベース、およびオブジェクトベースのシステムなど、ビデオ符号化システムの様々なタイプの中でも、現在ではブロックベースのハイブリッドビデオ符号化システムが最も広く使用され展開されている。ブロックベースのビデオ符号化システムの例は、ＭＰＥＧ１／２／４パート２、Ｈ．２６４／ＭＰＥＧ－４パート１０ＡＶＣ、ＶＣ－１、ならびにＩＴＵ－Ｔ／ＳＧ１６／Ｑ．６／ＶＣＥＧおよびＩＳＯ／ＩＥＣ／ＭＰＥＧのＪＣＴ－ＶＣ（ビデオ符号化共同作業チーム：Joint Collaborative Team on Video Coding）によって開発された高効率ビデオ符号化（ＨＥＶＣ）と呼ばれる最新のビデオ符号化規格などの、国際ビデオ符号化規格を含む。
【発明の概要】
【０００４】
１つの代表的実施形態では、デコードする方法が、ビデオのカレントブロックについてのサブブロックベース動き予測信号を取得するステップと、サブブロックベース動き予測信号の１つもしくは複数の空間勾配、または１つもしくは複数の動きベクトル差分値を取得するステップと、１つもしくは複数の得られた空間勾配、または１つもしくは複数の得られた動きベクトル差分値に基づいて、カレントブロックについてのリファインメント信号を取得するステップと、サブブロックベース動き予測信号およびリファインメント信号に基づいて、カレントブロックについてのリファインした動き予測信号を取得するステップと、リファインした動き予測信号に基づいて、カレントブロックをデコードするステップとを含む。様々な他の実施形態も本明細書に開示される。
【０００５】
例として本明細書に添付された図面と共に与えられる以下の詳細な説明から、より詳細な理解を得ることができる。説明における図は例である。したがって、図および詳細な説明は限定的するものとは見なされず、他の同様に効果的な例が可能であり、見込まれる。さらに、図における同様の参照番号は同様の要素を示す。
【図面の簡単な説明】
【０００６】
典型的なブロックベースのビデオエンコードシステムを例示するブロック図である。
典型的なブロックベースのビデオデコーダーを例示するブロック図である。
一般化された双方向予測（generalized bi-prediction：ＧＢｉ）サポートを有する典型的なブロックベースのビデオエンコーダーを例示するブロック図である。
エンコーダーのための典型的なＧＢｉモジュールを例示する図である。
ＧＢｉサポートを有する典型的なブロックベースのビデオデコーダーを例示する図である。
デコーダーのための典型的なＧＢｉモジュールを例示する図である。
典型的な双方向オプティカルフローを例示する図である。
典型的な４パラメーターアフィンモードを例示する図である。
典型的な４パラメーターアフィンモードを例示する図である。
典型的な６パラメーターアフィンモードを例示する図である。
典型的なインターウイーブ予測（interweaved prediction）手順を例示する図である。
サブブロックにおける典型的な重み値（たとえば、ピクセルに関連付けられている）を例示する図である。
インターウイーブ予測が適用される領域、およびインターウイーブ予測が適用されない他の領域を例示する図である。
ＳｂＴＭＶＰ処理を例示する図である。
ＳｂＴＭＶＰ処理を例示する図である。
動きパラメーター導出のために使用され得る隣接した動きブロック（たとえば、４×４動きブロック）を例示する図である。
動きパラメーター導出のために使用され得る隣接した動きブロックを例示する図である。
サブブロックベースのアフィン動き補償予測の後のサブブロックＭＶおよびピクセルレベルＭＶ差分Δｖ（ｉ，ｊ）を例示する図である。
サブブロックの実際の中心に対応するＭＶを決定するための典型的な手順を例示する図である。
４：２：０色差フォーマットにおける色差サンプルの位置を例示する図である。
拡張された予測サブブロックを例示する図である。
第１の典型的なエンコード／デコード方法を例示するフローチャートである。
第２の典型的なエンコード／デコード方法を例示するフローチャートである。
第３の典型的なエンコード／デコード方法を例示するフローチャートである。
第４の典型的なエンコード／デコード方法を例示するフローチャートである。
第５の典型的なエンコード／デコード方法を例示するフローチャートである。
第６の典型的なエンコード／デコード方法を例示するフローチャートである。
第７の典型的なエンコード／デコード方法を例示するフローチャートである。
第８の典型的なエンコード／デコード方法を例示するフローチャートである。
典型的な勾配計算方法を例示するフローチャートである。
第９の典型的なエンコード／デコード方法を例示するフローチャートである。
第１０の典型的なエンコード／デコード方法を例示するフローチャートである。
第１１の典型的なエンコード／デコード方法を例示するフローチャートである。
典型的なエンコード方法を例示するフローチャートである。
別の典型的なエンコード方法を例示するフローチャートである。
第１２の典型的なエンコード／デコード方法を例示するフローチャートである。
第１３の典型的なエンコード／デコード方法を例示するフローチャートである。
第１４の典型的なエンコード／デコード方法を例示するフローチャートである。
１つまたは複数の開示される態様が実装され得る例示的な通信システムを例示するシステム図である。
態様に係る図３４Ａに例示された通信システム内で使用され得る例示的なワイヤレス送信／受信ユニット（ＷＴＲＵ）を例示するシステム図である。
態様に係る図３４Ａに示された通信システム内で使用され得る例示的な無線アクセスネットワーク（ＲＡＮ）および例示的なコアネットワーク（ＣＮ）を例示するシステム図である。
実施形態による図３４Ａに示された通信システム内で使用され得るさらなる例示的なＲＡＮおよびさらなる例示的なＣＮを例示するシステム図である。
【発明を実施するための形態】
【０００７】
ブロックベースのハイブリッドビデオ符号化手順
ＨＥＶＣと同様に、ＶＶＣは、ブロックベースのハイブリッドビデオ符号化フレームワーク上に構築される。
【０００８】
図１は、一般的なブロックベースのハイブリッドビデオエンコードシステムを示すブロック図である。
【０００９】
図１を参照すると、エンコーダー１００は、ブロック毎（符号化ユニット（ＣＵ）と呼ばれる）に処理される入力ビデオ信号１０２を提供され得、高解像度（１０８０ｐ以上）ビデオ信号を効率的に圧縮するために使用され得る。ＨＥＶＣでは、ＣＵは最大６４×６４ピクセルであり得る。ＣＵは、別々の予測手順が適用され得る予測ユニットすなわちＰＵにさらに分割されることが可能である。各入力ビデオブロック（ＭＢおよび／またはＣＵ）について、空間予測１６０および／または時間予測１６２が実行され得る。空間予測（または「イントラ予測」）は、同じビデオピクチャ／スライス内の既に符号化された隣接ブロックからのピクセルを使用して、カレントビデオブロックを予測することができる。
【００１０】
空間予測は、ビデオ信号に固有の空間冗長性を減らすことができる。時間予測（「インター予測」または「動き補償予測」とも呼ばれる）は、既に符号化されたビデオピクチャからのピクセルを使用して、カレントビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間冗長性を減らすことができる。与えられたビデオブロックについての時間予測信号は（たとえば、通常は）、カレントブロック（ＣＵ）とその参照ブロックとの間の動きの量および／または方向を示し得る１つまたは複数の動きベクトル（ＭＶ）によってシグナリングされ得る。
（【００１１】以降は省略されています）

関連特許