特許ウォッチ

公開番号2025010159
公報種別公開特許公報(A)
公開日2025-01-20
出願番号2024176424,2022176532
出願日2024-10-08,2019-06-28
発明の名称動きベクトル精密化および動き補償のためのメモリアクセスウィンドウおよびパディング
出願人ホアウェイ・テクノロジーズ・カンパニー・リミテッド
代理人個人,個人
主分類H04N 19/523 20140101AFI20250109BHJP(電気通信技術)
要約【課題】テンプレート整合または双方向整合を使用した動きベクトル決定、および動きベクトルに基づく予測子生成を行う。
【解決手段】テンプレート整合もしくは双方向整合および/または予測子生成は、補間フィルタリングを使用する。補間フィルタリング動作は、ウィンドウ内の整数サンプル位置にアクセスし、ウィンドウ内の少なくとも1つのサンプルに基づく、ウィンドウの外部の整数サンプル位置に対してパディングされたサンプル値をさらに使用し、アクセスされた整数サンプル位置の値およびパディングされたサンプル値を使用してテンプレート整合もしくは双方向整合および/または予測子生成を実行する。
【選択図】図13
特許請求の範囲【請求項１】
ビデオ画像の符号化されたブロックを含むビットストリームを受信して記憶するための装置であって、前記装置は、
前記符号化されたブロックを含む前記ビットストリームを受信し、
前記符号化されたブロックを含む前記ビットストリームを記憶する
ように構成され、
前記ビットストリームに含まれる前記符号化されたブロックは、
ブロックの初期動きベクトルを取得することと、
前記初期動きベクトルに基づいて、前記ブロックの精密化動きベクトルを取得することと、
前記精密化動きベクトルに従って前記ブロックの予測子を決定することと、
前記予測子に基づいて前記ブロックを符号化して、前記符号化されたブロックを取得することと
によって生成され、
前記決定することは、補間フィルタを用いた補間を使用して、前記精密化動きベクトルに従って前記予測子を決定し、ウィンドウの内側に配置された整数サンプル位置の少なくとも1つのサンプル値と、前記補間フィルタによるフィルタリングのための、前記ウィンドウの外部に配置された整数サンプル位置のパディングされたサンプル値とを使用することを含み、前記パディングされたサンプル値は、前記ウィンドウの内側に配置されたサンプルの少なくとも1つのサンプル値に基づく、
装置。
続きを表示（約 2,400 文字）【請求項２】
ビデオ画像の符号化されたブロックを含むビットストリームを記憶して送信するための装置であって、前記装置は、
前記符号化されたブロックを含む前記ビットストリームを記憶し、
前記符号化されたブロックを含む前記ビットストリームを送信する
ように構成され、
前記ビットストリームに含まれる前記符号化されたブロックは、
ブロックの初期動きベクトルを取得することと、
前記初期動きベクトルに基づいて、前記ブロックの精密化動きベクトルを取得することと、
前記精密化動きベクトルに従って前記ブロックの予測子を決定することと、
前記予測子に基づいて前記ブロックを符号化して、前記符号化されたブロックを取得することと
によって生成され、
前記決定することは、補間フィルタを用いた補間を使用して、前記精密化動きベクトルに従って前記予測子を決定し、ウィンドウの内側に配置された整数サンプル位置の少なくとも1つのサンプル値と、前記補間フィルタによるフィルタリングのための、前記ウィンドウの外部に配置された整数サンプル位置のパディングされたサンプル値とを使用することを含み、前記パディングされたサンプル値は、前記ウィンドウの内側に配置されたサンプルの少なくとも1つのサンプル値に基づく、
装置。
【請求項３】
ビデオ画像の符号化されたブロックを含むビットストリームを受信して記憶するための方法であって、
前記符号化されたブロックを含む前記ビットストリームを受信するステップと、
前記符号化されたブロックを含む前記ビットストリームを記憶するステップと
を含み、
前記ビットストリームに含まれる前記符号化されたブロックは、
ブロックの初期動きベクトルを取得すること（1310，1410）と、
前記初期動きベクトルに基づいて、前記ブロックの精密化動きベクトルを取得すること（1320，1330，1340，1720；2115，2120，2130，2140，2150，2160）と、
前記精密化動きベクトルに従って前記ブロックの予測子を決定すること（1780）と、
前記予測子に基づいて前記ブロックを符号化して、前記符号化されたブロックを取得することと
によって生成され、
前記決定すること（1780）は、補間フィルタを用いた補間を使用して、前記精密化動きベクトルに従って前記予測子を決定し、ウィンドウの内部に配置された整数サンプル位置の少なくとも1つのサンプル値と、前記補間フィルタによるフィルタリングのための、前記ウィンドウの外部に配置された整数サンプル位置のパディングされたサンプル値とを使用することを含み、前記パディングされたサンプル値は、前記ウィンドウの内部に配置されたサンプルの少なくとも1つのサンプル値に基づく、
方法。
【請求項４】
ビデオ画像の符号化されたブロックを含むビットストリームを記憶して送信するための方法であって、
前記符号化されたブロックを含む前記ビットストリームを記憶するステップと、
前記符号化されたブロックを含む前記ビットストリームを送信するステップと
を含み、
前記ビットストリームに含まれる前記符号化されたブロックは、
ブロックの初期動きベクトルを取得することと、
前記初期動きベクトルに基づいて、前記ブロックの精密化動きベクトルを取得することと、
前記精密化動きベクトルに従って前記ブロックの予測子を決定すること（1780）と、
前記予測子に基づいて前記ブロックを符号化して、前記符号化されたブロックを取得することと
によって生成され、
前記決定すること（1780）は、補間フィルタを用いた補間を使用して、前記精密化動きベクトルに従って前記予測子を決定し、ウィンドウの内部に配置された整数サンプル位置の少なくとも1つのサンプル値と、前記補間フィルタによるフィルタリングのための、前記ウィンドウの外部に配置された整数サンプル位置のパディングされたサンプル値とを使用することを含み、前記パディングされたサンプル値は、前記ウィンドウの内部に配置されたサンプルの少なくとも1つのサンプル値に基づく、
方法。
【請求項５】
前記符号化されたブロックの前記生成は、
候補動きベクトルの探索空間に基づいて前記初期動きベクトルの精密化を決定することであって、前記精密化動きベクトルが、前記初期動きベクトルおよび前記精密化に基づいて決定される、決定すること
をさらに含む、請求項3または4に記載の方法。
【請求項６】
前記探索空間が、前記初期動きベクトルによって定義される位置に配置される、請求項5に記載の方法。
【請求項７】
前記符号化されたブロックの前記生成は、
前記ブロックと前記予測子との差分を取得すること
をさらに含む、請求項3から6のいずれか一項に記載の方法。
【請求項８】
前記符号化されたブロックの前記生成は、
前記予測子と、前記ブロックと前記予測子との前記差分とに基づいて、前記ブロックを再構築すること
をさらに含む、請求項7に記載の方法。
【請求項９】
前記パディングされたサンプル値が、対応する評価済みの整数サンプル位置の値を、前記補間フィルタの軸線に対してミラーリングすることによって決定される、請求項3から8のいずれか一項に記載の方法。
【請求項１０】
前記補間フィルタが一次元フィルタまたは分離可能な二次元フィルタである、請求項3から9のいずれか一項に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、動きベクトル決定および精密化、ならびに動き補償のための予測子決定に関し、これはビデオのエンコードおよびデコード中に使用され得る。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
現在のハイブリッドビデオコーデックは、予測符号化を用いている。ビデオシーケンスのピクチャは、ピクセルのブロックに細分化され、次にこれらのブロックは符号化される。ブロックをピクセルごとに符号化する代わりに、ブロック全体が、ブロックに空間的または時間的に近接する既にエンコードされたピクセルを使用して予測される。エンコーダは、ブロックとその予測との差分のみをさらに処理する。さらなる処理は、通常、ブロックピクセルの、変換領域内の係数への変換を含む。次に、ビットストリームを形成するために、係数は量子化によってさらに圧縮され、エントロピー符号化によってさらにコンパクト化され得る。ビットストリームは、デコーダがエンコードされたビデオをデコードできるようにする、任意のシグナリング情報をさらに含む。例えば、シグナリングは、入力ピクチャのサイズ、フレームレート、量子化ステップ指示、またはピクチャのブロックに適用される予測などのエンコーダ設定に関する設定を含み得る。
【０００３】
時間的予測は、ビデオのフレームとも呼ばれる、ピクチャ間の時間的な相関を使用する。時間的予測はインター予測とも呼ばれ、これは、異なるビデオフレーム間（インター）の依存関係を使用する予測であることによる。したがって、現在のブロックとも呼ばれるエンコードされるブロックは、参照ピクチャとも呼ばれる、以前にエンコードされた1つ以上のピクチャから予測される。参照ピクチャは、必ずしも現在のピクチャに先行するピクチャではなく、現在のピクチャでは、現在のブロックはビデオシーケンスの表示順に配置される。エンコーダは、表示順とは異なる符号化順でピクチャをエンコードしてもよい。現在のブロックの予測として、参照ピクチャ内の同一位置にあるブロックが決定されてもよい。同一位置にあるブロックとは、現在のピクチャ内の現在のブロックと同一の位置で、参照ピクチャ内に配置されたブロックである。このような予測は、静止したピクチャ領域、すなわち1つのピクチャから別のピクチャへと動くことのないピクチャ領域に対して正確である。
【０００４】
移動を考慮した予測子、すなわち動き補償予測子を取得するために、現在のブロックの予測を決定するときは通常は動き推定が使用される。したがって、現在のブロックは、同一位置にあるブロックの位置から動きベクトルによって与えられた距離で配置された、参照ピクチャ内のブロックによって予測される。デコーダが現在のブロックの同じ予測を決定できるように、動きベクトルがビットストリーム内でシグナリングされてもよい。ブロックのそれぞれに対して動きベクトルをシグナリングすることによって生じるシグナリングオーバヘッドをさらに低減するために、動きベクトル自体が推定されてもよい。動きベクトル推定は、空間的および／または時間的領域において、隣接するブロックの動きベクトルに基づいて実行されてもよい。
【０００５】
現在のブロックの予測は、1つの参照ピクチャを使用して、または2つ以上の参照ピクチャから取得された予測に重み付けすることによって計算されてもよい。隣接するピクチャは現在のピクチャに類似している可能性がきわめて高いので、参照ピクチャは、隣接するピクチャ、すなわち表示順において現在のピクチャの直前のピクチャ、および／または直後のピクチャであってもよい。しかしながら、一般に、参照ピクチャは、表示順において現在のピクチャの前または後の、かつビットストリーム内で現在のピクチャの前（デコード順）の、任意の他のピクチャであってもよい。これは例えば、ビデオコンテンツ内でオクルージョンおよび／または非線形の動きがあった場合に利点となる場合がある。したがって参照ピクチャの識別もまた、ビットストリーム内でシグナリングされてもよい。
【０００６】
インター予測の特別なモードは、現在のブロックの予測を生成する際に2つの参照ピクチャが使用される、いわゆる双予測である。具体的には、それぞれの2つの参照ピクチャで決定された2つの予測は、現在のブロックの予測信号と組み合わされる。双予測は、片予測、すなわち、1つの参照ピクチャのみを使用する予測よりも正確な現在のブロックの予測になり得る。より正確に予測することは、現在のブロックのピクセルと予測との間の差分（「残差」とも呼ばれる）がより小さくなることにつながり、より効率的にエンコードされる、すなわちより短いビットストリームに圧縮され得る。一般に、現在のブロックを予測するために、3つ以上の参照ピクチャが、3つ以上の参照ブロックをそれぞれ見つけるのに使用されてもよく、すなわち、多参照インター予測が適用され得る。したがって、多参照予測という用語は、双予測および3つ以上の参照ピクチャを使用する予測を含む。
【０００７】
より正確な動き推定を提供するために、参照ピクチャの解像度は、ピクセル間にサンプルを補間することによって向上させてもよい。最も近いピクセルの加重平均によって、分数ピクセル補間が実行され得る。1／2ピクセル解像度の場合、例えば、通常は双線形補間が使用される。他の分数ピクセルは、それぞれの最も近いピクセルと、予測されるピクセルとの間の距離の逆数によって重み付けされた、最も近いピクセルの平均として計算される。
【０００８】
動きベクトル推定は計算的に複雑なタスクであり、現在のブロックと、参照ピクチャ内の候補動きベクトルによって指し示される、対応する予測ブロック（予測子）との間の類似性が計算される。通常、探索領域はM×Mサンプルの画像を含み、M×M候補位置の各サンプル位置がテストされる。テストは、N×Nの参照ブロックCと、探索領域のテスト済みの候補位置に配置されたブロックRとの類似性尺度の計算を含む。簡単にするために、差分絶対値の和（SAD）はこの目的のためにしばしば使用される手段であり、次の式で求められる。
JPEG
2025010159000002.jpg
16
170
【０００９】
上の数式では、xおよびyは探索領域内の候補位置を定義し、指数iおよびjは、参照ブロックCおよび候補ブロックR内のサンプルを示す。候補位置はしばしばブロック変位またはオフセットと呼ばれ、探索領域内の参照ブロックのシフト、および参照ブロックCと、探索領域の重複部分との類似性の計算として、ブロック整合の表示を反映する。複雑さを低減するために、候補動きベクトルの数は、通常は、候補動きベクトルを一定の探索空間に制限することによって削減される。探索空間は、例えば、現在の画像における現在のブロックの位置に対応する参照ピクチャ内の位置を囲んでいる、ピクセルの数および／または位置によって定義されてもよい。すべてのM×Mの候補位置xおよびyに対してSADを計算した後で、最もよく整合するブロックRは、最低SADになる位置にあるブロックであり、参照ブロックCとの最大類似度に対応する。一方、候補動きベクトルは、隣接するブロックの動きベクトルによって形成された、候補動きベクトルのリストによって定義されてもよい。
【００１０】
動きベクトルは、通常は少なくとも部分的にエンコーダ側で決定され、符号化されたビットストリーム内でデコーダにシグナリングされる。しかしながら、動きベクトルはデコーダで導出されてもよい。このような事例では、現在のブロックはデコーダでは使用できず、候補動きベクトルが参照ピクチャ内で指し示すブロックに対する類似性の計算に使用することはできない。したがって、現在のブロックではなく、既にデコードされたブロックのピクセルの外部で構築された、テンプレートが使用される（「テンプレート整合」）。例えば、現在のブロックに隣接する、既にデコードされたピクセルが使用されてもよい。このような動き推定によって、動きベクトルはエンコーダおよびデコーダの両方において同じ方法で導出されるのでシグナリングは必要なく、シグナリングが削減されるという利点が得られる。一方、このような動き推定の精度は低くなる場合がある。
（【００１１】以降は省略されています）

関連特許