特許ウォッチ

公開番号2025128147
公報種別公開特許公報(A)
公開日2025-09-02
出願番号2025084158,2023070921
出願日2025-05-20,2018-12-27
発明の名称画像予測の方法および装置、ならびにコーデック
出願人華為技術有限公司,HUAWEI TECHNOLOGIES CO.,LTD.
代理人個人,個人
主分類H04N 19/577 20140101AFI20250826BHJP(電気通信技術)
要約【課題】画像予測複雑度を低減する方法、装置及びコーデックを提供する。
【解決手段】画像予測方法は、現在の画像ブロックの初期動き情報を取得することと、初期動き情報及び現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置及びN個の後方参照ブロックの位置を決定することと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置及び現在の画像ブロックのターゲット後方参照ブロックの位置であると決定することと、を含む。各対の参照ブロックの位置は、前方参照ブロックの位置及び後方参照ブロックの位置を含み、第1、第2の位置オフセットは、鏡像関係にある。方法はまた、ターゲット前方参照ブロックのピクセル値及びターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得することを含む。
【選択図】図3
特許請求の範囲【請求項１】
画像予測方法であって、
現在の画像ブロックの初期動き情報を取得するステップと、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定するステップであって、前記N個の前方参照ブロックは、前方参照画像内に配置され、前記N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数である、ステップと、
マッチングコスト基準に基づき、M対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定するステップであって、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの前記位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、前記第1の位置オフセットは、初期前方参照ブロックの位置に対する前記前方参照ブロックの前記位置のオフセットを表し、前記第2の位置オフセットは、初期後方参照ブロックの位置に対する前記後方参照ブロックの前記位置のオフセットを表し、Mは1以上の整数であり、MはN以下である、ステップと、
前記ターゲット前方参照ブロックのピクセル値および前記ターゲット後方参照ブロックのピクセル値に基づき前記現在の画像ブロックのピクセル値の予測値を取得するステップとを含む画像予測方法。
続きを表示（約 3,400 文字）【請求項２】
第1の位置オフセットおよび第2の位置オフセットが鏡像関係にあることは、
前記第1の位置オフセットの方向が前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値が前記第2の位置オフセットの振幅値と同じであることを含む請求項1に記載の方法。
【請求項３】
前記現在の画像ブロックの更新動き情報を取得するステップであって、前記更新動き情報は更新前方動きベクトルと更新後方動きベクトルとを含み、前記更新前方動きベクトルは前記ターゲット前方参照ブロックの前記位置を指し、前記更新後方動きベクトルは前記ターゲット後方参照ブロックの前記位置を指す、ステップをさらに含む請求項1または2に記載の方法。
【請求項４】
前記N個の前方参照ブロックの前記位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、前記初期前方参照ブロックの前記位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、または
前記N個の後方参照ブロックの前記位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、前記初期後方参照ブロックの前記位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記初期動き情報は、前方予測方向の第1の動きベクトルおよび第1の参照画像インデックスと、後方予測方向の第2の動きベクトルおよび第2の参照画像インデックスとを含み、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定する前記ステップは、
前記第1の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記初期前方参照ブロックの前記位置を第1の探索開始点として使用して、前記第1の参照画像インデックスに対応する前記前方参照画像内の前記現在の画像ブロックの前記初期前方参照ブロックの前記位置を決定し、前記前方参照画像内の前記(N-1)個の候補前方参照ブロックの前記位置を決定するステップであって、前記N個の前方参照ブロックの前記位置は、前記初期前方参照ブロックの前記位置と前記(N-1)個の候補前方参照ブロックの前記位置とを含む、ステップと、
前記第2の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記初期後方参照ブロックの前記位置を第2の探索開始点として使用して、前記第2の参照画像インデックスに対応する前記後方参照画像内の前記現在の画像ブロックの前記初期後方参照ブロックの前記位置を決定し、前記後方参照画像内の前記(N-1)個の候補後方参照ブロックの前記位置を決定するステップであって、前記N個の後方参照ブロックの前記位置は、前記初期後方参照ブロックの前記位置と前記(N-1)個の候補後方参照ブロックの前記位置とを含む、ステップとを含む請求項1から4のいずれか一項に記載の方法。
【請求項６】
マッチングコスト基準に基づき、M対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定する前記ステップは、
前記M対の参照ブロックの前記位置から、マッチング誤差が最小である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定するステップ、または
前記M対の参照ブロックの前記位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定するステップであって、MはN以下である、ステップを含む請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記方法は、前記現在の画像ブロックを符号化するために使用され、現在の画像ブロックの初期動き情報を取得する前記ステップは、前記現在の画像ブロックの候補動き情報リストから前記初期動き情報を取得するステップを含むか、または
前記方法は、前記現在の画像ブロックを復号するために使用され、現在の画像ブロックの初期動き情報を取得する前記ステップの前に、前記方法は、前記現在の画像ブロックのビットストリームから指示情報を取得するステップであって、前記指示情報は、前記現在の画像ブロックの前記初期動き情報を指示するために使用される、ステップをさらに含む請求項1から6のいずれか一項に記載の方法。
【請求項８】
画像予測方法であって、
現在の画像ブロックの初期動き情報を取得するステップと、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定するステップであって、前記N個の前方参照ブロックは、前方参照画像内に配置され、前記N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数である、ステップと、
マッチングコスト基準に基づき、M対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定するステップであって、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの前記位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、前記第1の位置オフセットは、初期前方参照ブロックの位置に対する前記前方参照ブロックの前記位置のオフセットを表し、前記第2の位置オフセットは、初期後方参照ブロックの位置に対する前記後方参照ブロックの前記位置のオフセットを表し、Mは1以上の整数であり、MはN以下である、ステップと、
前記ターゲット前方参照ブロックのピクセル値および前記ターゲット後方参照ブロックのピクセル値に基づき前記現在の画像ブロックのピクセル値の予測値を取得するステップとを含む画像予測方法。
【請求項９】
第1の位置オフセットと第2の位置オフセットが時間領域距離に基づく比例関係にあることは、
第1の時間領域距離が第2の時間領域距離と同じであるならば、前記第1の位置オフセットの方向が前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値が前記第2の位置オフセットの振幅値と同じであること、または
第1の時間領域距離が第2の時間領域距離と異なるならば、前記第1の位置オフセットの方向は前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値と前記第2の位置オフセットの振幅値の間の比例関係は前記第1の時間領域距離と前記第2の時間領域距離の間の比例関係に基づくことを含み、
前記第1の時間領域距離は前記現在の画像ブロックが属する現在の画像と前記前方参照画像の間の時間領域距離を表し、前記第2の時間領域距離は前記現在の画像と前記後方参照画像の間の時間領域距離を表す請求項8に記載の方法。
【請求項１０】
前記方法は、
前記現在の画像ブロックの更新動き情報を取得するステップであって、前記更新動き情報は更新前方動きベクトルと更新後方動きベクトルとを含み、前記更新前方動きベクトルは前記ターゲット前方参照ブロックの前記位置を指し、前記更新後方動きベクトルは前記ターゲット後方参照ブロックの前記位置を指す、ステップをさらに含む請求項8または9に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本出願は、ビデオ符号化技術の分野に関し、具体的には、画像予測の方法および装置、ならびにコーデックに関する。
続きを表示（約 3,300 文字）【背景技術】
【０００２】
MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4 Part 10 Advanced Video Coding(advanced video coding、AVC)、ITU-TH.265 High Efficiency Video Coding(high efficiency video coding、HEVC)などのビデオ圧縮技術、およびこれらの標準の拡張部に記載されているビデオ圧縮技術を使用することによって、デジタルビデオ情報は、デバイス間で効率よく送信および受信され得る。一般的に、ビデオシーケンスの画像は、符号化または復号のために画像ブロックに分割される。
【０００３】
ビデオ圧縮技術において、画像ブロックに基づく空間予測(フレーム内予測、intra prediction)および/または時間予測(フレーム間予測、inter prediction)は、ビデオシーケンス内の冗長情報を低減または除去するために導入される。フレーム間予測モードは、マージモード(Merge Mode)、非マージモード(たとえば、高度動きベクトル予測モード(advanced motion vector prediction mode)(AMVP mode))、および同様のものを含みうるが、これらに限定されず、すべてのフレーム間予測は、マルチ動き情報競合法(multi-motion information contention method)を使用することによって行われる。
【０００４】
フレーム間予測プロセスにおいて、動き情報の複数のグループ(複数の候補動き情報とも称される)を含む候補動き情報リスト(略して、候補リスト)が導入される。たとえば、エンコーダは、現在の符号化されるべき画像ブロックの動き情報(たとえば、動きベクトル)としてまたはそれを予測するために候補リストから選択された動き情報のグループを使用して、現在の符号化されるべき画像ブロックの参照画像ブロック(すなわち、参照サンプル)を取得し得る。それに対応して、デコーダはビットストリームを復号して指示情報を取得し、動き情報のグループを取得し得る。動き情報の符号化のオーバーヘッド(すなわち、占有ビットストリームのビットのオーバーヘッド)は、フレーム間予測プロセスにおいて制限されているので、これは、動き情報の精度にある程度影響を及ぼし、画像予測精度にさらに影響を及ぼす。
【０００５】
画像予測精度を改善するために、既存のデコーダ側動きベクトル精密化(Decoder-side motion vector refinement、DMVR)技術が動き情報を精密化するために使用され得る。しかしながら、画像予測を行うためにDMVRソリューションが使用されるとき、テンプレートマッチングブロックが計算される必要があり、テンプレートマッチングブロックは、前方参照画像および後方参照画像において探索マッチングプロセスを別々に行うために使用される必要があり、その結果、探索複雑度が比較的高くなる。したがって、画像予測精度を改善しつつ画像予測中の複雑度をどのように減らすかが、解決される必要のある問題である。
【発明の概要】
【０００６】
本出願の実施形態は、画像予測精度を改善し、画像予測複雑度をある程度まで低減し、符号化性能をさらに改善すべく、画像予測の方法および装置、ならびに対応するエンコーダおよびデコーダを提供する。
【課題を解決するための手段】
【０００７】
第1の態様によれば、本出願の一実施形態は、画像予測方法を提供する。方法は、現在の画像ブロックの初期動き情報を取得することと、初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定することであって、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは1より大きい整数である、決定することと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定することであって、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、第1の位置オフセットは、初期前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、初期後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下である、決定することと、ターゲット前方参照ブロックのピクセル値(sample)およびターゲット後方参照ブロックのピクセル値(sample)に基づき現在の画像ブロックのピクセル値の予測値を取得することとを含む。
【０００８】
本出願のこの実施形態において、N個の前方参照ブロックの位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、N個の後方参照ブロックの位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含む、ことに特に留意されたい。したがって、初期前方参照ブロックの位置に対する初期前方参照ブロックの位置のオフセットは0であり、初期後方参照ブロックの位置に対する初期後方参照ブロックの位置のオフセットは0である。オフセット0およびオフセット0もまた鏡像関係の条件を満たす。
【０００９】
本出願のこの実施形態において、前方参照画像内のN個の前方参照ブロックの位置および後方参照画像内のN個の後方参照ブロックの位置は、N対の参照ブロックの位置を成すことがわかる。N対の参照ブロックの位置における各対の参照ブロックの位置について、初期前方参照ブロックに対する前方参照ブロックの第1の位置オフセットと初期後方参照ブロックに対する後方参照ブロックの第2の位置オフセットの間に鏡像関係が存在する。そのようなことに基づき、一対の参照ブロック(たとえば、マッチングコストが最小である一対の参照ブロック)の位置は、N対の参照ブロックの位置から、現在の画像ブロックのターゲット前方参照ブロック(すなわち、最適な前方参照ブロック/前方予測ブロック)の位置および現在の画像ブロックのターゲット後方参照ブロック(すなわち、最適な後方参照ブロック/後方予測ブロック)の位置として決定され、これにより、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。従来技術と比較すると、本出願のこの実施形態における方法は、テンプレートマッチングブロックを事前計算するプロセスならびにテンプレートマッチングブロックを使用することによって前方探索マッチングおよび後方探索マッチングを実行するプロセスを回避し、画像予測プロセスを単純化する。これは、画像予測精度を改善し、画像予測複雑度を低減する。
【００１０】
さらに、本明細書における現在の画像ブロック(現在のブロックと称される)は、現在処理されている画像ブロックとして理解され得ることが理解されるべきである。たとえば、符号化プロセスでは、現在の画像ブロックは符号化ブロック(encoding block)である。復号プロセスでは、現在の画像ブロックは符号化ブロック(decoding block)である。
（【００１１】以降は省略されています）

関連特許