特許ウォッチ

公開番号2025111774
公報種別公開特許公報(A)
公開日2025-07-30
出願番号2025076374,2024117962
出願日2025-05-01,2019-09-18
発明の名称ビデオ符号化及び復号化
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 19/105 20140101AFI20250723BHJP(電気通信技術)
要約【課題】アフィンモードの符号化効率を改善する符号化方法、復号方法及び装置を提供する。
【解決手段】復号方法は、符号化されたビデオストリーム内のアフィンモードを伝達すること、特に現在のブロックに隣接するブロックA1、B1、B0、A0、B2に対応するマージ候補リストを判定することと、現在のブロックのアフィンモードを伝達することであって、データストリームからのコンテキスト符号化フラグを符号化することと、フラグのコンテキスト変数は隣接するブロックがアフィンモードを使用するか否かに基づいて判定されることと、を含む。
【選択図】図18
特許請求の範囲【請求項１】
動き予測を使用して符号化されたビットストリームから画像を復号する方法であって、
イントラモードを使用するか、又は、インターモードを使用するかを判定することと、
前記インターモードを使用すると判定された場合において、サブブロックコロケーテッド時間的予測の候補と、サブブロックアフィン予測の候補とを含むことが可能な動き予測子候補のリストを生成することを含み、
前記サブブロックコロケーテッド時間的予測は、画像における対象ブロックに対し、参照画像において当該対象ブロックと同一位置のブロックに含まれる複数のサブブロックの各々の動き情報を用いることが可能であり、
前記リスト内の前記サブブロックアフィン予測の候補の順序は、サブブロックコロケーテッド時間的予測の候補が前記リストに含まれるかに基づいて可変である、
ことを特徴とする方法。
続きを表示（約 1,900 文字）【請求項２】
動き予測を使用してビットストリームに画像を符号化する方法であって、
イントラモードを使用するか、又は、インターモードを使用するかを判定することと、
前記インターモードを使用すると判定された場合において、サブブロックコロケーテッド時間的予測の候補と、サブブロックアフィン予測の候補とを含むことが可能な動き予測子候補のリストを生成することを含み、
前記サブブロックコロケーテッド時間的予測は、画像における対象ブロックに対し、参照画像において当該対象ブロックと同一位置のブロックに含まれる複数のサブブロックの各々の動き情報を用いることが可能であり、
前記リスト内の前記サブブロックアフィン予測の候補の順序は、サブブロックコロケーテッド時間的予測の候補が前記リストに含まれるかに基づいて可変である、
ことを特徴とする方法。
【請求項３】
前記リストの最大候補数は、前記サブブロックアフィン予測が有効かに依存することを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記サブブロックアフィン予測は、２又は３つの動き情報に従って、ブロック内の複数のサブブロックの各々に対し動き情報を導出することを特徴とする請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
ビットストリームから画像を復号する方法であって、
イントラモードとインターモードを含む複数の予測モードから、前記画像の現在ブロックを復号するために使用する予測モードを決定することと、
前記インターモードが前記現在ブロックに対する前記予測モードとして決定された場合において、サブブロックアフィン予測の候補を含む複数の動き予測子候補のリストを生成すること、を含み、
前記サブブロックアフィン予測の候補は、前記リストにおいて時間的動きベクトル候補よりも下のマージ候補として配置され、
前記サブブロックアフィン予測は、２又は３つの動きベクトルを用いて、前記現在ブロックのサブブロックごとに少なくとも１つの動きベクトルを導出することを特徴とする方法。
【請求項６】
前記現在ブロックに対しサブブロックアフィン予測を用いるサブブロックマージモードを選択することを更に含み、
前記サブブロックアフィン予測を用いる前記サブブロックマージモードを選択することは、ＣＡＢＡＣ復号を用いて前記ビットストリームからフラグを復号することを含み、
前記フラグに対するコンテキスト変数は、前記現在ブロックに隣接する第１ブロックがサブブロックアフィン予測を使用するかどうかと、前記現在ブロックに隣接する第２ブロックがサブブロックアフィン予測を使用するかどうかに基づいて決定されることを特徴とする請求項５に記載の方法。
【請求項７】
前記第１ブロックは前記現在ブロックの左に位置し、前記第２ブロックは前記現在ブロックの上に位置することを特徴とする請求項６に記載の方法。
【請求項８】
前記現在ブロックが１６×１６のサイズを有する状態において、前記現在ブロックにおけるサブブロックの数は１６であり、前記サブブロックアフィン予測において、前記２つまたは３つの動きベクトルを用いて、前記現在ブロックのサブブロックごとに１つの動きベクトルが導出されることを特徴とする請求項５に記載の方法。
【請求項９】
前記時間的動きベクトル候補は、前記現在ブロックを含む画像と異なる画像のブロックにおける動きベクトルを使用することを特徴とする請求項５に記載の方法。
【請求項１０】
ビットストリームに画像を符号化する方法であって、
イントラモードとインターモードを含む複数の予測モードから、前記画像の現在ブロックを符号化するために使用する予測モードを決定することと、
前記インターモードが前記現在ブロックに対する前記予測モードとして決定された場合において、サブブロックアフィン予測の候補を含む複数の動き予測子候補のリストを生成すること、を含み、
前記サブブロックアフィン予測の候補は、前記リストにおいて時間的動きベクトル候補よりも下のマージ候補として配置され、
前記サブブロックアフィン予測は、２又は３つの動きベクトルを用いて、前記現在ブロックのサブブロックごとに少なくとも１つの動きベクトルを導出することを特徴とする方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ビデオ符号化及び復号化に関する。
続きを表示（約 4,400 文字）【背景技術】
【０００２】
最近、共同ビデオ専門家チーム（ＪＶＥＴ）は、すなわちＭＰＥＧとＩＴＵ－Ｔスタディグループ１６のＶＣＥＧによって形成された共同チーム、多用途ビデオ符号化（ＶＶＣ）と呼ばれる新しいビデオ符号化規格の研究を開始した。ＶＶＣの目標は、既存のＨＥＶＣ規格（すなわち、典型的には以前の２倍）を超える圧縮性能の著しい改良を提供すること、及び２０２０年に完了することである。主な対象アプリケーション及びサービスは３６０度及びハイダイナミックレンジ（ＨＤＲ）ビデオを含むが、これに限定されない。全体的に、ＪＶＥＴは、独立した試験所により実施された正式な主観的試験を用いて、３２団体からの応答を評価した。いくつかの提案は、ＨＥＶＣを使用する場合と比較して、典型的には４０％以上の圧縮効率ゲインを実証した。特定の有効性が、超高精細（ＵＨＤ）ビデオの試験材料に関して示された。したがって、我々は、最終的な規格の目標とする５０％をはるかに超える圧縮効率ゲインを予想することができる。
【０００３】
ＪＶＥＴ探索モデル（ＪＥＭ）は、全てのＨＥＶＣツールを使用する。ＨＥＶＣには存在しない更なるツールは、動き補償を適用する時に、「アフィン動きモード」を使用することである。ＨＥＶＣにおける動き補償は、平行移動に限定されるが、現実的には例えばズームイン／アウト、回転、遠近感の運動、及び他の不規則な動作のような多くの種類の動きがある。アフィン動きモードを利用する場合、そのような動きの形態をより正確に予測しようとするために、より複雑な変換がブロックに適用される。しかしながら、アフィン動きモードの使用は符号化／復号化処理の複雑さを増大させることがあり、また、信号オーバヘッドを増大させることがある。したがって、前述の問題の少なくとも１つの解決が望ましい。
【発明の概要】
【０００４】
本発明の第１の態様では、ビットストリームの一部の動き予測モードを伝達する方法であって、前記ビットストリームの前記一部に使用されるインター予測モードを判定することと、前記ビットストリームの前記一部に使用される前記インター予測モードに依存して、アフィン動きモードを伝達することを含む方法が提供される。任意で、使用されるインター予測モードは、前記ビットストリームの前記一部におけるスキップフラグの状態に基づいて判定される。任意で、アフィンモードは、前記スキップフラグが存在する場合、有効化されない。任意で、本方法は、前記アフィンモードが有効化される場合、マージモードを有効化することをさらに含む。任意で、アフィンモードは、前記インター予測モードがアドバンスド・モーション・ベクタ・プレディクタ(ＡＭＶＰ)である場合、有効化される。任意で、前記判定はハイレベルシンタックスフラグに基づいて実行され、前記ハイレベルシンタックスフラグはスライスレベル、フレームレベル、シーケンスレベル、及びコーディング・ツリー・ユニット（ＣＴＵ）レベルのうちの少なくとも１つの処理を示す。任意で、インター予測モードを判定することは、現在のブロックに隣接する１つ以上のブロックのモードを判定することを含む。
【０００５】
本発明の第２の態様では、ビットストリーム内の動き予測モードを伝達する方法であって、１つ以上の隣接するブロックのモードを現在のブロックに判定することと、前記モードに依存して、現在のブロックのアフィン動きモードを伝達することを含む方法が提供される。任意で、前記隣接するブロックは、ブロックＡ１及びＢ１のみで構成される。あるいは、前記隣接するブロックが、ブロックＡ２及びＢ３を含み、好ましくはブロックＡ２及びＢ３のみで構成される。任意で、本方法は前記隣接するブロックの一方又は両方がアフィン動きモードを使用する場合、アフィン動きモードを有効化することを含む。任意で、前記隣接するブロックは、Ｂ０、Ａ０、及びＢ２をさらに含む。任意で、前記隣接するブロックにおけるアフィンモードの使用は連続して判定され、前記隣接するブロックのうちの１つがアフィンモードを使用する場合、アフィンモードは現在のブロックに対して有効化される。好ましくは、一連の隣接するブロックはＡ２、Ｂ３、Ｂ０、Ａ０、Ｂ２である。
【０００６】
本発明の第３の態様では、ビットストリームの一部の動き予測モードを伝達する方法であって、現在のブロックに隣接するブロックに対応するマージ候補のリストを判定することと、前記マージ候補の１つ以上がアフィンモードを使用する場合、前記現在のブロックのアフィンモードを有効化することを含む方法が提供される。任意で、前記リストは、前記ブロックに関連するコンテキスト変数を判定するために使用されるブロックで始める。任意で、リストはそれの順序においてブロックＡ２及びＢ３で始める。任意で、リストは、それの順序においてＡ２、Ｂ３、Ｂ０、又はＡ０、又はＢ２である。任意で、アフィンモードは前記隣接するブロックがマージモードを使用しない場合、現在のブロックに対して有効化される。任意で、アフィンモードは前記隣接するブロックがマージスキップモードを使用しない場合、現在のブロックに対して有効化される。任意で、アフィンモードを伝達することは、コンテキスト符号化フラグをデータストリームに挿入することを含み、前記フラグのコンテキスト変数は隣接するブロックがアフィンモードを使用するか否かに基づいて判定される。
【０００７】
本発明のさらなる態様では、ビットストリーム内の符号化されたブロックの動き予測モードを伝達する方法であって、前記ビットストリーム内の符号化された前記ブロックに隣接するブロックが、アフィンモードを使用するか否かを判定することと、コンテキスト符号化フラグを前記ビットストリームに挿入することであって、前記コンテキスト符号化フラグのコンテキスト変数が、前記ビットストリーム内の符号化された前記ブロックに隣接するブロックが、アフィンモードを使用するか否かの前記判定に依存する、ことを含む、ことを特徴とする方法が提供される。任意で、隣接するブロックはブロックＡ１及びＢ１を含む。任意で、動き予測モードが有効化されているブロックのモードがマージモードである場合、前記隣接するブロックはブロックＡ１及びＢ１を含む。任意で、アフィンフラグのコンテキストは以下の式Ctx = IsAffine(A1)+ IsAffine(B1)に従って取得され、ここで、Ｃｔｘはアフィンフラグのコンテキスト変数であり、ＩｓＡｆｆｉｎｅはブロックがアフィンブロックでない場合に０及びブロックがアフィンである場合に１を返す関数である。
【０００８】
本発明の第４の態様では、隣接するブロックがマージモード及び／又はマージスキップモードを使用するか否かに依存して、ビットストリーム内で符号化されたブロックの動き予測モードを伝達する方法が提供される。本発明の第５の態様では、ビットストリーム内の動き予測モードを伝達する方法であって、動き予測子候補のリストをコンパイルすることと、アフィンマージモードをマージ候補として挿入することを含む、ことを特徴とする方法が提供される。任意で、アフィンマージモード候補は、マージ候補のリスト内の隣接するブロック動きベクトルの後にある。任意で、アフィンマージモード候補は、マージ候補のリスト内のオルタナティブ・テンポラル・モーション・ベクタ・プレディクタ（ＡＴＭＶＰ）候補の前にある。任意で、前記候補のリスト内のアフィンマージモード候補の位置（マージインデックス）は固定される。任意で、前記候補リスト内のアフィンマージモード候補の位置は可変である。任意選択で、アフィンマージモード候補の位置は、ａ）スキップフラグの状態、ｂ）隣接するブロックの動き情報、ｃ）オルタナティブ・テンポラル・モーション・ベクタ・プレディクタ(ＡＴＭＶＰ)候補、及びｄ）隣接するブロックがアフィンモードを使用するか否かのうち１つ以上に基づいて判定される。
【０００９】
任意で、以下の条件の１つ以上が満たされる場合、すなわち、ａ）スキップフラグが存在し、ｂ）隣接するブロックの動き情報が等しく、ｃ）ＡＴＭＶＰ候補が１つの動き情報のみを含み、ｄ）１つ以上の隣接するブロックがアフィンモードを使用する、アフィンマージモードは（より高いマージインデックスが割り当てられた）前記候補のリスト内でより低く配置される。任意で、前記隣接するブロックは、ブロックＡ１及びＢ１を含む。任意で、アフィンマージモードは、上記の条件ａ）～ｄ）のうちの１つ以上が満たされる場合、空間的動きベクトル候補よりも、前記候補のリスト（より高いマージインデックスが割り当てられた）内でより低く配置される。任意で、アフィンマージモードは、上記の条件ａ）～ｄ）のうちの１つ以上が満たされる場合、時間的動きベクトル候補よりも低く配置される（より高いマージインデックスが割り当てられる）。任意で、アフィンマージモードは、アフィンモードを使用する隣接するブロックの数に関連するマージインデックスが割り当てられる。任意で、アフィンマージモードは、５から５つのＡ１、Ｂ１、Ｂ０、Ａ０、Ｂ２の中からアフィンモードを使用する隣接するブロックの量を引いたものに等しいマージインデックスが割り当てられる。
【００１０】
本発明の別の態様によれば、ビデオストリーム内のアフィン動きモードを伝達する方法であって、アフィンモードの尤度が現在のブロックに使用されている否かを判定することと、動き候補予測子リストをコンパイルすることと、アフィンマージモードを前記現在のブロックのアフィンモードの尤度を判定することに依存して、マージ候補として挿入することを含む方法が提供される。任意で、前記尤度は、ａ）スキップフラグの状態、ｂ）隣接するブロックの動き情報、及びｃ）ＡＴＭＶＰ候補のうちの少なくとも１つに基づいて判定される。任意で、以下の条件のうちの１つ以上が満たされる場合、すなわち、ａ）スキップフラグの状態、ｂ）隣接するブロックの動き情報が等しい、及びｃ）ＡＴＭＶＰ候補は１つの動き情報のみを含む、アフィンマージモードはマージ候補として挿入されない。任意で、前記隣接するブロックは、ブロックＡ１及びＢ１を含む。任意で、アフィンモードは、符号化されているビットストリームに対応するビデオを記録するために使用される装置の特徴に依存して伝達される。
（【００１１】以降は省略されています）

関連特許