特許ウォッチ

公開番号2025013949
公報種別公開特許公報(A)
公開日2025-01-28
出願番号2024187129,2023210673
出願日2024-10-24,2019-03-26
発明の名称動画の符号化及び復号方法、装置、並びにコンピュータプログラム
出願人テンセント・アメリカ・エルエルシー
代理人弁理士法人ITOH
主分類H04N 19/70 20140101AFI20250121BHJP(電気通信技術)
要約【課題】動画の復号のための方法および装置を提供する。
【解決手段】復号装置は、処理回路を含む。処理回路は、符号化されたビデオビットストリームから現在ブロックの予測情報を復号する。予測情報は、フレーム内ブロックコピーモードを示す。そして、処理回路はまた、フレーム内ブロックコピーモードに基づいて、解像度構文要素の第1部分を決定する。解像度構文要素は、フレーム内ブロックコピーモードにおけるブロックベクトルおよびフレーム間マージモードにおける動きベクトルについて同じ意味に統合される。処理回路はさらに、符号化されたビデオビットストリームから解像度構文要素の第2部分を復号し、第1部分と第2部分の組み合わせによって示された解像度に基づいて、ブロックベクトルを決定する。そして、処理回路は、ブロックベクトルに基づいて、現在ブロックの少なくとも1つのサンプルを再構築する。
【選択図】図15
特許請求の範囲【請求項１】
デコーダが実行する動画の復号方法であって、
符号化されたビデオビットストリームから現在ブロックの予測情報を復号するステップであって、前記予測情報がフレーム内ブロックコピーモードを示す、ステップと、
前記フレーム内ブロックコピーモードに基づいて、解像度構文要素の第１部分を決定するステップであって、現在ブロックについて、前記フレーム内ブロックコピーモードにおけるブロックベクトルおよびフレーム間予測モードにおける動きベクトルにおいて、前記解像度構文要素が同じ意味を有する、ステップと、
前記符号化されたビデオビットストリームから、前記解像度構文要素の第２部分を復号するステップと、
前記第１部分と前記第２部分の組み合わせによって示されるターゲット解像度に基づいて、前記ブロックベクトルを決定するステップと、
前記ブロックベクトルに基づいて、前記現在ブロックの少なくとも１つのサンプルを再構築するステップと、
を含む方法。

発明の詳細な説明【技術分野】
【０００１】
［関連出願への相互参照］
本開示は、２０１８年４月２６日に提出された米国仮出願第６２／６６３，１７１「フレーム内ブロックコピーの改善のための方法」、および２０１８年１１月２９日に提出された米国出願第１６／２０５，１８０「動画符号化／復号のための方法および装置」に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。
続きを表示（約 3,700 文字）【０００２】
［技術分野］
本開示は、概して動画の符号化／復号に関連する実施形態を説明する。
【背景技術】
【０００３】
本明細書で提供される背景技術の説明は、本開示のコンテキストを全体的に示すことを目的とする。この背景技術部分及び本明細書の各態様において説明された、現在署名されている発明者の作業の程度は、本開示の提出時に先行技術として示されておらず、また、本開示の先行技術として認められていることを明示または暗示していない。
【０００４】
動画の符号化と復号は、動き補償を有するフレーム間画像予測を用いて実行されることができる。圧縮されていないデジタル動画は、一連の画像を含むことができ、各画像が、例えば１９２０×１０８０の輝度サンプルおよび関連付けられた色度サンプルの空間的次元を有する。この一連の画像は、例えば１秒間に６０枚の画像または６０ヘルツ（Ｈｚ）の固定または可変の画像レート（非公式にはフレームレートとして知られている）を有することができる。圧縮されていない動画には、非常に高いビットレート要件がある。例えば、サンプルあたり８ビットの１０８０ｐ６０４：２：０の動画（６０Ｈｚのフレームレートでの１９２０ｘ１０８０の輝度サンプル解像度）は、１．５Ｇｂｉｔ／ｓの帯域幅に近い必要がある。このような動画は、一時間で６００ＧＢ以上の記憶空間を必要とする。
動画の符号化および復号の１つの目的は、入力ビデオ信号における冗長情報を圧縮により低減することである。圧縮は、上記の帯域幅または記憶空間に対する要件を低減することを助けることができ、いくつかの場合では、二桁以上程度を低減することができる。無損失性および損失性の圧縮、ならびに両方の組み合わせは、いずれも使用されることができる。無損失性の圧縮とは、元の信号の正確なコピーを圧縮された元の信号から再構築することができる、という技術を指す。損失性の圧縮が使用される場合、再構築された信号は、元の信号と同一ではない可能性があるが、元の信号と再構築された信号との間の歪みが十分に小さいので、再構築された信号が予想されるアプリケーションに利用されることができる。動画の場合、損失性の圧縮が広く使われている。許容される歪みの量は、アプリケーションに依存し、例えば、あるストリーミングアプリケーションを消費するユーザは、テレビ配信アプリケーションのユーザより、高い歪みを許容することができる。実現可能な圧縮比は、より高い許可／許容可能な歪みがより高い圧縮比を生成することができる、ということを反映している。
【０００５】
ビデオエンコーダおよびデコーダは、例えば動き補償、変換、量子化およびエントロピー符号化を含む、いくつかの広範なカテゴリからの技術を利用することができる。
動画符号化／復号技術は、フレーム内符号化として知られている技術を含むことができる。フレーム内符号化では、サンプル値は、以前に再構築された参照画像からのサンプルまたは他のデータを参照せずに表現される。いくつかのビデオコーデックでは、画像は空間的にサンプルブロックに細分される。すべてのサンプルブロックがフレーム内モードで符号化された場合、その画像はフレーム内画像とすることができる。独立したデコーダリフレッシュ画像などのようなフレーム内画像およびそれらの派生は、デコーダの状態をリセットするために使用されることができ、したがって、符号化されたビデオビットストリームおよびビデオセッション中の１番目の画像または静止画像として使用されることができる。フレーム内ブロックのサンプルは変換に用いられ、また、変換係数はエントロピー符号化の前に量子化されることができる。フレーム内予測は、プリ変換ドメインにおけるサンプル値を最小化する技術であることができる。いくつかの場合では、変換後のＤＣ値が小さくなり、ＡＣ係数が小さくなるほど、エントロピー符号化後のブロックを表すために、与えられた量子化ステップサイズで必要なビットが少なくなる。
【０００６】
例えばＭＰＥＧ―２符号化技術から知られているような従来のフレーム内符号化は、フレーム内予測を使用していない。しかしながら、いくつかのより新しい動画圧縮技術は、例えば、周囲のサンプルデータおよび／またはメタデータからデータブロックを取得しようとする技術を含み、周囲のサンプルデータおよび／またはメタデータは、空間的に隣接するブロックの符号化／復号期間で、かつ、復号順で前に得られたものである。このような技術は、以降「フレーム内予測」技術と呼ばれる。少なくともいくつかの場合では、フレーム内予測は、参照画像からの参照データを使用せずに、再構築中の現在画像からの参照データのみを使用する、ということに留意されたい。
多くの異なる形態のフレーム内予測が存在することができる。与えられた動画符号化技術では、このような技術のうちの２つ以上を使用することができる場合、使用中の技術は、フレーム内予測モードで符号化を行うことができる。いくつかの場合では、モードは、サブモードおよび／またはパラメータを有してもよいし、これらのモードが、単独で符号化されてもよく、またはモードコードワードに含まれてもよい。どのコードワードを与えられたモード／サブモード／パラメータの組み合わせに使用するかは、フレーム内予測によって符号化効率利得に影響を及ぼすので、コードワードをビットストリームに変換するために使用されるエントロピー符号化技術には、このような場合もある。
【０００７】
フレーム内予測の特定のモードは、Ｈ．２６４で導入され、Ｈ．２６５において改善され、また、共同探索モデル（ＪＥＭ：ｊｏｉｎｔｅｘｐｌｏｒａｔｉｏｎｍｏｄｅｌ）、汎用動画符号化（ＶＶＣ：ｖｅｒｓａｔｉｌｅｖｉｄｅｏｃｏｄｉｎｇ）、ベンチマークセット（ＢＭＳ：ｂｅｎｃｈｍａｒｋｓｅｔ）などの、新しい符号化／復号技術においてさらに改善される。予測ブロックは、既に利用可能なサンプルに属する、隣接するサンプル値を使用して形成されることができる。隣接するサンプルのサンプル値は、ある方向に従って予測ブロックにコピーされる。使用中の方向への参照は、ビットストリームに符号化されてもよく、または、それ自身が予測されてもよい。
【０００８】
図１を参照して、右下には、Ｈ．２６５の３５個の予測可能な方向から知られている９つの予測方向のサブセットが描かれている。矢印が収束する点（１０１）は、予測されているサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が水平から４５度の角度になる右上の１つ以上のサンプルから予測されることを示す。同様に、矢印（１０３）は、サンプル（１０１）が水平から２２．５度の角度になるサンプル（１０１）の左下の１つ以上のサンプルから予測されることを示す。
【０００９】
引き続き図１を参照すると、左上には４×４のサンプルの正方形ブロック（１０４）が描かれている（太い破線で示される）。正方形ブロック（１０４）は、１６個のサンプルを含み、各サンプルが、「Ｓ」と、Ｘ次元（例えば、行索引）での位置と、Ｙ次元（例えば、列索引）での位置とでラベル付けられている。例えば、サンプルＳ２１は、Ｙ次元での２番目のサンプル（上から）とＸ次元での１番目のサンプル（左から）である。同様に、サンプルＳ４４は、Ｙ次元およびＸ次元の両方でのブロック（１０４）の４番目のサンプルである。このブロックが４×４サイズのサンプルであるため、Ｓ４４は右下にある。さらに、同様の番号付けスキームに従う参照サンプルも示されている。参照サンプルは、「Ｒ」と、ブロック（１０４）に対するＸ位置（例えば、行索引）およびＹ位置（例えば、列索引）とでラベル付けられている。Ｈ．２６４とＨ．２６５の両方では、予測サンプルは再構築中のブロックに隣接しているので、負の値を使用する必要はない。
【００１０】
フレーム内画像予測は、シグナルで通知された予測方向に応じて、隣接するサンプルから参照サンプル値をコピーすることによって機能することができる。例えば、符号化されたビデオビットストリームには、シグナリングが含まれていると仮定すると、このシグナリングは、このブロックに対して、矢印（１０２）と一致する予測方向を示し、すなわち、サンプルが水平と４５度の角度になる右上の１つ以上の予測サンプルから予測される。この場合、サンプルＳ４１、Ｓ３２、Ｓ２３、Ｓ１４は、同じ参照サンプルＲ０５から予測される。そして、サンプルＳ４４は、参照サンプルＲ０８から予測される。
いくつかの場合では、参照サンプルを計算するために、特に、方向が４５度で均等に割り切れない場合、例えば、補間を通じて複数の参照サンプルの値を組み合わせることができる。
（【００１１】以降は省略されています）

関連特許