特許ウォッチ

公開番号2024167304
公報種別公開特許公報(A)
公開日2024-12-03
出願番号2024145864,2023132042
出願日2024-08-27,2020-01-20
発明の名称ビデオサンプルのツリー若しくはブロックを符号化および復号する方法、装置、およびシステム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 19/119 20140101AFI20241126BHJP(電気通信技術)
要約【課題】ビデオビットストリームから画像フレームのカラーチャネルの変換ブロックを復号するシステムおよび方法を提供する。
【解決手段】方法は、画像フレームのクロマフォーマットを決定することを含む。クロマフォーマットは、画像フレームのルマチャネルに対してサブサンプリングされる画像フレームのクロマチャネルを有する。方法はまた、変換ブロックの係数グループサイズを決定することを含む。係数グループサイズは16サンプルまでの変換ブロックの最大領域であり、変換ブロックサイズのみに基づいて決定され、変換ブロックのカラープレーンと、決定したクロマフォーマットによるカラープレーンサブサンプリングとの両方に独立している。方法はさらに、ビデオビットストリームから、決定したサイズの係数グループを使用して変換ブロックを復号することを含む。
【選択図】なし
特許請求の範囲【請求項１】
ビットストリームから画像フレームの変換ブロックを復号する方法であって、
４：２：０クロマフォーマットと４：２：２クロマフォーマットを含む複数のクロマフォーマットから前記画像フレームのクロマフォーマットを決定することと、
符号化ツリーユニットを、各々がルマ符号化ブロックとクロマ符号化ブロックとを有する一又は複数の符号化ユニットに分割することと、
ルマ符号化ブロックに対するルマ変換ブロック、又は、クロマ符号化ブロックに対するクロマ変換ブロックである変換ブロックのサブブロックを決定することと、
前記サブブロックを用いて前記変換ブロックを前記ビットストリームから復号することと、を有し、
４：２：０クロマフォーマットの前記符号化ツリーユニットにおけるルマ符号化ブロックとクロマ符号化ブロックとを有する或る符号化ユニットの前記クロマ符号化ブロックのブロックサイズが８ｘ２である場合、前記或る符号化ユニットの前記ルマ符号化ブロックに対する垂直ターナリ分割が行われた場合であっても、前記或る符号化ユニットの前記クロマ符号化ブロックに対する垂直ターナリ分割は許可されず、
前記或る符号化ユニットの前記ルマ符号化ブロックが垂直ターナリ分割により分割され且つ前記或る符号化ユニットの前記クロマ符号化ブロックが垂直ターナリ分割により分割されなかった場合、前記或る符号化ユニットの前記クロマ符号化ブロックは、前記或る符号化ユニットの前記ルマ符号化ブロックに対する垂直ターナリ分割により得られた３つのルマ符号化ブロックと対応する位置に配置され、
前記変換ブロックは、（ｉ）前記変換ブロックのサイズと、（ｉｉ）前記変換ブロックがルマ変換ブロック又はクロマ変換ブロックのいずれであるかと、に基づき復号され、
前記変換ブロックのサイズが１６×１６である場合において、前記変換ブロックの前記サブブロックのサイズを決定するときに、前記変換ブロックの前記サブブロックのサイズは、前記変換ブロックがルマ変換ブロック又はクロマ変換ブロックのいずれであるかと、前記画像フレームの前記クロマフォーマットと、の両方と関わらず、前記変換ブロックのサイズから決定される
ことを特徴とする方法。
続きを表示（約 2,900 文字）【請求項２】
ビットストリームから画像フレームの変換ブロックを復号するビデオデコーダであって、
４：２：０クロマフォーマットと４：２：２クロマフォーマットを含む複数のクロマフォーマットから前記画像フレームのクロマフォーマットを決定する手段と、
符号化ツリーユニットを、各々がルマ符号化ブロックとクロマ符号化ブロックとを有する一又は複数の符号化ユニットに分割する手段と、
ルマ符号化ブロックに対するルマ変換ブロック、又は、クロマ符号化ブロックに対するクロマ変換ブロックである変換ブロックのサブブロックを決定する手段と、
前記サブブロックを用いて前記変換ブロックを前記ビットストリームから復号する手段と、を有し、
４：２：０クロマフォーマットの前記符号化ツリーユニットにおけるルマ符号化ブロックとクロマ符号化ブロックとを有する或る符号化ユニットの前記クロマ符号化ブロックのブロックサイズが８ｘ２である場合、前記或る符号化ユニットの前記ルマ符号化ブロックに対する垂直ターナリ分割が行われた場合であっても、前記或る符号化ユニットの前記クロマ符号化ブロックに対する垂直ターナリ分割は許可されず、
前記或る符号化ユニットの前記ルマ符号化ブロックが垂直ターナリ分割により分割され且つ前記或る符号化ユニットの前記クロマ符号化ブロックが垂直ターナリ分割により分割されなかった場合、前記或る符号化ユニットの前記クロマ符号化ブロックは、前記或る符号化ユニットの前記ルマ符号化ブロックに対する垂直ターナリ分割により得られた３つのルマ符号化ブロックと対応する位置に配置され、
前記変換ブロックは、（ｉ）前記変換ブロックのサイズと、（ｉｉ）前記変換ブロックがルマ変換ブロック又はクロマ変換ブロックのいずれであるかと、に基づき復号され、
前記変換ブロックのサイズが１６×１６である場合において、前記変換ブロックの前記サブブロックのサイズを決定するときに、前記変換ブロックの前記サブブロックのサイズは、前記変換ブロックがルマ変換ブロック又はクロマ変換ブロックのいずれであるかと、前記画像フレームの前記クロマフォーマットと、の両方と関わらず、前記変換ブロックのサイズから決定される
ことを特徴とするビデオデコーダ。
【請求項３】
ビットストリームに画像フレームの変換ブロックを符号化する方法であって、
４：２：０クロマフォーマットと４：２：２クロマフォーマットを含む複数のクロマフォーマットから前記画像フレームのクロマフォーマットを決定することと、
符号化ツリーユニットを、各々がルマ符号化ブロックとクロマ符号化ブロックとを有する一又は複数の符号化ユニットに分割することと、
ルマ符号化ブロックに対するルマ変換ブロック、又は、クロマ符号化ブロックに対するクロマ変換ブロックである変換ブロックのサブブロックを決定することと、
前記サブブロックを用いて前記変換ブロックを前記ビットストリームに符号化することと、を有し、
４：２：０クロマフォーマットの前記符号化ツリーユニットにおけるルマ符号化ブロックとクロマ符号化ブロックとを有する或る符号化ユニットの前記クロマ符号化ブロックのブロックサイズが８ｘ２である場合、前記或る符号化ユニットの前記ルマ符号化ブロックに対する垂直ターナリ分割が行われた場合であっても、前記或る符号化ユニットの前記クロマ符号化ブロックに対する垂直ターナリ分割は許可されず、
前記或る符号化ユニットの前記ルマ符号化ブロックが垂直ターナリ分割により分割され且つ前記或る符号化ユニットの前記クロマ符号化ブロックが垂直ターナリ分割により分割されなかった場合、前記或る符号化ユニットの前記クロマ符号化ブロックは、前記或る符号化ユニットの前記ルマ符号化ブロックに対する垂直ターナリ分割により得られた３つのルマ符号化ブロックと対応する位置に配置され、
前記変換ブロックは、（ｉ）前記変換ブロックのサイズと、（ｉｉ）前記変換ブロックがルマ変換ブロック又はクロマ変換ブロックのいずれであるかと、に基づき符号化され、
前記変換ブロックのサイズが１６×１６である場合において、前記変換ブロックの前記サブブロックのサイズを決定するときに、前記変換ブロックの前記サブブロックのサイズは、前記変換ブロックがルマ変換ブロック又はクロマ変換ブロックのいずれであるかと、前記画像フレームの前記クロマフォーマットと、の両方と関わらず、前記変換ブロックのサイズから決定される
ことを特徴とする方法。
【請求項４】
ビットストリームに画像フレームの変換ブロックを符号化するビデオエンコーダであって、
４：２：０クロマフォーマットと４：２：２クロマフォーマットを含む複数のクロマフォーマットから前記画像フレームのクロマフォーマットを決定する手段と、
符号化ツリーユニットを、各々がルマ符号化ブロックとクロマ符号化ブロックとを有する一又は複数の符号化ユニットに分割する手段と、
ルマ符号化ブロックに対するルマ変換ブロック、又は、クロマ符号化ブロックに対するクロマ変換ブロックである変換ブロックのサブブロックを決定する手段と、
前記サブブロックを用いて前記変換ブロックを前記ビットストリームに符号化する手段と、を有し、
４：２：０クロマフォーマットの前記符号化ツリーユニットにおけるルマ符号化ブロックとクロマ符号化ブロックとを有する或る符号化ユニットの前記クロマ符号化ブロックのブロックサイズが８ｘ２である場合、前記或る符号化ユニットの前記ルマ符号化ブロックに対する垂直ターナリ分割が行われた場合であっても、前記或る符号化ユニットの前記クロマ符号化ブロックに対する垂直ターナリ分割は許可されず、
前記或る符号化ユニットの前記ルマ符号化ブロックが垂直ターナリ分割により分割され且つ前記或る符号化ユニットの前記クロマ符号化ブロックが垂直ターナリ分割により分割されなかった場合、前記或る符号化ユニットの前記クロマ符号化ブロックは、前記或る符号化ユニットの前記ルマ符号化ブロックに対する垂直ターナリ分割により得られた３つのルマ符号化ブロックと対応する位置に配置され、
前記変換ブロックは、（ｉ）前記変換ブロックのサイズと、（ｉｉ）前記変換ブロックがルマ変換ブロック又はクロマ変換ブロックのいずれであるかと、に基づき符号化され、
前記変換ブロックのサイズが１６×１６である場合において、前記変換ブロックの前記サブブロックのサイズを決定するときに、前記変換ブロックの前記サブブロックのサイズは、前記変換ブロックがルマ変換ブロック又はクロマ変換ブロックのいずれであるかと、前記画像フレームの前記クロマフォーマットと、の両方と関わらず、前記変換ブロックのサイズから決定される
ことを特徴とするビデオエンコーダ。

発明の詳細な説明【技術分野】
【０００１】
関連出願への参照
本出願は２０１９年３月１１日に出願されたオーストラリア特許出願第2019201653号の出願日の３５Ｕ．Ｓ．Ｃ§１１９に基づく利益を主張し、その全体が本明細書に完全に記載されているかのように参照により本明細書に組み込まれる。
続きを表示（約 4,200 文字）【０００２】
本発明は一般に、デジタルビデオ信号処理に関し、特に、ビデオサンプルのツリー若しくはブロックを符号化及び復号するための方法、装置及びシステムに関する。本発明はまた、ビデオサンプルのツリー若しくはブロックを符号化および復号するためのコンピュータプログラムが記録されたコンピュータ可読媒体を含むコンピュータプログラム製品に関する。
【背景技術】
【０００３】
ビデオデータの送信及び記憶のためのアプリケーションを含む、ビデオ符号化のための多くのアプリケーションが現在存在する。多くのビデオ符号化規格も開発されており、他の規格も現在開発中である。ビデオ符号化標準化における最近の開発は、「Joint Video Experts Team」（JVET）と呼ばれるグループの形成をもたらした。Joint Video Experts Team（JVET）は、「Video Coding Experts Group」(VCEG)としても知られる国際電気通信連合（ＩＴＵ）の電気通信標準化セクタ（ＩＴＵ－Ｔ）のStudy Group 16、Question6(SG16／Q6)のメンバー、および「Moving Picture Experts group」（MPEG）としても知られる国際標準化機構／国際電気技術委員会合同技術委員会１／小委員会２９／作業グループ１１(ISO／IEC JTC１／ＳＣ２９／ＷＧ１１）のメンバーを含む。
【０００４】
Joint Video Experts Team（JVET）は、米国サンディエゴで開催された１０回目の会議でレスポンスを分析し、Call for Proposals（CfP）を発行した。提出されたレスポンスは、現在の最新技術のビデオ圧縮規格、すなわち「高効率ビデオ符号化」（ＨＥＶＣ）のものを著しく上回るビデオ圧縮能力を実証した。このアウトパフォーマンスに基づいて、「versatile video coding」（ＶＶＣ）と命名される新しいビデオ圧縮規格を開発するプロジェクトを開始することが決定された。ＶＶＣは特に、ビデオフォーマットが（例えば、より高い解像度およびより高いフレームレートで）能力を増加させ、帯域幅コストが比較的高いＷＡＮ上のサービス配信に対する市場需要の増加に対処することにつれて、絶えずより高い圧縮性能に対する継続的な需要に対処することが予想される。同時に、ＶＶＣは、現代のシリコンプロセスで実施可能でなければならず、達成された性能対実施コスト（例えば、シリコン面積、ＣＰＵプロセッサ負荷、メモリ使用量、および帯域幅に関して）の間の許容可能なトレードオフを提供しなければならない。
【０００５】
ビデオデータは、画像データのフレームのシーケンスを含み、各フレームは、１つまたは複数のカラーチャネルを含む。一般に、１つの一次色チャネル（primary colour channel）と２つの二次色チャネル（secondary colour channel）が必要である。一次色チャネルは一般に「ルマ（luma）」チャネルと呼ばれ、二次色チャネルは一般に「クロマ（chroma）」チャネルと呼ばれる。ビデオデータは典型的にはＲＧＢ(赤－緑－青）色空間で表示されるが、この色空間は３つのそれぞれの要素間に高度の相関を有する。エンコーダまたはデコーダによって見られるビデオデータ表現はしばしば、ＹＣｂＣｒなどの色空間を使用する。ＹＣｂＣｒは、伝達関数に従って「ルマ」にマッピングされた輝度をＹ（一次）チャネルに集中させ、ＣｂおよびＣｒ（二次）チャネルにクロマを集中させる。さらに、ＣｂおよびＣｒチャネルは、「４：２：０クロマフォーマット」として知られる、ルマチャネルと比較してより低いレート、例えば、水平方向に半分および垂直方向に半分で空間的にサンプリング（サブサンプリング）されてもよい。４：２：０クロマフォーマットは、インターネットビデオストリーミング、ブロードキャストテレビジョン、Blu-Ray
TM
ディスクへの保存など、「コンシューマ」アプリケーションで一般的に使用される。水平方向に半分のレートでＣｂおよびＣｒチャネルをサブサンプリングし、垂直方向にサブサンプリングしないことは、「４：２：２クロマフォーマット」として知られている。４：２：２クロマフォーマットは、典型的には映画制作などのための映像のキャプチャを含むプロフェッショナルアプリケーションにおいて使用される。４：２：２クロマフォーマットのより高いサンプリングレートは、結果として得られるビデオを、カラーグレーディングのような編集動作に対してより弾力的にする。コンシューマに配布する前に、４：２：２クロマフォーマットマテリアルはしばしば、４：２：０クロマフォーマットに変換され、次いで、コンシューマに配布するために符号化される。クロマフォーマットに加えて、ビデオは、解像度およびフレームレートによっても特徴付けられる。例の解像度は３８４０ｘ２１６０の解像度の超高精細度（ＵＨＤ）、または７６８０ｘ４３２０の解像度の「８Ｋ」で、例のフレームレートは６０または１２０Ｈｚである。ルマサンプルレートは、約５００メガサンプル／秒から数ギガサンプル／秒の範囲であってもよい。４：２：０クロマフォーマットの場合、各クロマチャネルのサンプルレートは、ルマサンプルレートの４分の１であり、４：２：２クロマフォーマットの場合、各クロマチャネルのサンプルレートは、ルマサンプルレートの半分である。
【０００６】
ＶＶＣ規格は、「ブロックベース」コーデックであり、フレームは最初に、「符号化ツリーユニット」（ＣＴＵ）として知られる領域の正方形アレイに分割される。ＣＴＵは一般に、１２８×１２８ルマサンプルなどの比較的大きな面積を占有する。しかしながら、各フレームの右端および下端のＣＴＵは、面積がより小さくてもよい。各ＣＴＵには、ルマチャネルのための「符号化ツリー」と、クロマチャネルのための追加の符号化ツリーとが関連付けられている。符号化ツリーは、ＣＴＵの領域を「符号化ブロック」（ＣＢ）とも呼ばれる一連のブロックに分解することを定義する。単一の符号化ツリーがルマチャネルおよびクロマチャネルの両方のためのブロックを指定することも可能であり、その場合、並置された符号化ブロックの集合は「符号化ユニット」（ＣＵ）と呼ばれ、すなわち、各ＣＵは、各色チャネルについて符号化ブロックを有する。ＣＢは、特定の順序で符号化または復号するために処理される。４：２：０クロマフォーマットの使用の結果として、１２８×１２８ルマサンプル領域のためのルマ符号化ツリーを有するＣＴＵは、１２８×１２８ルマサンプル領域と一緒に配置された６４×６４クロマサンプル領域のための対応するクロマ符号化ツリーを有する。単一の符号化ツリーがルマチャネルおよびクロマチャネルのために使用されているとき、所与のエリアのためのコロケートされたブロックの集合は一般に、「ユニット」、例えば、上述のＣＵ、ならびに「予測ユニット」（ＰＵ）、および「変換ユニット」（ＴＵ）と呼ばれる。所与のエリアに対して別個の符号化ツリーが使用される場合、上述のＣＢ、ならびに「予測ブロック」（ＰＢ）、および「変換ブロック」（ＴＢ）が使用される。
【０００７】
「ユニット」と「ブロック」との間の上記の区別にもかかわらず、用語「ブロック」は、すべてのカラーチャネルに動作が適用されるフレームのエリアまたは領域に対する一般的な用語として使用されてもよい。
【０００８】
各ＣＵに対して、フレームデータの対応する領域のコンテンツ（サンプル値）の予測ユニット（ＰＵ）が生成される（「予測ユニット」）。さらに、予測とエンコーダへの入力で見られる領域のコンテンツとの間の差（または空間領域における「残差」）の表現が形成される。各色チャネルの差は、残差係数のシーケンスとして変換および符号化され、所与のＣＵのための１つまたは複数のＴＵを形成することができる。適用される変換は、残差値の各ブロックに適用される離散コサイン変換（ＤＣＴ）または他の変換とすることができる。この変換は分離可能に適用され、すなわち、２次元変換は、２つのパスで実行される。ブロックは最初に、ブロック内のサンプルの各行に１次元変換を適用することによって変換される。次に、部分結果は、部分結果の各列に１次元変換を適用することによって変換され、残差サンプルを実質的に非相関化する変換係数の最終ブロックを生成する。さまざまなサイズの変換は、長方形形状のブロックの変換を含めて、ＶＶＣ規格によってサポートされ、各側面寸法は２のべき乗である。変換係数は、ビットストリームへのエントロピー符号化のために量子化される。
【０００９】
空間予測（「イントラ予測」）がＰＢを生成するために使用される場合、参照サンプルのセットが、現在のＰＢのための予測サンプルを生成するために使用される。参照サンプルは、既に「再構成」されているＰＢに隣接するサンプルを含む（イントラ予測サンプルへの残差サンプルの追加）。これらの隣接するサンプルは、ＰＢの上に行を形成し、ＰＢの左に列を形成する。行および列はまた、ＰＢ境界を越えて延在し、追加の近傍サンプルを含む。Ｚ順走査におけるブロックの走査により、参照サンプルの幾つかは直前のブロックにおいて再構成されている。直前のブロックからのサンプルの使用は、ビデオエンコーダまたはデコーダを通るブロックのスループットを制限するフィードバック依存性をもたらす。さらに、比較的小さいブロックが他のフレームから予測される場合（「インター予測」）、特にサブピクセル補間フィルタリングに適応するために必要とされる追加のサンプルを考慮すると、基準サンプルをフェッチするためのメモリ帯域幅が過剰になる可能性がある。
【発明の概要】
【００１０】
本発明の目的は、既存の構成の１つまたは複数の欠点を実質的に克服するか、または少なくとも改善することである。
（【００１１】以降は省略されています）

関連特許