特許ウォッチ

公開番号2025000940
公報種別公開特許公報(A)
公開日2025-01-07
出願番号2024173476,2023105336
出願日2024-10-02,2020-04-15
発明の名称デオサンプルのブロックを符号化及び復号するための方法、装置、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 19/11 20140101AFI20241224BHJP(電気通信技術)
要約【課題】ビデオサンプルのブロックを復号する方法及びコンピュータプログラムを提供する。
【解決手段】方法は、符号化ツリーユニットにおける対象ブロックに対する行列イントラ予測フラグを復号する工程と、行列イントラ予測フラグが対象ブロックに対し行列イントラ予測が用いられることを示す場合、対象ブロックに対する行列イントラ予測モードを復号する工程と、行列イントラ予測モードに従って、対象ブロックに対する行列イントラ予測のための行列を選択する工程と、選択された行列に基づいて対象ブロックの予測サンプルを生成する工程と、を含み、符号化ツリーユニットにおける或るエリアが、各々が16×8のサイズを有する4つのブロックに分割され、対象ブロックが4つのブロックのうちの1つである場合において、対象ブロックに対する行列イントラ予測フラグの復号は、対象ブロックに隣接する2つのブロックの行列イントラ予測の使用の状況に依存する。
【選択図】図3
特許請求の範囲【請求項１】
画像フレームのための符号化ツリーユニットにおける対象ブロックに対する予測サンプルを生成する方法であって、
前記対象ブロックに対する行列イントラ予測フラグを復号する工程であって、前記行列イントラ予測フラグは行列イントラ予測が前記対象ブロックに対し用いられるかどうかを示す、工程と、
前記行列イントラ予測フラグが前記対象ブロックに対し行列イントラ予測が用いられることを示す場合、前記対象ブロックに対する行列イントラ予測モードを復号する工程と、
前記行列イントラ予測モードに従って、前記対象ブロックに対する行列イントラ予測のための行列を選択する工程と、
前記対象ブロックに隣接するサンプルに基づく入力サンプルと、前記行列イントラ予測モードに応じて選択された前記行列との乗算を適用することにより、前記予測サンプルを生成する工程と、を含み、
短縮された二値符号が前記行列イントラ予測モードに対し用いられることが可能であり、
前記画像フレームは４：２：０のクロマフォーマットを有することが可能であり、
前記符号化ツリーユニットにおける或るエリアが、各々が１６×８のサイズを有する４つのブロックに分割され、前記対象ブロックが前記４つのブロックのうちの１つである場合において、前記対象ブロックに対する前記行列イントラ予測フラグの復号は、前記対象ブロックに隣接する２つのブロックの行列イントラ予測の使用の状況に依存することを特徴とする方法。
続きを表示（約 1,400 文字）【請求項２】
前記対象ブロックに対する前記行列イントラ予測モードの復号は、前記対象ブロックの幅および前記対象ブロックの高さに依存することを特徴とする請求項１に記載の方法。
【請求項３】
複数のブロックサイズが利用可能であり、前記複数のブロックサイズは、第１レベル、第２レベル又は第３レベルに分類され、
前記第１レベルは少なくとも４×４サイズを含み、
前記第１レベルに対する行列イントラ予測に対し利用可能である行列の数は、前記第２レベルに対する行列イントラ予測に対し利用可能である行列の数より大きいことを特徴とする請求項１に記載の方法。
【請求項４】
前記第１レベルに対する行列イントラ予測に対し利用可能である行列の数は、前記第３レベルに対する行列イントラ予測に対し利用可能である行列の数より大きいことを特徴とする請求項３に記載の方法。
【請求項５】
前記第２レベルに含まれるブロックサイズは４×４サイズより大きいことを特徴とする請求項３に記載の方法。
【請求項６】
前記第３レベルに含まれるブロックサイズは４×４サイズより大きいことを特徴とする請求項４に記載の方法。
【請求項７】
前記符号化ツリーユニット内のブロック分割のための分割フラグを復号することにより、前記符号化ツリーユニット内の前記対象ブロックを含む複数のブロックを決定する工程であって、前記ブロック分割として、水平方向の三分割が用いられることが可能である、工程を更に有することを特徴とする請求項１に記載の方法。
【請求項８】
前記行列イントラ予測フラグの復号は、前記対象ブロックの幅および前記対象ブロックの高さに依存することを特徴とする請求項１に記載の方法。
【請求項９】
前記対象ブロックのサイズが８×１６のサイズおよび１６×８のサイズのうちの１つである場合において、前記行列イントラ予測モードは、前記８×１６のサイズおよび前記１６×８のサイズに対し利用可能な全ての行列イントラ予測モードのうちの１つであり、どの行列イントラ予測モードが使用されるかに関わらず、前記行列イントラ予測モードに対し短縮された二値符号が用いられることを特徴とする請求項１に記載の方法。
【請求項１０】
前記対象ブロックのサイズが８×１６のサイズおよび１６×８のサイズのうちの１つである場合において、（ａ）前記行列イントラ予測モードは、前記８×１６のサイズおよび前記１６×８のサイズに対し利用可能な複数の行列イントラ予測モードのうちの１つであり、（ｂ）前記８×１６のサイズおよび前記１６×８のサイズに対し利用可能な複数の行列イントラ予測モードの数はｎであり（ｎは０より大きい整数値）、（ｃ）前記行列イントラ予測モードは、０以上且つｎ－１以下の整数値により表され、（ｄ）０以上且つ所定の整数値以下の整数値により表される前記行列イントラ予測モードに対してｍビット（ｍは０より大きい整数値）の符号が用いられ、（ｅ）前記所定の整数値より大きく且つｎ－１以下の整数値により表される前記行列イントラ予測モードに対してｍ＋１ビットの符号が用いられることを特徴とする請求項１に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
関連出願への参照
本発明は、米国特許法第１１９条に基き、２０１９年６月２４日に出願されたオーストラリア特許出願第２０１９２０４４３７号の利益を主張し、これにより、当該発明が本明細書に完全に記載されているものとする。
技術分野
続きを表示（約 4,100 文字）【０００２】
本発明は、一般に、デジタルビデオ信号処理に関し、特に、ビデオサンプルのブロックを符号化及び復号するための方法、装置に関する。本発明はまた、ビデオサンプルのブロックを符号化及び復号するためのコンピュータプログラムに関する。
【背景技術】
【０００３】
現在、ビデオデータの送信及び記憶のためのアプリケーションを含む、ビデオコーディングのための多くのアプリケーションが存在する。多くのビデオコーディング標準が開発され、現在開発中のものも存在する。最近のビデオコーディングの標準化の進展により、「合同ビデオ専門家チーム」（ＪＶＥＴ）と呼ばれるグループが結成された。合同ビデオ専門家チーム（ＪＶＥＴ）には、「ビデオコーディング専門家グループ」（ＶＣＥＧ）として知られている国際電気通信連合（ＩＴＵ）の電気通信標準化部門（ＩＴＵ－Ｔ）第１６研究委員会第６諮問（ＳＧ１６／Ｑ６）のメンバーと、「動画専門家グループ」（ＭＰＥＧ）として知られている国際標準化機構/国際電気標準会議の第１合同技術委員会/第２９副委員会/第１１作業部会（ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１）のメンバーが含まれる。
【０００４】
合同ビデオ専門家チーム（ＪＶＥＴ）は、提案募集（ＣｆＰ）を行い、米国サンディエゴにおける第１０回会議で応募された提案を分析した。応募された提案は、ビデオ圧縮機能が現在の最先端のビデオ圧縮標準、つまり「高効率ビデオコーディング」（ＨＥＶＣ）を大幅に上回っていることを示した。この分析結果に基づいて、「Versatile Video Coding」（ＶＶＣ）という名前の新しいビデオ圧縮標準を開発するプロジェクトを開始することが決定された。ＶＶＣは、特にビデオ形式の機能が向上するにつれて（例えば、より高い解像度及びより高いフレームレート）、これまで以上に高い圧縮性能に対する継続的な需要に対応すると共に、帯域幅コストが比較的高いＷＡＮを介したサービス配信に対する市場の需要の高まりに対応することが期待されている。同時に、ＶＶＣは、従来のシリコンプロセスで実施可能であって、かつ、達成された性能と実施コスト（例えば、シリコン領域、ＣＰＵプロセッサの負荷、メモリ使用率、帯域幅など）との兼ね合いが許容できるものでなければならない。
【０００５】
ビデオデータは、連続するフレームの画像データを含み、各フレームの画像データは、１以上のカラーチャネルを含む。一般に、１つの原色チャネルと２つの二次色チャネルが必要である。原色チャネルは一般に「ルマ」チャネルと呼ばれ、二次色チャネルは一般に「クロマ」チャネルと呼ばれる。ビデオデータは通常、ＲＧＢ（赤－緑－青）色空間で表示されるが、この色空間は３つの各成分間で高い相関関係を有する。エンコーダまたはデコーダは、多くの場合、ＹＣｂＣｒなどの色空間を用いてビデオデータを表現する。ＹＣｂＣｒは、伝達関数に従って「ルマ」にマッピングされた輝度を、Ｙ（一次）チャネルに集中させ、クロマをＣｂ及びＣｒ（二次）チャネルに集中させる。さらに、Ｃｂ、Ｃｒチャネルは、ルマチャネルと比較して、例えば、「４：２：０クロマフォーマット」として知られる、水平方向に半分、垂直方向に半分の、空間的に低いレートでサンプリング（サブサンプリング）され得る。４：２：０クロマフォーマットは、インターネットビデオストリーミング、テレビ放送、Ｂｌｕ－Ｒａｙ（登録商標）ディスクへの保存などの「消費者向け」アプリケーションにおいて一般的に使用されている。Ｃｂ、Ｃｒチャネルを水平方向に半分のレートでサブサンプリングし、垂直方向にサブサンプリングしないフォーマットは、「４：２：２クロマフォーマット」として知られている。４：２：２クロマフォーマットは、通常、映画制作用の映像の撮影などを含む、プロ向けのアプリケーションで使用されている。４：２：２クロマフォーマットのサンプリングレートが高いほど、結果として得られる映像のカラーグレーディングなどの編集作業に対する柔軟性が高くなる。消費者に提供される前に、４：２：２クロマフォーマットの素材は、しばしば４：２：０クロマフォーマットに変換されてから、消費者に提供するために符号化される。クロマフォーマットに加えて、ビデオは解像度とフレームレートによっても特徴付けられている。解像度の例として、解像度が３８４０×２１６０の超高精細（ＵＨＤ）、または、解像度が７６８０×４３２０の「８Ｋ」があり、フレームレートの例として、６０Ｈｚまたは１２０Ｈｚがある。ルマサンプルレートは、例えば、毎秒約５００メガサンプルから毎秒数ギガサンプルの間にある。４：２：０クロマフォーマットの場合、各クロマチャネルのサンプルレートは、ルマサンプルレートの４分の１であり、４：２：２クロマフォーマットの場合、各クロマチャネルのサンプルレートはルマサンプルレートの半分である。
【０００６】
ＶＶＣ規格は、「ブロックに基づく」符号化／復号であり、フレームは、まず、「符号木の単位(Coding Tree Unit)」（ＣＴＵ）として知られる正方形の領域に分割される。ＣＴＵは通常、１２８×１２８のルマサンプルなどの比較的広い領域を占める。しかし、各フレームの右下端のＣＴＵは、面積が小さい場合がある。各ＣＴＵには、ルマチャネルの「符号木」と、クロマチャネルの追加符号木が関連付けられている。符号木は、ＣＴＵの領域を、「符号化ブロック（Coding Block）」（ＣＢ）とも呼ばれるブロックの組に分解することを定義している。一つの符号木で、ルマチャネルとクロマチャネルの両方のブロックを特定することもでき、その場合、同じ場所にある符号化ブロックは、まとめて「符号化ユニット(Coding Unit)」（ＣＵ）と呼ばれる。つまり、各ＣＵは、各カラーチャネルの符号化ブロックを有する。ＣＢは、特定の順序で符号化処理または復号処理される。４：２：０クロマフォーマットを使用した場合、１２８×１２８のルマサンプル領域用のルマ符号木を有するＣＴＵは、１２８×１２８のルマサンプル領域と同じ場所にある、６４×６４のクロマサンプル領域用の対応するクロマ符号木を有することになる。一つの符号木がルマチャネルとクロマチャネルに使用されている場合、ある領域と同じ位置にあるブロックの集合は、例えば、上記ＣＵや、「予測単位（Prediction Unit）」（ＰＵ）、及び「変換単位（Transform Unit）」（ＴＵ）というように、一般に「単位」と呼ばれる。ある領域について別々の符号木を使用する場合、上記ＣＢや、「予測ブロック（Prediction Block）」（ＰＢ）、及び「変換ブロック（Transform Block）」（ＴＢ）が用いられる。
【０００７】
なお、「単位」と「ブロック」との間に上記の区別があるが、「ブロック」という用語は、すべてのカラーチャネルに処理が適用されるフレームの領域を表す一般的な用語としても使用される。
【０００８】
各ＣＵについて、フレームデータの対応する領域のコンテンツ（サンプル値）の予測単位（ＰＵ）が生成される（「予測単位」）。さらに、エンコーダへの入力時に見られる領域の予測とコンテンツとの間の差異（または空間ドメインにおける「残差」）を示すものが形成される。各カラーチャネルの差は、一連の残差係数として変換及び符号化され、あるＣＵについて１つ以上のＴＵを形成する。適用される変換は、離散コサイン変換（ＤＣＴ）または他の変換であり、各ブロックの残差値に適用される。この変換は個別に適用される。つまり、二次元変換は２つのパスで実行される。ブロックは、まず、ブロック内の各行のサンプルに一次元変換を適用することによって変換される。次に、部分的な結果の各列に一次元変換を適用して当該部分的な結果を変換し、残差サンプルを実質的に無相関化する変換係数の最終的なブロックを生成する。さまざまなサイズの変換がＶＶＣ標準でサポートされており、これには、各辺の寸法が２のべき乗となる長方形のブロックの変換が含まれる。変換係数は、ビットストリームへのエントロピー符号化のために量子化される。
【０００９】
ＶＶＣは、フレーム内予測及びフレーム間予測を特徴とする。フレーム内予測は、フレーム内の現ブロックのサンプルの予測値を生成するために使用されているフレーム内における、以前に処理されたサンプルの使用を含む。フレーム間予測は、以前に復号されたフレームから取得したブロックのサンプルを使用して、フレーム内の現ブロックのサンプルの予測値を生成することを含む。以前に復号されたフレームは、動きベクトルに従って現ブロックの空間位置からオフセットされ、多くの場合、フィルタ処理が適用されている。フレーム内予測ブロックは、均一なサンプル値（「ＤＣイントラ予測」）であっても、オフセット及び水平及び垂直勾配を持つ平面（「平面イントラ予測」）であっても、または特定方向に隣接するサンプルが適用されたブロックの母集団（「角度イントラ予測」）、または、隣接するサンプルと選択された行列係数を使用した行列乗算の結果であってもよい。隣接するサンプルには以前に処理されたブロックからのサンプルが含まれるため、フレーム内予測のフィードバックループは大きく制限されており、サポートされる最高の解像度とフレームレートを満たすために必要なレベルよりも計算の複雑さを低く抑える必要がある。
【発明の概要】
【００１０】
本発明の目的は、既存の構成の１つまたは複数の欠点を実質的に克服するか、または少なくとも改善することである。
（【００１１】以降は省略されています）

関連特許