特許ウォッチ

公開番号2024097030
公報種別公開特許公報(A)
公開日2024-07-17
出願番号2024069855,2022533565
出願日2024-04-23,2020-12-04
発明の名称モード-グローバル設定によるマトリックスベースのイントラ予測
出願人フラウンホッファー-ゲゼルシャフトツァフェルダールングデァアンゲヴァンテンフォアシュンクエー.ファオ
代理人弁理士法人鷲田国際特許事務所
主分類H04N 19/11 20140101AFI20240709BHJP(電気通信技術)
要約【課題】ピクチャ及びビデオ符号化/復号のためのモード-グローバル設定によるマトリックスベースのイントラ予測装置及び方法を提供する。
【解決手段】デコーダ54は、予め定められたブロック18に近傍した参照サンプル17から導出された入力ベクトル102とモードインデックス200によって指し示されたマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスとの間の、マトリックス-ベクトル積によって取得された出力ベクトル208の成分210によって、予め定められたブロックのサンプルを予測する。マトリックスベースのイントラ予測モード毎に、夫々のマトリックスベースのイントラ予測モードと関連付けられた予測マトリックスの全てのエントリは、予め定められたビット深度192の固定点表現によって表現され、予め定められたビット深度は、マトリックスベースのイントラ予測モードに対して等しい。
【選択図】図7
特許請求の範囲【請求項１】
イントラ予測を使用してピクチャのブロックを復号するための少なくとも１つのプロセッサを備え、
前記少なくとも１つのプロセッサは、
前記ブロックのサイズに基づく複数のマトリックスベースのイントラ予測モードのうちの１つのマトリックスベースのイントラ予測モードを示すモードインデックスであって、前記複数のうちの各マトリックスベースのイントラ予測モードが各マトリックスに関連付けられ、かつ、各マトリックスの全てのエントリが７ビットの各固定点表現によって表現される、モードインデックスをデータストリームから読み込み、
前記ブロックに近傍した参照サンプルのダウンサンプリングに基づく入力ベクトルを導出し、
前記ブロックのサイズおよび前記モードインデックスに基づくマトリックスを判定し、
前記入力ベクトルと、判定された前記マトリックスとの間のマトリックス－ベクトル積に基づく出力ベクトルであって、前記モードインデックスにより示される前記マトリックスベースのイントラ予測モードから独立した６ビットによる右シフトを、前記出力ベクトルの成分ごとに実行することにより計算される出力ベクトルを計算し、
前記出力ベクトルの成分に前記ブロックのサンプル位置を関連付けることにより、前記ブロックのサンプルを予測する、
装置。
続きを表示（約 1,400 文字）【請求項２】
前記ブロックのサイズに基づく前記複数には、６、８、または、１６のマトリックスベースのイントラ予測モードがある、
請求項１に記載の装置。
【請求項３】
前記複数のマトリックスベースのイントラ予測モードは、それと関連付けられた、前記ブロックのサイズに基づく６、８、または１６の異なるマトリックスを有する、
請求項１に記載の装置。
【請求項４】
前記ブロックに近傍した参照サンプルは、前記ブロックの上のサンプルおよび前記ブロックの左のサンプルを含む、
請求項１に記載の装置。
【請求項５】
前記ブロックの上である、前記ブロックに近傍した参照サンプルは、第１ベクトルを形成するようにダウンサンプリングされ、
前記ブロックの左である、前記ブロックに近傍した参照サンプルは、第２ベクトルを形成するようにダウンサンプリングされ、
前記入力ベクトルは、前記第１ベクトルおよび前記第２ベクトルの連結に基づき導出される、
請求項４に記載の装置。
【請求項６】
前記少なくとも１つのプロセッサは、１０ビット分解能において前記ピクチャを復号するように構成される、
請求項１に記載の装置。
【請求項７】
イントラ予測を使用してピクチャのブロックを符号化するための少なくとも１つのプロセッサを備え、
前記少なくとも１つのプロセッサは、
前記ブロックのサイズに基づく複数のマトリックスベースのイントラ予測モードのうちの１つのマトリックスベースのイントラ予測モードを示すモードインデックスであって、前記複数のうちの各マトリックスベースのイントラ予測モードが各マトリックスに関連付けられ、かつ、各マトリックスの全てのエントリが７ビットの各固定点表現によって表現される、モードインデックスをデータストリームから挿入し、
前記ブロックに近傍した参照サンプルのダウンサンプリングに基づく入力ベクトルを導出し、
前記ブロックのサイズおよび前記モードインデックスに基づくマトリックスを判定し、
前記入力ベクトルと、判定された前記マトリックスとの間のマトリックス－ベクトル積に基づく出力ベクトルであって、前記モードインデックスにより示される前記マトリックスベースのイントラ予測モードから独立した６ビットによる右シフトを、前記出力ベクトルの成分ごとに実行することにより計算される出力ベクトルを計算し、
前記出力ベクトルの成分に前記ブロックのサンプル位置を関連付けることにより、前記ブロックのサンプルを予測する、
装置。
【請求項８】
前記ブロックのサイズに基づく前記複数には、６、８、または、１６のマトリックスベースのイントラ予測モードがある、
請求項７に記載の装置。
【請求項９】
前記複数のマトリックスベースのイントラ予測モードは、それと関連付けられた、前記ブロックのサイズに基づく６、８、または１６の異なるマトリックスを有する、
請求項７に記載の装置。
【請求項１０】
前記ブロックに近傍した参照サンプルは、前記ブロックの上のサンプルおよび前記ブロックの左のサンプルを含む、
請求項７に記載の装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
発明に従った実施形態は、ピクチャ及びビデオ符号化／復号のためのモード－グローバル設定によるマトリックスベースのイントラ予測に関連する。
続きを表示（約 3,100 文字）【背景技術】
【０００２】
典型的なブロックベースの画像またはビデオコーデックは通常、予測的コーディングによって動作する。よって、コーディングされたデータから既に利用可能な情報から、コーディングされた画像またはビデオ信号の受信機が所与のブロックに対してその信号を生成するとき、受信機は、予測信号を構築する。この予測信号は、そのブロックに対する信号の第１の近似としての役割を果たす。第２のステップでは、予測残差がビットストリームから復号され、予測信号に追加される。予測信号が良好であると、予測残差を伝送するために必要なビットの数が少なくなる。よって、予測信号の品質は、コーデック全体の効率に大きく影響する。
【０００３】
典型的には、予測信号を生成する２つの方法が存在する。ビデオ－コーデックにおいてのみ使用される第１の方法は、インター予測である。ここで、再構築済みサンプルから予測信号が生成され、再構築済みサンプルは、カレントフレームとは異なるフレームに属する。第２の方法は、イントラ予測である。ここで、再構築済みサンプルから予測信号が生成され、再構築済みサンプルは、同一のフレームに属し、典型的には、所与のブロックに空間的に隣接する。
【０００４】
古典的なコーデックでは、角度予測モードまたはＤＣモード及び平面モードのいずれかを使用してイントラ予測が実行される。角度予測モードは、角度パラメータによって定義された特定の方向に沿ってブロックの左及び上の再構築済みサンプルを複製し、分数角度位置に対して、補間フィルタが使用される。ＤＣモードは、ブロックの左及び上の隣接サンプルの平均サンプル値として予測信号を生成する。最終的に、平面モードは、水平方向及び垂直方向に沿って予測の線形的な組み合わせとして予測信号を生成する。任意選択で、上述した予測技術のいずれかに対して、予測信号の事後フィルタリングまたは参照サンプルの事前平坦化が適用されてもよい。
【０００５】
上記説明された古典的なイントラ予測方法とは異なり、イントラ予測信号を生成するための新たな技術としてマトリックスベースのイントラ予測（ＭＩＰ）が導入されてきた。それは、進展中のＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ（ＶＶＣ）標準規格の最新ドラフト［１］の一部である。ＭＩＰは、より一般的なデータドリブンの、ニューラルネットワークベースのイントラ予測モードの低複雑度の変形として見なすことができる。各々のＭＩＰモードは、予測モードに依存する予め定義されたマトリックスを、上及び左の境界サンプルのダウンサンプリング済みバージョンと多重化し、次いで、結果をアップサンプリングすることによってイントラ予測信号を生成する。更なる詳細について、マトリックスベースのイントラ予測のセクションレビューを参照されたい。
【０００６】
ＭＩＰの重要な性質は、訓練データの大規模セットを使用する訓練アルゴリズムを介して、様々なＭＩＰモードに対して使用されるマトリックスが判定されることである。この訓練アルゴリズムでは、訓練データに対する予め定義された損失関数をそれらが最小化するように、マトリックスを発見することを試みる。ここで、マトリックスエントリが反復して更新される確率的勾配降下法アプローチを使用する。マトリックスエントリの判定のためのそのようなアプローチは、浮動小数点算術演算における計算を必要とし、よって、結果として生じるマトリックスエントリは、浮動小数点数として与えられる。よって、訓練の後、ＭＩＰモードｉごとに、浮動小数点において、ＭＩＰモードｉについて、低減した予測信号
JPEG
2024097030000002.jpg
10
140
が
JPEG
2024097030000003.jpg
13
140
として与えられるように、浮動小数点エントリを有するマトリックス
JPEG
2024097030000004.jpg
10
139
が取得され、ｒ
ｒｅｄ
は、所与のブロックの境界のダウンサンプリング済みバージョンを表し、・は、マトリックス－ベクトル乗算を表す。
【０００７】
一方で、最終的な標準規格における適用について、各々のマトリックス－ベクトル乗算（１）は、整数演算において規定されたルールによって近似される必要がある。これは、ＭＩＰモードｉごとに、低減した予測信号ｐｒｅｄ
ｒｅｄ
の計算が
JPEG
2024097030000005.jpg
10
140
として規定されるように、積分エントリ及び正の整数ｃ
ｉ
及びｄ
ｉ
を有するマトリックスＡ
ｉ
が規定される必要があることを意味する。
【０００８】
ここで、Ａ
ｉ
－ｃ
ｉ
は、Ａ
ｉ
のあらゆるエントリからｃ
ｉ
を減算するときに生じるマトリックスを表す。最終的に、ｖ及びｗがベクトルであり、ｗが積分エントリを有する場合、
JPEG
2024097030000006.jpg
10
140
は、ｖのあらゆるエントリに
JPEG
2024097030000007.jpg
10
140
を追加することによって生じるベクトルを表し、
JPEG
2024097030000008.jpg
10
140
は、ｄ
ｉ
だけ右にｗの各々のエントリをシフトすることによって生じるベクトルを表す。ＭＩＰの基本的なアイデアによって、（２）は、全てのとり得る入力ベクトルｒ
ｒｅｄ
に対して（１）を近似させる。
【０００９】
よって、それに対して式（２）が可変入力ベクトルｒ
ｒｅｄ
について式（１）を良好に合理的に近似させる、積分エントリを有するマトリックスＡ
ｉ
を取得することが望まれる。そうでなければ、コーデックにおいて規定され、マトリックスＡ
ｉ
を使用して式（２）におけるマトリックス－ベクトル積を実行する必要があるＭＩＰ予測モードは、「真」の振る舞い、すなわち、マトリックス
JPEG
2024097030000009.jpg
10
140
を有するマトリックス－ベクトル積を使用する訓練済みＭＩＰモードから大きく逸脱することがある、式（１）を参照されたい。よって、ＭＩＰに遅れて存在するイントラ予測へのデータドリブンアプローチが違反される。
【発明の概要】
【００１０】
したがって、マトリックスベースのイントラ予測をサポートするために、ピクチャコーディング及び／またはビデオコーディングをより効率的にレンダリングする概念を提供することが望まれる。加えて、または代わりに、ビットストリームを低減し、よって、シグナリングコストを低減することが望まれる。
（【００１１】以降は省略されています）

関連特許