特許ウォッチ

公開番号2024095831
公報種別公開特許公報(A)
公開日2024-07-10
出願番号2024067724,2021577085
出願日2024-04-18,2020-06-23
発明の名称行列ベースのイントラ予測および二次変換を使用したコーディング
出願人フラウンホファーゲセルシャフトツールフェールデルンクダーアンゲヴァンテンフォルシュンクエー.ファオ.
代理人弁理士法人鷲田国際特許事務所
主分類H04N 19/12 20140101AFI20240703BHJP(電気通信技術)
要約【課題】ピクチャのブロックを効率的に行列ベースで予測する方法、装置及びコンピュータ可読媒体を提供する。
【解決手段】ピクチャの所定のブロック18を復号する装置は、所定のイントラ予測モード604を使用して所定のブロックのための予測信号606を導出し、二次変換Tsを、所定のイントラ予測モードに依存した方式で選択し、所定のイントラ予測モードが複数のイントラ予測モード600の第1の集合508に含まれる場合及び所定のイントラ予測モードが行列ベースのイントラ予測モード510の第2の集合520に含まれる場合、データストリーム12から、一次変換と、一次変換の係数の部分集合へと適用される二次変換の部分集合610からの所定の二次変換Tsとの連結によって定義される変換Tを介して、所定のブロックの予測残差の空間領域バージョンに関連する所定のブロックのための予測残差の変換されたバージョン616を導出614する。
【選択図】図13
特許請求の範囲【請求項１】
データストリームからピクチャを復号する方法であって、
前記ピクチャのブロックに対して、データストリームに含まれる指示に基づいて、イントラ予測モードの第１のセットまたはイントラ予測モードの第２のセットからイントラ予測モードを選択することであって、イントラ予測モードの前記第１のセットは、少なくとも１つのＡｎｇｕｌａｒ予測モード、Ｐｌａｎａｒイントラ予測モード、およびＤＣイントラ予測モードを備え、イントラ予測モードの前記第２のセットは、少なくとも１つの行列ベースのイントラ予測モードを備える、選択することと、
選択された前記イントラ予測モードを使用して、前記ブロックの予測信号を導出することと、
選択された前記イントラ予測モードに基づいて、複数の低周波非分離二次変換（ＬＦＮＳＴ）を含む二次変換のセットの中から二次変換の部分集合を選択することであって、二次変換の選択された前記部分集合は、前記複数のＬＦＮＳＴのうちの少なくとも１つを含む、選択することと、
前記データストリームから、前記ブロックの予測残差を導出することと、
選択された前記部分集合からのＬＦＮＳＴを使用して前記予測残差を変換することと、
前記ブロックに対して前記予測信号と変換された前記予測残差を使用して前記ブロックを再構成することと、
を備え、
二次変換の同じ前記部分集合が、Ｐｌａｎａｒイントラ予測モードおよび前記少なくとも１つの行列ベースのイントラ予測モードのいずれに対しても選択される、方法。
続きを表示（約 1,500 文字）【請求項２】
前記イントラ予測モードが前記イントラ予測モードの前記第２のセットから選択されるときに前記予測信号を導出することは、
前記ブロックの近傍の参照サンプルに由来するベクトルと選択されたイントラ予測モードに関連付けられた予測行列との行列ベクトル積から生成される予測ベクトルを導出することと、
前記予測ベクトルをアップサンプリングして前記ブロックの予測信号を取得することと、
を備える、請求項１に記載の方法。
【請求項３】
前記二次変換の部分集合を選択することは、
選択された前記イントラ予測モードと、
前記ブロックのサイズと、
に基づく、請求項１に記載の方法。
【請求項４】
選択された前記二次変換の部分集合からＬＦＮＳＴを示す指示を復号することと、
２つのＬＦＮＳＴのうちの１つを指定する前記指示に基づいて、前記予測残差を変換するために前記ＬＦＮＳＴを前記部分集合から選択することと、
をさらに含む、請求項１に記載の方法。
【請求項５】
前記予測残差を変換することは、
前記ＬＦＮＳＴ（Ｔｓ）を一次変換（Ｔｐ）の係数の部分集合に適用して変換を取得することと、
前記変換を使用して前記予測残差を変換することと、
を備える、請求項１に記載の方法。
【請求項６】
前記一次変換（Ｔｐ）は、分離可能な２Ｄ変換である、請求項５に記載の方法。
【請求項７】
前記ピクチャの前記ブロックに対する前記イントラ予測モードを選択することは、
イントラ予測モードの前記第１のセットのうちの１つを使用して前記ブロックが予測されるべきか否かを示すシンタックス要素のセットを前記データストリームから復号することと、
前記ブロックがイントラ予測モードの前記第１のセットのうちの１つを使用して予測されることをシンタックス要素の前記セットが示すという判定に応じて、前記ブロックに隣接するブロックで使用されるイントラ予測モードに基づいて、最尤イントラ予測モード（ＭＰＭ）のリストを生成し、前記リストから前記イントラ予測モードを選択することと、
前記ブロックがイントラ予測モードの前記第２のセットの１つを使用して予測されることを前記シンタックス要素のセットが示すという判定に応じて、イントラ予測モードの前記第２のセットから前記少なくとも１つの行列ベースのイントラ予測モードの１つを選択することと、
を備える、請求項１に記載の方法。
【請求項８】
前記予測残差を変換することは、
一次変換（Ｔｐ）と、二次変換の部分集合から選択された二次変換（Ｔｓ）との連結によって定義される変換を使用することを備え、前記二次変換（Ｔｓ）は、前記ＬＦＮＳＴに対応する、請求項１に記載の方法。
【請求項９】
イントラ予測モードの前記第２のセットから前記イントラ予測モードを選択した後、前記予測信号を導出するために、前記少なくとも１つの行列ベースのイントラ予測モードから行列ベースのイントラ予測モードを選択することを備える、
請求項１に記載の方法。
【請求項１０】
前記行列ベースのイントラ予測モードを使用して前記予測信号を導出することは、
前記ブロックの近傍の参照サンプルに由来するベクトルと、前記ブロックのサンプルが予測される、前記選択された行列ベースのイントラ予測モードに関連付けられた予測行列との行列ベクトル積から予測ベクトルを生成することを備える、
請求項９に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本出願は、行列ベースのイントラ予測および二次変換の分野に関する。
続きを表示（約 4,000 文字）【背景技術】
【０００２】
Planarモード、DCモード、およびAngularモードのような従来のイントラ予測モードでは、分離不可能な二次変換(LFNST)が、これらのイントラ予測モードに対応する予測残差を変換するために使用されるツールである。ここで、複数の変換集合のうちのある集合Sは、各々の従来のイントラ予測モードがこれらの変換集合のうちの1つと関連付けられるように与えられる。次いで、デコーダにおいて、所与のブロック上でLFNSTが適用されるべきであるかどうかが、ビットストリームから抽出され得る。適用されるべきである場合、現在のブロック上で使用されるイントラ予測モードに応じて、集合Sの中から1つの変換集合が与えられ、この変換集合が1つより多くの変換からなる場合、この集合の中のいずれの変換Tが使用されるべきかがビットストリームから抽出され得る。次いで、デコーダにおいて、変換Tが二次変換として適用され、これは、それが分離可能な一次変換の残差変換係数の部分集合に適用されることを意味する。しかし、前述の二次変換は、従来のイントラ予測モードのみに対して先験的に定義される。
【先行技術文献】
【非特許文献】
【０００３】
P.Helle他、「Non-linear weighted intra prediction」、JVET-L0199、Macao, China、2018年10月
F.Bossen、J.Boyce、K.Suehring、X.Li、V.Seregin、「JVET common test conditions and software reference configurations for SDR video」、JVET-K1010、Ljubljana, Sl、2018年7月
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、行列ベースのイントラ予測(MIP)、すなわちブロックベースのイントラ予測のための二次変換をサポートするのにより効率的なピクチャコーディングおよび/またはビデオコーディングをレンダリングするための概念を提供することが望ましい。
【０００５】
これは、本出願の独立請求項の主題により達成される。
【０００６】
本発明によるさらなる実施形態は、本出願の従属請求項の主題により定義される。
【課題を解決するための手段】
【０００７】
本発明の第1の態様によれば、本出願の発明者らは、二次変換を行列ベースのイントラ予測モードと関連付けようとするときに遭遇する1つの問題は、各MIPモードのために特定の二次変換を用意することが、追加的な変換を追加で記憶するためのメモリ要件の点であまりにも高価であり得るという事実に起因することを認識した。本出願の第1の態様によれば、この難点は、行列ベースのイントラ予測モードと関連付けられる変換および非行列ベースのイントラ予測モードと関連付けられる変換を含む二次変換の集合から1つまたは複数の二次変換の部分集合を選択することにより克服される。二次変換の集合の中のそれらの二次変換は、1つまたは複数の予測モードに対して定義されてもよく、これは、二次変換の集合のために必要なメモリ容量を減らす。Planarイントラ予測モードのために定義される変換および/またはDCイントラ予測モードのために定義される変換も、行列ベースのイントラ予測モードのために選択可能であり得る。行列ベースのイントラ予測モードのための二次変換の部分集合のこの具体的な選択により、コーディング効率を高めることが可能であるが、二次変換の使用を示すために行列ベースのイントラ予測モードと関連付けられるブロックに対して必要とされる追加のシンタックス要素により、ビットストリーム、およびしたがってシグナリングのコストが増大し得る。
【０００８】
したがって、本出願の第1の態様によれば、イントラ予測を用いてピクチャの所定のブロックを復号するための装置、すなわちデコーダは、データストリームに基づいて、イントラ予測モードの第1の集合および行列ベースのイントラ予測モードの第2の集合を含む複数のイントラ予測モードから所定のイントラ予測モードを選択するように構成される。イントラ予測モードの第1の集合は、DCイントラ予測モードと、Angular予測モードと、任意選択でPlanarイントラ予測モードとを含む。第2の集合のうちのある行列ベースのイントラ予測モードが所定のイントラ予測モードとして選択される場合、デコーダは、所定のブロックの近傍における参照サンプルから導出されるベクトルとそれぞれの行列ベースのイントラ予測モードと関連付けられる予測行列の行列ベクトル積を使用して、予測ベクトルを取得するように構成され、それに基づいて、デコーダは所定のブロックのサンプルを予測するように構成される。デコーダは、所定のイントラ予測モードを使用して所定のブロックのための予測信号を導出し、二次変換の集合のうちの1つまたは複数の二次変換の部分集合を、所定のイントラ予測モードがイントラ予測モードの第1の集合に含まれる場合に、および所定のイントラ予測モードが行列ベースのイントラ予測モードの第2の集合に含まれる場合に、その部分集合が非空であるように、所定のイントラ予測モードに依存した方式で選択するように構成される。第1の集合および第2の集合は、二次変換がそれらに対して利用可能であるイントラ予測モードを定義する。したがって、第1の集合または第2の集合から選択された所定のイントラ予測モードに対して、デコーダは、選択された所定のイントラ予測モードと特に関連付けられる二次変換の集合から、1つまたは複数の二次変換の部分集合を選択するように構成される。加えて、デコーダは、所定のイントラ予測モードがイントラ予測モードの第1の集合に含まれる場合に、および所定のイントラ予測モードが行列ベースのイントラ予測モードの第2の集合に含まれる場合に、データストリームから、一次変換と、一次変換の係数の部分集合へと適用される二次変換の部分集合からの所定の二次変換との連結により定義される変換を介して、所定のブロックの予測残差の空間領域バージョンに関連する所定のブロックのための予測残差の変換されたバージョンを導出するように構成される。一次変換は、たとえばデフォルトで設定され、所定の二次変換は、たとえばデコーダによって二次変換の部分集合から選択される。デコーダは、データストリームから二次変換を示すシンタックス要素を導出することによって、二次変換の部分集合から所定の二次変換を選択するように構成され得る。デコーダは、所定のブロックについての予測信号および予測残差を使用して、所定のブロックを再構築するように構成される。
【０００９】
本出願の第1の態様によれば、デコーダに類似して、イントラ予測を用いてピクチャの所定のブロックを符号化するための装置、すなわちエンコーダは、DCイントラ予測モードおよびAngular予測モードおよび任意選択でPlanarイントラ予測モードを含むイントラ予測モードの第1の集合と、行列ベースのイントラ予測モードの第2の集合と、を含む複数のイントラ予測モードから所定のイントラ予測モードを選択するように構成され、行列ベースのイントラ予測モードの各々に従って、所定のブロックの近傍における参照サンプルから導出されるベクトルとそれぞれの行列ベースのイントラ予測モードと関連付けられる予測行列の行列ベクトル積が、予測ベクトルを取得するために使用され、これに基づいて所定のブロックのサンプルが予測される。エンコーダは、データストリームにおいて所定のイントラ予測モードをシグナリングし、所定のイントラ予測モードを使用して所定のブロックのための予測信号を導出するように構成される。加えて、エンコーダは、二次変換の集合のうちの1つまたは複数の二次変換の部分集合を、所定のイントラ予測モードがイントラ予測モードの第1の集合に含まれる場合に、および所定のイントラ予測モードが行列ベースのイントラ予測モードの第2の集合に含まれる場合に、その部分集合が非空であるように、所定のイントラ予測モードに依存した方式で選択するように構成される。エンコーダは、所定のイントラ予測モードがイントラ予測モードの第1の集合に含まれる場合に、および所定のイントラ予測モードが行列ベースのイントラ予測モードの第2の集合に含まれる場合、一次変換と、一次変換の係数の部分集合へと適用される二次変換の部分集合からの所定の二次変換との連結により定義される変換を介して、所定のブロックの予測残差の空間領域バージョンに関連する所定のブロックのための予測残差の変換されたバージョンをデータストリームへと符号化するように構成される。所定のブロックは、所定のブロックのための予測信号および予測残差を使用して再構築可能である。
【００１０】
ある実施形態によれば、デコーダ/エンコーダは、二次変換の集合の各二次変換が第1の集合および第2の集合内のイントラ予測モードの少なくとも1つのために選択される1つまたは複数の二次変換の部分集合に含まれるように、所定のイントラ予測モードに依存した方式で二次変換の集合から1つまたは複数の二次変換の部分集合を選択するように構成される。第1の集合内または第2の集合内の1つまたは複数のイントラ予測モードに対して、それぞれの選択された部分集合は、二次変換の集合のすべての二次変換を含み得る。
（【００１１】以降は省略されています）

関連特許