特許ウォッチ

公開番号2025011204
公報種別公開特許公報(A)
公開日2025-01-23
出願番号2024177141,2023041762
出願日2024-10-09,2019-07-09
発明の名称コード化された画像の多様な空間分割のためのエンコーダとデコーダ、符号化方法と復号方法
出願人フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
代理人弁理士法人鷲田国際特許事務所
主分類H04N 19/119 20140101AFI20250116BHJP(電気通信技術)
要約【課題】ビデオの画像を再構成するための符号化方法、復号方法及び装置を提供する。
【解決手段】ビデオデコーダ151は、符号化されたビデオ信号を受信するインターフェース160及び、表示データを使用して符号化された画像データを復号することによって、ビデオの画像を再構築するデータデコーダ170を備える。画像は、複数のコーディング領域に分割され、その各コーディング領域は、画像内に位置し、画像内に位置する複数のコーディングツリーユニットのうちの1つ又は複数のコーディングツリーユニットを含む。データデコーダ170は、2つまたはそれより多いコーディングツリーユニットを含む1つまたは複数のコーディング領域のコーディング順序に関する情報を含む表示データを使用して、2つ又はそれより多いコーディングツリーユニットを含む1つまたは複数の各コーディング領域順序に従って、符号化された画像データを復号する。
【選択図】図1b
特許請求の範囲【請求項１】
ビデオのピクチャを再構成するために、前記ビデオのピクチャの符号化されたピクチャデータ及び指示データを含む符号化されたビデオ信号を復号するためのビデオデコーダ（１５１）であって、
前記符号化されたビデオ信号を受信するように構成されたインターフェース（１６０）、
前記指示データを使用して前記符号化されたピクチャデータを復号することによって前記ビデオの前記ピクチャを再構成するように構成されたデータデコーダ（１７０）
を含み、
前記ピクチャは複数のコーディング領域に分割され、前記複数のコーディング領域の各コーディング領域は前記ピクチャ内に配置され、前記複数のコーディング領域のそれぞれは、前記ピクチャ内に配置される複数のコーディングツリーユニットの２つ以上のコーディングツリーユニットを含み、前記指示データを使用して、前記データデコーダ（１７０）は、前記複数のコーディング領域に依存して前記符号化されたピクチャデータを復号するように構成され、前記指示データが前記複数のコーディング領域の情報を含み、
前記複数のコーディング領域の１つ以上のコーディング領域は、前記複数のコーディングツリーユニットの２つ以上のコーディングツリーユニットを含み、２つ以上のコーディングツリーユニットを含む前記１つ以上のコーディング領域の各コーディング領域は、前記コーディング領域の前記２つ以上のコーディングツリーユニットのコーディング順序を示し、前記指示データを使用して、前記データデコーダ（１７０）は、２つ以上のコーディングツリーユニットを含む前記１つ以上のコーディング領域の前記コーディング順序に依存して前記符号化されたピクチャデータを復号するように構成され、前記指示データは、２つ以上のコーディングツリーユニットを含む前記１つ以上のコーディング領域の前記コーディング順序に関する情報を含み、
前記指示データは、複数のスライスのうちの正確に１つのスライスが、前記複数のコーディング領域のうちの正確に１つのコーディング領域に割り当てられているかどうか、及び／又は、前記コーディング領域が複数のコーディングツリーユニットを含むかどうかの少なくとも１つを示す情報を含む、ビデオデコーダ（１５１）。
続きを表示（約 3,800 文字）【請求項２】
前記データデコーダ（１７０）は、複数のコーディング領域分割位置を複数のコーディング領域分割位置値として示す情報を使用して前記符号化されたピクチャデータを復号するように構成され、前記複数のコーディング領域分割位置値のそれぞれは、前記ピクチャの幅に依存するか、又は前記ピクチャの高さに依存し、前記指示データは前記情報を含む、請求項１に記載のビデオデコーダ（１５１）。
【請求項３】
符号化されたビデオ信号を生成することによってピクチャを符号化するためのビデオエンコーダ（１０１）であって、
ビデオのピクチャを符号化されたピクチャデータに符号化するように構成されるデータエンコーダ（１１０）であって、さらに指示データを生成するように構成されるデータエンコーダ（１１０）、及び、
前記符号化されたピクチャデータ及び前記指示データを含む前記符号化されたビデオ信号を生成するように構成される信号発生器（１２０）
を含み、
前記ピクチャは複数のコーディング領域に分割され、前記複数のコーディング領域の各コーディング領域は前記ピクチャ内に配置され、前記複数のコーディング領域のそれぞれは、前記ピクチャ内に配置される複数のコーディングツリーユニットの２つ以上のコーディングツリーユニットを含み、前記データエンコーダ（１１０）は、前記複数のコーディング領域に依存して前記ピクチャを符号化するように構成され、前記データエンコーダ（１１０）は、前記指示データが前記複数のコーディング領域の情報を含むように前記指示データを生成するように構成され、
前記複数のコーディング領域の１つ以上のコーディング領域は、前記複数のコーディングツリーユニットの２つ以上のコーディングツリーユニットを含み、２つ以上のコーディングツリーユニットを含む前記１つ以上のコーディング領域の各コーディング領域は、前記コーディング領域の前記２つ以上のコーディングツリーユニットのコーディング順序を示し、前記データエンコーダ（１１０）は、２つ以上のコーディングツリーユニットを含む前記１つ以上のコーディング領域の前記コーディング順序に依存して前記ピクチャを符号化するように構成され、前記データエンコーダ（１１０）は、２つ以上のコーディングツリーユニットを含む前記１つ以上のコーディング領域の前記コーディング順序に関する情報を前記指示データが含むように、前記指示データを生成するように構成され、
前記指示データは、複数のスライスのうちの正確に１つのスライスが、前記複数のコーディング領域のうちの正確に１つのコーディング領域に割り当てられているかどうか、及び／又は、前記複数のコーディング領域のそれぞれについて、前記コーディング領域が複数のコーディングツリーユニットを含むかどうかの少なくとも１つを示す、ビデオエンコーダ（１０１）。
【請求項４】
前記データエンコーダ（１１０）は、前記指示データが複数のコーディング領域分割位置を複数のコーディング領域分割位置値として示すように前記指示データを生成するように構成され、前記複数のコーディング領域分割位置値のそれぞれは、前記ピクチャの幅に依存するか、又は前記ピクチャの高さに依存する、請求項３に記載のビデオエンコーダ（１０１）。
【請求項５】
ビデオのピクチャを再構成するために、前記ビデオのピクチャの符号化されたピクチャデータ及び指示データを含む符号化されたビデオ信号を復号するための方法であって、
前記符号化されたビデオ信号を受信することと、
前記指示データを使用して前記符号化されたピクチャデータを復号することによって前記ビデオの前記ピクチャを再構成することと、
を含み、
前記ピクチャは複数のコーディング領域に分割され、前記複数のコーディング領域の各コーディング領域は前記ピクチャ内に配置され、前記複数のコーディング領域のそれぞれは、前記ピクチャ内に配置される複数のコーディングツリーユニットの２つ以上のコーディングツリーユニットを含み、前記指示データを使用して、前記符号化されたピクチャデータを復号することは、前記複数のコーディング領域に依存して実行され、前記指示データが前記複数のコーディング領域の情報を含み、
前記複数のコーディング領域の１つ以上のコーディング領域は、前記複数のコーディングツリーユニットの２つ以上のコーディングツリーユニットを含み、２つ以上のコーディングツリーユニットを含む前記１つ以上のコーディング領域の各コーディング領域は、前記コーディング領域の前記２つ以上のコーディングツリーユニットのコーディング順序を示し、前記指示データを使用して、前記符号化されたピクチャデータを復号することは、２つ以上のコーディングツリーユニットを含む前記１つ以上のコーディング領域の前記コーディング順序に依存して実行され、前記指示データは、２つ以上のコーディングツリーユニットを含む前記１つ以上のコーディング領域の前記コーディング順序に関する情報を含み、
前記指示データは、複数のスライスのうちの正確に１つのスライスが、前記複数のコーディング領域のうちの正確に１つのコーディング領域に割り当てられているかどうか、及び／又は、前記コーディング領域が複数のコーディングツリーユニットを含むかどうかの少なくとも１つを示す情報を含む、方法。
【請求項６】
符号化されたビデオ信号を生成することによってピクチャを符号化するための方法であって、
ビデオのピクチャを符号化されたピクチャデータに符号化することと、
指示データを生成することと、
前記符号化されたピクチャデータ及び前記指示データを含む前記符号化されたビデオ信号を生成することと、
を含み、
前記ピクチャは複数のコーディング領域に分割され、前記複数のコーディング領域の各コーディング領域は前記ピクチャ内に配置され、前記複数のコーディング領域のそれぞれは、前記ピクチャ内に配置される複数のコーディングツリーユニットの２つ以上のコーディングツリーユニットを含み、前記ピクチャを符号化することは、前記複数のコーディング領域に依存して実行され、前記指示データを生成することは、前記指示データが前記複数のコーディング領域の情報を含むように実行され、
前記複数のコーディング領域の１つ以上のコーディング領域は、前記複数のコーディングツリーユニットの２つ以上のコーディングツリーユニットを含み、２つ以上のコーディングツリーユニットを含む前記１つ以上のコーディング領域の各コーディング領域は、前記コーディング領域の前記２つ以上のコーディングツリーユニットのコーディング順序を示し、前記ピクチャを符号化することは、２つ以上のコーディングツリーユニットを含む前記１つ以上のコーディング領域の前記コーディング順序に依存して実行され、前記指示データを生成することは、２つ以上のコーディングツリーユニットを含む前記１つ以上のコーディング領域の前記コーディング順序に関する情報を前記指示データが含むように実行され、
前記指示データは、複数のスライスのうちの正確に１つのスライスが、前記複数のコーディング領域のうちの正確に１つのコーディング領域に割り当てられているかどうか、及び／又は、前記複数のコーディング領域のそれぞれについて、前記コーディング領域が複数のコーディングツリーユニットを含むかどうかの少なくとも１つを示す、方法。
【請求項７】
コンピュータ又は信号プロセッサ上で実行されると、請求項５又は６記載の方法を実現するコンピュータプログラム。
【請求項８】
前記複数のコーディング領域の各コーディング領域は、前記ピクチャ内において矩形に伸び、
前記複数のコーディング領域のそれぞれの前記１つ以上のコーディングツリーユニットの各コーディングツリーユニットは、前記ピクチャ内において矩形に伸びる、請求項１に記載のビデオデコーダ（１５１）。
【請求項９】
前記データデコーダ（１７０）は、前記複数のコーディング領域の１つについて、前記コーディング領域の１つ内で垂直方向に配置されるコーディングツリーユニットの数を指定するコーディングツリーユニットにおけるコーディング領域の高さを示す情報を利用して、前記符号化されたピクチャデータを復号するように構成され、前記指示データは前記情報を含む、請求項１に記載のビデオデコーダ（１５１）。
【請求項１０】
前記複数のコーディング領域の各コーディング領域は、前記ピクチャ内において矩形に伸び、
前記複数のコーディング領域のそれぞれの前記１つ以上のコーディングツリーユニットの各コーディングツリーユニットは、前記ピクチャ内において矩形に伸びる、請求項３に記載のビデオエンコーダ（１０１）。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ビデオの符号化およびビデオの復号に関し、特に、エンコーダおよびデコーダ、コード化された画像の多様な空間分割のための符号化方法、および復号方法に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
Ｈ．２６５／ＨＥＶＣは、エンコーダおよび／またはデコーダでの並列処理を向上または有効化までもするためのツールをすでに提供しているビデオコーデックである。例えば、ＨＥＶＣは、互いに独立して符号化されたタイルの配列への画像の細分割を補助する。ＨＥＶＣで補助される別の概念は、ＷＰＰに関連しており、それによれば、連続するＣＴＵラインの処理で何らかの最小ＣＴＵオフセットが守られている場合（ＣＴＵ＝コーディングツリーユニット）、画像のＣＴＵ行またはＣＴＵラインを左から右に並行して、例えばストライプで処理できる。ただし、ビデオエンコーダおよび／またはビデオデコーダの並列処理機能をさらに効率的に補助するビデオコーデックを手元に用意しておくことが望ましい。
次のセクション「最先端のＶＣＬ分割」では、最先端のＶＣＬ分割の導入を説明する（ＶＣＬ＝ビデオコーディングレイヤー）。
【０００３】
通常、ビデオコーディングでは、画像サンプルのコーディングプロセスでは、予測や変換コーディングなどの共同処理のためにサンプルがいくつかの長方形の領域に分割される、より小さなパーティションが必要である。したがって、画像は、ビデオシーケンスの符号化中に一定である特定のサイズのブロックに分割される。Ｈ．２６４／ＡＶＣでは、１６ｘ１６のサンプルの規格の固定のサイズのブロック、いわゆるマクロブロックが使用されている。最先端のＨＥＶＣ規格（［１］を参照）には、最大サイズ６４×６４サンプルのコーディングツリーブロック（ＣＴＢ）またはコーディングツリーユニット（ＣＴＵ）がある。ＨＥＶＣの詳細な説明では、このような種類のブロックの場合、より一般的な用語であるＣＴＵが使用される。
ＣＴＵは、左上のＣＴＵから始まり、画像のＣＴＵを線方向に、右下のＣＴＵまで処理するラスタースキャン順に処理される。
【０００４】
コード化されたＣＴＵデータは、スライスと呼ばれる一種のコンテナに編成される。もともと、スライスとは、画像の１つまたは複数の連続したＣＴＵを含むセグメントを意味する。
【０００５】
以下のサブセクション「スライスを使用した画像の分割」では、コード化されたデータのセグメンテーションにスライスがどのように使用されるかについて説明する。別の観点からは、全体像を１つの大きなセグメントとして定義することもできるため、従来から、スライスという用語が引き続き適用される。コード化された画像サンプルに加えて、スライスは、いわゆるスライスヘッダーに配置されるスライス自体のコーディングプロセスに関連する追加情報も含む。
【０００６】
最先端技術によれば、ＶＣＬ（ビデオコーディングレイヤー）は、断片化と空間分割の手法も備えている。このような分割は、例えば、以下でより詳細に説明するように、並列化における負荷分散の処理、ネットワーク送信におけるＣＴＵのサイズマッチング、エラーの軽減などの様々な理由でビデオコーティングに適用することができる。
次のサブセクション「スライスを使用した画像の分割」では、スライスを使用した画像の分割について説明する。
【０００７】
Ｈ．２６３規格以降、特定のスキャン順序で連続するブロックを表すデータのシーケンスは、スライスと呼ばれるグループに編成できる。通常、例えば予測とエントロピーコーディングの観点から画像の異なるスライスのＣＴＵ間の依存関係は禁止されているため、画像内の個々のスライスを個別に再構築できる。
【０００８】
図２は、ラスタースキャン順のスライスによる画像セグメンテーションを示している。スライスのサイズは、図２に示すように、ＣＴＵ（コーディングツリーユニット）の数と、スライスに属する各コーディングされたＣＴＵのサイズによって決まる。図２は、５０個のＣＴＵ、例えば、ＣＴＵ２１、ＣＴＵ２４およびＣＴＵ５１を含む。
【０００９】
次のサブセクション「タイルを使用した画像の分割」では、図３を参照してタイルを使用した画像の分割について説明する。図３は、５０個のＣＴＵ、例えば、ＣＴＵ２３、ＣＴＵ２７およびＣＴＵ４１を含む。
【００１０】
タイルはＨＥＶＣで導入された概念であるが、この概念はＨ．２６４／ＡＶＣに追加されたＦｌｅｘｉｂｌｅＭａｃｒｏｂｌｏｃｋＯｒｄｅｒｉｎｇ（ＦＭＯ）と非常によく似ている。タイルの概念により、画像をいくつかの長方形の領域に分割できる。
（【００１１】以降は省略されています）

関連特許