特許ウォッチ

公開番号2025010339
公報種別公開特許公報(A)
公開日2025-01-20
出願番号2024191430,2023017647
出願日2024-10-31,2012-01-18
発明の名称動画像を符号化および復号する方法、並びに復号装置
出願人ドルビー・インターナショナル・アーベー
代理人弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
主分類H04N 19/426 20140101AFI20250109BHJP(電気通信技術)
要約【課題】画像復号のダイナミックレンジを削減する。
【解決手段】動画像を復号する方法は、複数の画素を表わす動画像のブロックを示す量子化係数を受信するステップを含む。量子化係数は、剰余(remainder)の関数に基づいて逆量子化される。逆量子化された係数は復号された残差(residue)を求めるために、逆変換される。
【選択図】図3A
特許請求の範囲【請求項１】
動画像を符号化および復号する方法であって、
動画像のデータを、１または複数の動画像のブロックであって、それぞれが複数の画素を表す動画像のブロックに分割するステップと、
上記１または複数の動画像のブロックを符号化するステップであって、それぞれの動画像のブロックの、量子化係数のセットの生成を含むステップと、
ビットストリームに含まれる上記１または複数の動画像のブロックに対応する量子化係数のセットを復号装置に送信するステップと、を含み、
上記復号装置は、
デスケールされた係数を生成するために、量子化パラメータ、係数インデックス、および変換サイズに基づいて上記量子化係数をデスケールするステップと、
修正されデスケールされた係数を生成するために、上記デスケールされた係数を修正するステップであって、上記変換サイズに基づく変数であって、量子化パラメータに基づかない変数の適用を含むステップと、
クリッピングされた係数を生成するために、上記修正されデスケールされた係数を所定のビット深度にクリッピングするステップと、
復号済み残差を出力するために、上記クリッピングされた係数を逆変換するステップと、
を含む処理を実行することで、上記動画像のデータを復号し、
上記変換サイズは、８×８である、方法。
続きを表示（約 1,600 文字）【請求項２】
復号済み残差を出力するために、上記クリッピングされた係数を逆変換するステップは、
第１の方向に逆変換された係数を生成するために、上記クリッピングされた係数を第１の方向に１次元逆変換するステップと、
上記第１の方向に逆変換された係数よりも小さいビット深度を有する第１のシフトされ逆変換された係数を生成するために、上記第１の方向に逆変換された係数を右にシフトさせるステップと、
第２のクリッピングされた係数を生成するために、上記第１のシフトされ逆変換された係数を上記所定のビット深度にクリッピングするステップと、
上記復号済み残差を決定するために、上記第２のクリッピングされた係数を第２の方向に１次元逆変換するステップと、
を含む、請求項１に記載の方法。
【請求項３】
上記第１の方向に逆変換された係数を右にシフトさせるステップは、
係数をどれだけシフトさせるかの、複数の異なるビット数の中から、動画像のブロックのサイズに基づいて、上記第１の方向に逆変換された係数をどれだけシフトさせるかの、特定のビット数を選択するステップと、
上記第１の方向に逆変換された係数を、上記特定のビット数、右にシフトさせるステップと、
を含む、請求項２に記載の方法。
【請求項４】
上記第１の方向は、水平方向である、請求項２に記載の方法。
【請求項５】
上記第１の方向は、垂直方向である、請求項２に記載の方法。
【請求項６】
上記第２の方向は、上記第１の方向に直交する、請求項２に記載の方法。
【請求項７】
第１のシフトされ逆変換された係数を生成するために、上記第１の方向に逆変換された係数を右にシフトさせるステップは、
係数をどれだけシフトさせるかの、複数の異なるビット数の中から、係数をどれだけシフトさせるかの、特定のビット数を選択するステップと、
第１のシフトされ逆変換された係数を生成するために、上記第１の方向に逆変換された係数を、上記特定のビット数、右にシフトさせるステップと、
を含む、請求項２に記載の方法。
【請求項８】
係数をどれだけシフトさせるかの、上記特定のビット数を選択するステップは、
動画像のブロックが特定のサイズであることを決定するステップと、
動画像のブロックの異なるサイズのそれぞれに対応する係数をどれだけシフトさせるかの、複数の異なるビット数の中から、上記動画像のブロックの特定のサイズに対応する係数をどれだけシフトさせるかの、特定のビット数を選択するステップと、
を含む、請求項７に記載の方法。
【請求項９】
上記第１の方向に逆変換された係数を右にシフトさせるステップは、上記第１の方向に逆変換された係数を、変換精度拡張パラメータに基づく量、右にシフトさせる、請求項２に記載の方法。
【請求項１０】
動画像を復号する復号装置であって、
デスケールされた係数を生成するために、量子化パラメータ、係数インデックス、および変換サイズに基づいて、上記動画像のブロックの量子化係数をデスケールするステップと、
修正されデスケールされた係数を生成するために、上記デスケールされた係数を修正するステップであって、上記変換サイズに基づく変数であって、量子化パラメータに基づかない変数の適用を含むステップと、
クリッピングされた係数を生成するために、上記修正されデスケールされた係数を所定のビット深度にクリッピングするステップと、
復号済み残差を出力するために、上記クリッピングされた係数を逆変換するステップと、
を含む処理を実行することで、上記動画像のデータを復号し、
上記変換サイズは、８×８である、復号装置。

発明の詳細な説明【技術分野】
【０００１】
関連出願の相互参照はない。
続きを表示（約 4,500 文字）【０００２】
本発明は、ダイナミックレンジを削減した画像復号に関する。
【背景技術】
【０００３】
Ｈ．２６４／ＡＶＣなどのような現行の符号化規格は、一般的に、計算の複雑性が増大することを代償にして、比較的高い符号化効率を実現している。計算の複雑性が増加するにつれて、符号化および／または復号の速度は低下する傾向にある。また、より高い忠実度への要望は、時間と共に増加する傾向にあり、これにより、ますますより大きな必要メモリと、ますますより大きな必要メモリ帯域幅とが要求される傾向にある。特に、組み込みシステムの場合には、増加するメモリの要求および増加するメモリ帯域幅の要求は、結果として、ますますより高価で、計算的に複雑な回路を要求する傾向がある。
【０００４】
図１を参照すれば、多くのデコーダは、画像のブロックについて符号化されたデータを受信する（いいかえれば、エンコーダは、画像のブロックについて符号化したデータを供給する）。典型的には、画像はブロックに分割され、各ブロックは離散コサイン変換（ＤＣＴ）のような何らかの方法を用いて符号化され、デコーダに供給される。デコーダは符号化されたブロックを受け取り、各ブロックを逆離散コサイン変換のような何らかの方法を用いて復号する。多くの場合、画像ブロックの画像係数の復号は、行列の乗算によって行われる。行列の乗算は水平方向に対して行われてもよいし、垂直方向に対して行われてもよい。場合によっては、例えば、８ビット値が、第１の乗算によって１６ビット値となり得、第２の乗算によって２４ビット値となり得る。さらに、画像の各ブロックを符号化したものは、通常、量子化される。当該量子化では伝送に用いられる量子化係数の、より小さいセットに、符号化の値がマップされる。量子化は、デコーダによる逆量子化を要求し、逆量子化は適切な符号化値に、伝送に用いられる量子化係数のセットをマップする。逆量子化されたデータとして望ましいビット数は、設計パラメータである。行列の乗算および逆量子化演算によって、大きな値が生じ得ることは、特に組み込みシステムのように資源に制約のあるシステムに対しては問題がある。
【０００５】
前述の、およびその他の、本発明の目的、特徴、および利点は、以下の本発明の詳細な説明を、添付図面を併用しながら考慮することによって、容易に理解されるであろう。
【発明の概要】
【０００６】
好ましい実施の形態は、動画像を符号化する方法であって、
動画像のデータを、１または複数の動画像のブロックであって、それぞれが複数の画素を表す動画像のブロックに分割するステップと、
上記１または複数の動画像のブロックを符号化するステップであって、それぞれの動画像のブロックの、量子化係数のセットの生成を含むステップと、
ビットストリームに含まれる上記１または複数の動画像のブロックに対応する量子化係数のセットを復号装置に送信するステップと、を含み、
上記復号装置は、
デスケールされた係数を生成するために、量子化パラメータ、係数インデックス、および変換サイズに基づいて上記量子化係数をデスケールするステップと、
修正されデスケールされた係数を生成するために、上記デスケールされた係数を修正するステップであって、上記変換サイズに基づく変数の適用を含むステップと、
クリッピングされた係数を生成するために、上記修正されデスケールされた係数を所定のビット深度にクリッピングするステップと、
復号済み残差を出力するために、上記クリッピングされた係数を逆変換するステップと、
を含む処理を実行することで、上記動画像のデータを復号し、
上記変換サイズは、８×８である。
【図面の簡単な説明】
【０００７】
エンコーダとデコーダとを示す図である。
逆量子化器と逆変換器とを備えるデコーダを示す図である。
変更された逆量子化器を示す図である。
変更された逆量子化器を示す図である。
変更された逆変換器を示す図である。
他のデコーダを示す図である。
その他のデコーダを示す図である。
【発明を実施するための形態】
【０００８】
図２（従来技術）を参照すると、画像のブロックのためにエンコーダ（符号化装置）から受信した量子化係数を逆量子化および逆変換するデコーダ（復号装置）が、該当する箇所に示されている。デコーダは、量子化係数２００を、逆量子化部（逆量子化器）２１０において受信する。逆量子化器２１０から出力される係数は、メモリ２２０に記憶される。メモリに記憶された係数２２０は、復号済み残差（decoded residue）３１０を求めるために、逆変換部２３０による変換の対（ペア）によって処理される。逆変換は、行列の乗算オペレータを用いて、変換領域からのデータを、空間領域へマップする。
【０００９】
逆量子化器２１０は、デスケール部２４０によるデスケール処理（descaling process）を含む。デスケール部２４０によるデスケール処理は、量子化係数２００のデスケールを行う。デスケール処理は、乗算レベル値（量子化係数２００とも呼ばれる）と、量子化パラメータ（ＱＰ）、係数インデックス、および変換サイズ（Ｎ）に依存する１つの整数とを掛け合わしたものに対応する。デスケール部２４０によるデスケール処理の例としては、８×８逆変換の変換前に逆量子化器において用いられる「Level
＊
IntegerValue(Remainder,Coefficient index)
＊
16」、およびその他の変換サイズの変換前に逆量子化器において用いられる「Level
＊
IntegerValue(Remainder,Coefficient index)」を含んでもよい。デスケール部２４０によるデスケール処理は、中間セット値２５０を求めるために、主に、剰余、変換サイズ（Ｎ）、および／または、係数インデックス（例えば、位置）、の関数に基づいていることが好ましい。剰余は量子化パラメータ（ＱＰ）と、P
＊
BitIncrementとの和についてモジュロＰを取ったものである（（QP+P
＊
BitIncrement）％P）である。モジュロは、Ｈ．２６４／ＡＶＣ規格において定義されているように、ｘをｘ≧０の整数、ｙをｙ＞０の整数とするとき、ｘをｙで割ったときの余りとして、ｘ％ｙとして定義される。一実施形態においてＰは、６の値をとり得る。調整機構（adjustment mechanism）Ａ２６０は、値２５０に適用されてもよいし、変換サイズ（Ｎ）、および／または、受信したPeriod（周期）の関数に依存する変数であってもよい。Periodは、「BitIncrement」をビット深度の増分とするとき、量子化パラメータ（ＱＰ）とP
＊
BitIncrementとの和をＰで割った値（（QP+P
＊
BitIncrement）/P）である。「/」は、Ｈ．２６４／ＡＶＣ規格において定義されているように、結果を０の方に切り詰めた（切り捨てた）整数除算、と定義される。例えば、７/４と－７/－４とは切り捨てられて１となり、－７/４と７/－４とは切り捨てられて－１となる。一実施形態においてＰは、６の値をとり得る。得られる値２５０は、調整機構Ａ２６０によってさらに修正されてもよいが、修正部２７０によって２
（Ｐｅｒｉｏｄ+Ｂ）
の因数を用いて修正されてもよい。Ｂは、変換サイズに依存した変数である。修正部２７０による修正の結果は、メモリ２２０に記憶される。逆変換部２３０は、逆水平変換部２８０により１次元逆水平変換を実行し得、その結果は、メモリ２９０に記憶され得る。逆変換部２３０は、また、逆垂直変換部３００により１次元逆垂直変換を実行し得、復号済み残差３１０が求められる。変換部２８０と変換部３００とは、必要に応じて、互いに順番を逆にしてもよい。
【００１０】
「Ｐａｒｔ１０：ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ」、ＩＳＯＰｕｂｌｉｃａｔｉｏｎ：ＩＳＯ／ＩＥＣ１４４９６‐１０：２００５‐ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ‐ＣｏｄｉｎｇＯｆＡｕｄｉｏ‐ＶｉｓｕａｌＯｂｊｅｃｔｓ（参照により、本書に組み込まれる）（Ｈ．２６４／ＡＶＣ規格）を実施する場合において、図２に示された動画像のデコーダのメモリ帯域幅は、制約を用いることにより制限され得る。例えば、Ｈ．２６４／ＡＶＣ規格の８．５．１０節では、４×４輝度ＤＣ変換係数のためのメモリアクセスの幅は、以下のステートメントを含むことによって制限される。そのステートメントとは、「ビットストリームは、－２
（７＋ｂｉｔＤｅｐｔｈ）
から２
（７＋ｂｉｔＤｅｐｔｈ）
－１までの整数値の範囲を超える如何なる要素ｆ
ｉｊ
（f において i, j = 0..3）において得られるデータを含むべきではない。」、および、「ビットストリームは、－２
（７＋ｂｉｔＤｅｐｔｈ）
から２
（７＋ｂｉｔＤｅｐｔｈ）
－１までの整数値の範囲を超える如何なる要素ｄｃＹ
ｉｊ
（dcY において i, j = 0..3）において得られるデータを含むべきではない。」である。Ｈ．２６４／ＡＶＣ規格は、他の残余ブロックのための同様のメモリ制限を含んでいる。複雑なメモリ帯域幅制限を含んでいることに加え、Ｈ．２６４／ＡＶＣ規格は、この制限が強制されることを保証する機構を備えない。同様に、ＪＣＴ-ＶＣ「ＤｒａｄｔＴｅｓｔＭｏｄｅｌＵｎｄｅｒＣｏｎｓｉｄｅｒａｔｉｏｎ」、ＪＣＴＶＣ‐Ａ２０５、ＪＣＴ‐ＶＣＭｅｅｔｉｎｇ、Ｄｒｅｓｄｅｎ、Ａｐｒｉｌ２０１０（ＪＣＴ‐ＶＣ）（参照により、本書に組み込まれる）においても、メモリ帯域幅強制機構を含んでいない。ロバスト性のために、デコーダでは、準拠したビットストリームまたは非適合（non-conforming）エンコーダに損傷を与える伝送エラーに起因して生じる、これらの制限に違反するようなビットストリームを受け付ける準備がなされていなければならない。このような生じ得る制限を緩和するために、デコーダはしばしば、費用と複雑性とを追加することと引き換えに、供給される非準拠のビットストリームに適応するための追加のメモリ帯域幅を備える。
（【００１１】以降は省略されています）

関連特許