特許ウォッチ

公開番号2025074308
公報種別公開特許公報(A)
公開日2025-05-13
出願番号2025034404,2023093895
出願日2025-03-05,2019-03-11
発明の名称画像符号化装置、画像符号化方法、及びプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類H04N 19/126 20140101AFI20250502BHJP(電気通信技術)
要約【課題】一部の直交変換係数を強制的に0とする手法をより効率的に実行することを目的としている。
【解決手段】直交変換手段は、P×Q画素の長方形のブロックの予測誤差に対して直交変換を実行することによって、N×M個(NはN<Pを満たす整数、かつ、MはM<Qを満たす整数)の直交変換係数を生成する。量子化手段は、N×M個の要素を有する量子化マトリクスを少なくとも用いてN×M個の直交変換係数を量子化して、N×M個の量子化係数を生成する。
【選択図】図1
特許請求の範囲【請求項１】
Ｐ×Ｑ画素（Ｐ及びＱは整数）の第１のブロックと、Ｎ×Ｍ画素（ＮはＮ＜Ｐを満たす整数、かつ、ＭはＭ＜Ｑを満たす整数）の第２のブロックとを含む複数のブロックを用いてビットストリームから画像を復号することが可能な画像復号装置において、
前記第１のブロックに対応する第１の量子化変換係数群に対応するデータと、前記第２のブロックに対応する第２の量子化変換係数群に対応するデータとを前記ビットストリームから復号する復号手段と、
Ｎ×Ｍ個の要素を有する第１の量子化マトリクスを用いて前記第１の量子化変換係数群から周波数成分を表す第１の変換係数群を導出し、Ｎ×Ｍ個の要素を有する第２の量子化マトリクスを用いて前記第２の量子化変換係数群から周波数成分を表す第２の変換係数群を導出する逆量子化手段と、
前記第１の変換係数群に対して逆変換処理を実行することによって前記第１のブロックに対応する第１の予測誤差群を導出し、前記第２の変換係数群に対して逆変換処理を実行することによって前記第２のブロックに対応する第２の予測誤差群を導出する逆変換手段と、
前記第１の予測誤差群と予測画像データとに基づく画像データを少なくとも再生する再生部と
を有し、
前記予測画像データは、イントラ予測とインター予測とを組み合わせた予測方法を用いて導出することが可能であり、
復号対象のブロックが前記第１のブロックである場合、前記逆変換手段は、Ｎ×Ｍ個の変換係数である前記第１の変換係数群と、Ｍ×Ｑの行列との乗算を行うことで、Ｎ×Ｑ個の中間値を導出し、さらに、Ｐ×Ｎの行列と、前記Ｎ×Ｑ個の中間値との乗算を行うことで、前記第１の変換係数群からＰ×Ｑ個の予測誤差である前記第１の予測誤差群を導出し、
前記Ｎ×Ｍ個の要素を有する前記第１の量子化マトリクスは、Ｒ×Ｓ（ＲはＲ≦Ｎを満たす整数、かつ、ＳはＳ≦Ｍを満たす整数）個の要素を有する第３の量子化マトリクスにおける一部の要素を含むとともに前記第３の量子化マトリクスにおける他の要素を含まない量子化マトリクスであり、
前記Ｎ×Ｍ個の要素を有する前記第２の量子化マトリクスは、Ｒ×Ｓ個の要素を有する第４の量子化マトリクスにおける全ての要素を含む量子化マトリクスであり、
前記第３の量子化マトリクスは前記第４の量子化マトリクスとは異なり、
前記第１の量子化マトリクスは、ＤＣ成分に対応する要素以外は、前記第３の量子化マトリクスにおける前記一部の要素で構成される量子化マトリクスであり、
前記第２の量子化マトリクスは、ＤＣ成分に対応する要素以外は、前記第４の量子化マトリクスにおける前記全ての要素で構成される量子化マトリクスであり、
前記逆量子化手段は、変換係数群を導出するために、量子化パラメータを更に用いる
ことを特徴とする画像復号装置。
続きを表示（約 4,000 文字）【請求項２】
Ｐ×Ｑ画素（Ｐ及びＱは整数）の第１のブロックと、Ｎ×Ｍ画素（ＮはＮ＜Ｐを満たす整数、かつ、ＭはＭ＜Ｑを満たす整数）の第２のブロックとを含む複数のブロックを用いてビットストリームから画像を復号することが可能な画像復号方法において、
前記第１のブロックに対応する第１の量子化変換係数群に対応するデータと、前記第２のブロックに対応する第２の量子化変換係数群に対応するデータとを前記ビットストリームから復号する復号工程と、
Ｎ×Ｍ個の要素を有する第１の量子化マトリクスを用いて前記第１の量子化変換係数群から周波数成分を表す第１の変換係数群を導出し、Ｎ×Ｍ個の要素を有する第２の量子化マトリクスを用いて前記第２の量子化変換係数群から周波数成分を表す第２の変換係数群を導出する逆量子化工程と、
前記第１の変換係数群に対して逆変換処理を実行することによって前記第１のブロックに対応する第１の予測誤差群を導出し、前記第２の変換係数群に対して逆変換処理を実行することによって前記第２のブロックに対応する第２の予測誤差群を導出する逆変換工程と、
前記第１の予測誤差群と予測画像データとに基づく画像データを少なくとも再生する再生工程と
を有し、
前記予測画像データは、イントラ予測とインター予測とを組み合わせた予測方法を用いて導出することが可能であり、
復号対象のブロックが前記第１のブロックである場合、前記逆変換工程において、Ｎ×Ｍ個の変換係数である前記第１の変換係数群と、Ｍ×Ｑの行列との乗算を行うことで、Ｎ×Ｑ個の中間値を導出し、さらに、Ｐ×Ｎの行列と、前記Ｎ×Ｑ個の中間値との乗算を行うことで、前記第１の変換係数群からＰ×Ｑ個の予測誤差である前記第１の予測誤差群を導出し、
前記Ｎ×Ｍ個の要素を有する前記第１の量子化マトリクスは、Ｒ×Ｓ（ＲはＲ≦Ｎを満たす整数、かつ、ＳはＳ≦Ｍを満たす整数）個の要素を有する第３の量子化マトリクスにおける一部の要素を含むとともに前記第３の量子化マトリクスにおける他の要素を含まない量子化マトリクスであり、
前記Ｎ×Ｍ個の要素を有する前記第２の量子化マトリクスは、Ｒ×Ｓ個の要素を有する第４の量子化マトリクスにおける全ての要素を含む量子化マトリクスであり、
前記第３の量子化マトリクスは前記第４の量子化マトリクスとは異なり、
前記第１の量子化マトリクスは、ＤＣ成分に対応する要素以外は、前記第３の量子化マトリクスにおける前記一部の要素で構成される量子化マトリクスであり、
前記第２の量子化マトリクスは、ＤＣ成分に対応する要素以外は、前記第４の量子化マトリクスにおける前記全ての要素で構成される量子化マトリクスであり、
前記逆量子化工程において、変換係数群を導出するために、量子化パラメータが更に用いられる
ことを特徴とする画像復号方法。
【請求項３】
前記第１及び第２のブロックは正方形のブロックである
ことを特徴とする請求項２記載の画像復号方法。
【請求項４】
前記Ｐ及び前記Ｑは６４であり、前記Ｎ及び前記Ｍは３２である
ことを特徴とする請求項２記載の画像復号方法。
【請求項５】
前記Ｐ及び前記Ｑは１２８であり、前記Ｎ及び前記Ｍは３２である
ことを特徴とする請求項２記載の画像復号方法
。
【請求項６】
前記第１の変換係数群はＮ×Ｍ個の変換係数であり、
前記第２の変換係数群はＮ×Ｍ個の変換係数である
ことを特徴とする請求項２記載の画像復号方法。
【請求項７】
前記第１及び第２のブロックは、非正方形のブロックである
ことを特徴とする請求項２記載の画像復号方法。
【請求項８】
前記第１の予測誤差群はＰ×Ｑ個の予測誤差であり、
前記第２の予測誤差群はＮ×Ｍ個の予測誤差である
ことを特徴とする請求項２記載の画像復号方法。
【請求項９】
Ｐ×Ｑ画素（Ｐ及びＱは整数）の第１のブロックと、Ｎ×Ｍ画素（ＮはＮ＜Ｐを満たす整数、かつ、ＭはＭ＜Ｑを満たす整数）の第２のブロックとを含む複数のブロックを用いて画像を符号化することが可能な画像符号化装置において、
前記第１のブロックに対応する第１の予測誤差群に対して変換処理を実行することによって第１の変換係数群を導出し、前記第２のブロックに対応する第２の予測誤差群に対して変換処理を実行することによって第２の変換係数群を導出する変換手段と、
Ｎ×Ｍ個の要素を有する第１の量子化マトリクスを用いて前記第１の変換係数群を量子化して第１の量子化変換係数群を導出し、Ｎ×Ｍ個の要素を有する第２の量子化マトリクスを用いて前記第２の変換係数群を量子化して第２の量子化変換係数群を導出する量子化手段と、
前記第１のブロックに対応する前記第１の量子化変換係数群に対応するデータと、前記第２のブロックに対応する前記第２の量子化変換係数群に対応するデータとを符号化する符号化手段と
を有し、
少なくとも前記第１の予測誤差群は、イントラ予測とインター予測とを組み合わせた予測方法を用いて導出することが可能であり、
符号化対象のブロックが前記第１のブロックである場合、前記変換手段は、Ｐ×Ｑ個の予測誤差である前記第１の予測誤差群と、Ｑ×Ｍの行列との乗算を行うことで、Ｐ×Ｍ個の中間値を導出し、さらに、Ｎ×Ｐの行列と、前記Ｐ×Ｍ個の中間値との乗算を行うことで、前記第１の予測誤差群からＮ×Ｍ個の変換係数である前記第１の変換係数群を導出し、
前記Ｎ×Ｍ個の要素を有する前記第１の量子化マトリクスは、Ｒ×Ｓ（ＲはＲ≦Ｎを満たす整数、かつ、ＳはＳ≦Ｍを満たす整数）個の要素を有する第３の量子化マトリクスにおける一部の要素を含むとともに前記第３の量子化マトリクスにおける他の要素を含まない量子化マトリクスであり、
前記Ｎ×Ｍ個の要素を有する前記第２の量子化マトリクスは、Ｒ×Ｓ個の要素を有する第４の量子化マトリクスにおける全ての要素を含む量子化マトリクスであり、
前記第３の量子化マトリクスは前記第４の量子化マトリクスとは異なり、
前記第１の量子化マトリクスは、ＤＣ成分に対応する要素以外は、前記第３の量子化マトリクスにおける前記一部の要素で構成される量子化マトリクスであり、
前記第２の量子化マトリクスは、ＤＣ成分に対応する要素以外は、前記第４の量子化マトリクスにおける前記全ての要素で構成される量子化マトリクスであり、
前記量子化手段は、量子化変換係数群を導出するために、量子化パラメータを更に用いる
ことを特徴とする画像符号化装置。
【請求項１０】
Ｐ×Ｑ画素（Ｐ及びＱは整数）の第１のブロックと、Ｎ×Ｍ画素（ＮはＮ＜Ｐを満たす整数、かつ、ＭはＭ＜Ｑを満たす整数）の第２のブロックとを含む複数のブロックを用いて画像を符号化することが可能な画像符号化方法において、
前記第１のブロックに対応する第１の予測誤差群に対して変換処理を実行することによって第１の変換係数群を導出し、前記第２のブロックに対応する第２の予測誤差群に対して変換処理を実行することによって第２の変換係数群を導出する変換工程と、
Ｎ×Ｍ個の要素を有する第１の量子化マトリクスを用いて前記第１の変換係数群を量子化して第１の量子化変換係数群を導出し、Ｎ×Ｍ個の要素を有する第２の量子化マトリクスを用いて前記第２の変換係数群を量子化して第２の量子化変換係数群を導出する量子化工程と、
前記第１のブロックに対応する前記第１の量子化変換係数群に対応するデータと、前記第２のブロックに対応する前記第２の量子化変換係数群に対応するデータとを符号化する符号化工程と
を有し、
少なくとも前記第１の予測誤差群は、イントラ予測とインター予測とを組み合わせた予測方法を用いて導出することが可能であり、
符号化対象のブロックが前記第１のブロックである場合、前記変換工程において、Ｐ×Ｑ個の予測誤差である前記第１の予測誤差群と、Ｑ×Ｍの行列との乗算を行うことで、Ｐ×Ｍ個の中間値を導出し、さらに、Ｎ×Ｐの行列と、前記Ｐ×Ｍ個の中間値との乗算を行うことで、前記第１の予測誤差群からＮ×Ｍ個の変換係数である前記第１の変換係数群を導出し、
前記Ｎ×Ｍ個の要素を有する前記第１の量子化マトリクスは、Ｒ×Ｓ（ＲはＲ≦Ｎを満たす整数、かつ、ＳはＳ≦Ｍを満たす整数）個の要素を有する第３の量子化マトリクスにおける一部の要素を含むとともに前記第３の量子化マトリクスにおける他の要素を含まない量子化マトリクスであり、
前記Ｎ×Ｍ個の要素を有する前記第２の量子化マトリクスは、Ｒ×Ｓ個の要素を有する第４の量子化マトリクスにおける全ての要素を含む量子化マトリクスであり、
前記第３の量子化マトリクスは前記第４の量子化マトリクスとは異なり、
前記第１の量子化マトリクスは、ＤＣ成分に対応する要素以外は、前記第３の量子化マトリクスにおける前記一部の要素で構成される量子化マトリクスであり、
前記第２の量子化マトリクスは、ＤＣ成分に対応する要素以外は、前記第４の量子化マトリクスにおける前記全ての要素で構成される量子化マトリクスであり、
前記量子化工程において、量子化変換係数群を導出するために、量子化パラメータが更に用いられる
ことを特徴とする画像符号化方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は画像符号化技術に関する。
続きを表示（約 3,900 文字）【背景技術】
【０００２】
動画像を圧縮する符号化方式として、ＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣと記す）が知られている。ＨＥＶＣでは符号化効率の向上のため、従来のマクロブロック（１６×１６画素）より大きなサイズの基本ブロックが採用された。この大きなサイズの基本ブロックはＣＴＵ（ＣｏｄｉｎｇＴｒｅｅＵｎｉｔ）と呼ばれ、そのサイズは最大６４×６４画素である。ＣＴＵはさらに予測や変換を行う単位となるサブブロックに分割される。
【０００３】
また、ＨＥＶＣにおいては、直交変換を施した後の係数（以下、直交変換係数と記す）を、周波数成分に応じて重み付けをするために量子化マトリクスが用いられている。量子化マトリクスが用いることで、人間の視覚において劣化が目立ちにくい高周波成分のデータを、低周波成分のデータよりも削減することで、画質を維持しながら圧縮効率を高めることが可能となっている。特開２０１３－３８７５８（特許文献１）では、このような量子化マトリクスを示す情報を符号化する技術が開示されている。
【０００４】
また、近年、ＨＥＶＣの後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始されている。具体的には、ＩＳＯ／ＩＥＣとＩＴＵ－Ｔとによって設立されたＪＶＥＴ（ＪｏｉｎｔＶｉｄｅｏＥｘｐｅｒｔｓＴｅａｍ）によって、ＶＶＣ（ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ）符号化方式（以下、ＶＶＣ）の標準化が進められている。この標準化において、符号化効率の向上のため、直交変換を行う際のブロックサイズが大きい場合に、高周波成分の直交変換係数を強制的に０とすることで符号量を削減する新たな手法（以下、ゼロアウトと呼称する）が検討されている。
【先行技術文献】
【特許文献】
【０００５】
特開２０１３－３８７５８
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明の目的は、一部の直交変換係数を強制的に０とする手法をより効率的に実行することを目的としている。
【課題を解決するための手段】
【０００７】
前述の問題点を解決するため、本発明の画像復号装置は以下の構成を有する。すなわち、Ｐ×Ｑ画素（Ｐ及びＱは整数）の第１のブロックと、Ｎ×Ｍ画素（ＮはＮ＜Ｐを満たす整数、かつ、ＭはＭ＜Ｑを満たす整数）の第２のブロックとを含む複数のブロックを用いてビットストリームから画像を復号することが可能な画像復号装置において、前記第１のブロックに対応する第１の量子化変換係数群に対応するデータと、前記第２のブロックに対応する第２の量子化変換係数群に対応するデータとを前記ビットストリームから復号する復号手段と、Ｎ×Ｍ個の要素を有する第１の量子化マトリクスを用いて前記第１の量子化変換係数群から周波数成分を表す第１の変換係数群を導出し、Ｎ×Ｍ個の要素を有する第２の量子化マトリクスを用いて前記第２の量子化変換係数群から周波数成分を表す第２の変換係数群を導出する逆量子化手段と、前記第１の変換係数群に対して逆変換処理を実行することによって前記第１のブロックに対応する第１の予測誤差群を導出し、前記第２の変換係数群に対して逆変換処理を実行することによって前記第２のブロックに対応する第２の予測誤差群を導出する逆変換手段と、前記第１の予測誤差群と予測画像データとに基づく画像データを少なくとも再生する再生部とを有し、前記予測画像データは、イントラ予測とインター予測とを組み合わせた予測方法を用いて導出することが可能であり、復号対象のブロックが前記第１のブロックである場合、前記逆変換手段は、Ｎ×Ｍ個の変換係数である前記第１の変換係数群と、Ｍ×Ｑの行列との乗算を行うことで、Ｎ×Ｑ個の中間値を導出し、さらに、Ｐ×Ｎの行列と、前記Ｎ×Ｑ個の中間値との乗算を行うことで、前記第１の変換係数群からＰ×Ｑ個の予測誤差である前記第１の予測誤差群を導出し、前記Ｎ×Ｍ個の要素を有する前記第１の量子化マトリクスは、Ｒ×Ｓ（ＲはＲ≦Ｎを満たす整数、かつ、ＳはＳ≦Ｍを満たす整数）個の要素を有する第３の量子化マトリクスにおける一部の要素を含むとともに前記第３の量子化マトリクスにおける他の要素を含まない量子化マトリクスであり、前記Ｎ×Ｍ個の要素を有する前記第２の量子化マトリクスは、Ｒ×Ｓ個の要素を有する第４の量子化マトリクスにおける全ての要素を含む量子化マトリクスであり、前記第３の量子化マトリクスは前記第４の量子化マトリクスとは異なり、前記第１の量子化マトリクスは、ＤＣ成分に対応する要素以外は、前記第３の量子化マトリクスにおける前記一部の要素で構成される量子化マトリクスであり、前記第２の量子化マトリクスは、ＤＣ成分に対応する要素以外は、前記第４の量子化マトリクスにおける前記全ての要素で構成される量子化マトリクスであり、前記逆量子化手段は、変換係数群を導出するために、量子化パラメータを更に用いる。
【０００８】
前述の問題点を解決するため、本発明の画像符号化装置は以下の構成を有する。すなわち、Ｐ×Ｑ画素（Ｐ及びＱは整数）の第１のブロックと、Ｎ×Ｍ画素（ＮはＮ＜Ｐを満たす整数、かつ、ＭはＭ＜Ｑを満たす整数）の第２のブロックとを含む複数のブロックを用いて画像を符号化することが可能な画像符号化装置において、前記第１のブロックに対応する第１の予測誤差群に対して変換処理を実行することによって第１の変換係数群を導出し、前記第２のブロックに対応する第２の予測誤差群に対して変換処理を実行することによって第２の変換係数群を導出する変換手段と、Ｎ×Ｍ個の要素を有する第１の量子化マトリクスを用いて前記第１の変換係数群を量子化して第１の量子化変換係数群を導出し、Ｎ×Ｍ個の要素を有する第２の量子化マトリクスを用いて前記第２の変換係数群を量子化して第２の量子化変換係数群を導出する量子化手段と、前記第１のブロックに対応する前記第１の量子化変換係数群に対応するデータと、前記第２のブロックに対応する前記第２の量子化変換係数群に対応するデータとを符号化する符号化手段とを有し、少なくとも前記第１の予測誤差群は、イントラ予測とインター予測とを組み合わせた予測方法を用いて導出することが可能であり、符号化対象のブロックが前記第１のブロックである場合、前記変換手段は、Ｐ×Ｑ個の予測誤差である前記第１の予測誤差群と、Ｑ×Ｍの行列との乗算を行うことで、Ｐ×Ｍ個の中間値を導出し、さらに、Ｎ×Ｐの行列と、前記Ｐ×Ｍ個の中間値との乗算を行うことで、前記第１の予測誤差群からＮ×Ｍ個の変換係数である前記第１の変換係数群を導出し、前記Ｎ×Ｍ個の要素を有する前記第１の量子化マトリクスは、Ｒ×Ｓ（ＲはＲ≦Ｎを満たす整数、かつ、ＳはＳ≦Ｍを満たす整数）個の要素を有する第３の量子化マトリクスにおける一部の要素を含むとともに前記第３の量子化マトリクスにおける他の要素を含まない量子化マトリクスであり、前記Ｎ×Ｍ個の要素を有する前記第２の量子化マトリクスは、Ｒ×Ｓ個の要素を有する第４の量子化マトリクスにおける全ての要素を含む量子化マトリクスであり、前記第３の量子化マトリクスは前記第４の量子化マトリクスとは異なり、前記第１の量子化マトリクスは、ＤＣ成分に対応する要素以外は、前記第３の量子化マトリクスにおける前記一部の要素で構成される量子化マトリクスであり、前記第２の量子化マトリクスは、ＤＣ成分に対応する要素以外は、前記第４の量子化マトリクスにおける前記全ての要素で構成される量子化マトリクスであり、前記量子化手段は、量子化変換係数群を導出するために、量子化パラメータを更に用いる。
【発明の効果】
【０００９】
本発明によれば、一部の直交変換係数を強制的に０とする手法をより効率的に実行することを目的としている。
【図面の簡単な説明】
【００１０】
実施形態１における画像符号化装置の構成を示すブロック図である。
実施形態２における画像復号装置の構成を示すブロック図である。
実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャートである。
実施形態２に係る画像復号装置における画像復号処理を示すフローチャートである。
本発明の画像符号化装置や画像復号装置に適用可能なコンピュータのハードウェア構成例を示すブロック図である。
実施形態１で出力されるビットストリームの一例を示す図である。
実施形態１および実施形態２で用いられるサブブロック分割の一例を示す図である。
実施形態１および実施形態２で用いられる量子化マトリクスの一例を示す図である。
実施形態１および実施形態２で用いられる量子化マトリクスの各要素の走査方法を示す図である。
実施形態１および実施形態２で生成される量子化マトリクスの差分値行列を示す図である。
量子化マトリクスの差分値の符号化に用いられる符号化テーブルの一例を示す図である。
実施形態１および実施形態２で用いられる量子化マトリクスの他の例を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許