特許ウォッチ

公開番号2023166602
公報種別公開特許公報(A)
公開日2023-11-21
出願番号2023155933,2021111342
出願日2023-09-21,2012-09-06
発明の名称復号方法および復号装置
出願人サンパテントトラスト
代理人個人,個人,個人
主分類H04N 19/117 20140101AFI20231114BHJP(電気通信技術)
要約【課題】効率的なデブロッキングフィルタリング手法を用いた復号方法を提供する。
【解決手段】復号方法は、隣接する第1ブロックの第1セグメント及び第2ブロックの第1セグメントのそれぞれに含まれる隣接画素にデブロッキングフィルタを適用するか否かを判断し、そのデブロッキングフィルタにより修正されるサンプル数を示すタイプを選択し、その判断に用いられるサンプル画素は、第1ブロックの第1セグメントと第2ブロックの第1セグメント内それぞれに含まれるサンプル画素のみに含まれ、上述の選択では、上記判断に用いられた画素が属する画素列に属する画素のみを用いて、第1ブロックの第1セグメント及び第2ブロックの第1セグメントのそれぞれに含まれる第1境界に垂直なサンプル画素の画素列ごとに対象画素列以外の画素列のサンプル画素を使うことなく、デブロッキングフィルタにより修正されるサンプル数を示すタイプが選択される。
【選択図】図20A
特許請求の範囲【請求項１】
複数の画素からなる画像の符号化済み対象ブロックを復号する復号方法であって、
前記符号化済み対象ブロックを再構成するステップと、
再構成されたブロックをデブロッキングするフィルタリングステップとを含み、
前記フィルタリングステップでは、
第１境界で区別される第１ブロックと第２ブロックとにおいて、前記第１ブロックは当該第１境界に垂直なラインに沿って少なくとも第１セグメント、第２セグメントとを含む複数のセグメントに分割され、前記第２ブロックは当該第１境界に垂直なラインに沿って少なくとも第１セグメント、第２セグメントとを含む複数のセグメントに分割され、
隣接する前記第１ブロックの第１セグメント及び前記第２ブロックの第１セグメントのそれぞれに含まれる前記第１境界を挟んで隣接する隣接画素にデブロッキングフィルタを適用するか否かを判断し、
前記隣接画素が属するラインに適用する前記デブロッキングフィルタにより修正されるサンプル数を示すタイプを複数のタイプから選択し、
前記判断に用いられるサンプル画素は、前記第１ブロックの第１セグメントと前記第２ブロックの第１セグメント内それぞれに含まれるサンプル画素のみに含まれ、
前記選択では、前記第１ブロックの第１セグメント及び前記第２ブロックの第１セグメントのそれぞれに含まれる前記第１境界に垂直なサンプル画素のラインごとに対象ライン以外のラインのサンプル画素を使うことなく、前記デブロッキングフィルタにより修正されるサンプル数を示すタイプが選択される、
復号方法。
続きを表示（約 700 文字）【請求項２】
複数の画素からなる画像の符号化済み対象ブロックを復号する復号装置であって、
前記符号化済み対象ブロックを再構成する再構成部と、
再構成されたブロックをデブロッキングするフィルタリング部とを備え、
前記フィルタリング部は、
第１境界で区別される第１ブロックと第２ブロックとにおいて、前記第１ブロックを当該第１境界に垂直なラインに沿って少なくとも第１セグメント、第２セグメントとを含む複数のセグメントに分割し、前記第２ブロックを当該第１境界に垂直なラインに沿って少
なくとも第１セグメント、第２セグメントとを含む複数のセグメントに分割し、
隣接する前記第１ブロックの第１セグメント及び前記第２ブロックの第１セグメントのそれぞれに含まれる前記第１境界を挟んで隣接する隣接画素にデブロッキングフィルタを適用するか否かを判断し、
前記隣接画素が属するラインに適用する前記デブロッキングフィルタにより修正されるサンプル数を示すタイプを複数のタイプから選択し、
前記判断に用いられるサンプル画素は、前記第１ブロックの第１セグメントと前記第２ブロックの第１セグメント内それぞれに含まれるサンプル画素のみに含まれ、
前記選択では、前記第１ブロックの第１セグメント及び前記第２ブロックの第１セグメントのそれぞれに含まれる前記第１境界に垂直なサンプル画素のラインごとに対象ライン以外のラインのサンプル画素を使うことなく、前記デブロッキングフィルタにより修正されるサンプル数を示すタイプが選択される、
復号装置。

発明の詳細な説明【技術分野】
【０００１】
［発明の属する技術分野］
本発明は画像のフィルタリングに関する。特に、本発明は、デブロッキングフィルタリングに関し、画像領域に対するデブロッキングフィルタリングを有効にするか無効にするかについての決定に関する。
続きを表示（約 4,200 文字）【背景技術】
【０００２】
［従来技術の説明］
現在、標準的な映像符号化アルゴリズムの大半はハイブリッド映像符号化に基づくものである。通常、ハイブリッド映像符号化方法は、所望の圧縮ゲインを達成するために、いくつかの異なる可逆圧縮方式と不可逆圧縮方式とを組み合わせたものである。ハイブリッド映像符号化は、ＩＳＯ／ＩＥＣ標準規格（ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４のようなＭＰＥＧ－Ｘ標準規格）と同様に、ＩＴＵ－Ｔ標準規格（Ｈ．２６１やＨ．２６３のようなＨ．２６ｘ標準規格）の基礎でもある。最新の映像符号化標準規格は、Ｈ．２６４／ＭＰＥＧ－４ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ（ＡＶＣ）と称されるものであり、これは、（ＩＴＵ－ＴグループとＩＳＯ／ＩＥＣＭＰＥＧグループとのジョイントチームである）ジョイントビデオチーム（ＪＶＴ）による標準化活動の成果である。このコーデックは、ＨＥＶＣ（Ｈｉｇｈ－ＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ）という名称の下で、ＪＣＴ－ＶＣ（ＪｏｉｎｔＣｏｌｌａｂｏｒａｔｉｖｅＴｅａｍｏｎＶｉｄｅｏＣｏｄｉｎｇ）によってさらに開発が進められており、特に高解像度の映像符号化の効率改善を目的としている。
【０００３】
エンコーダへ入力される映像信号は、フレームと呼ばれる画像のシーケンスであり、各フレームは２次元マトリクス状の複数の画素からなる。ハイブリッド映像符号化に基づく上述の標準規格は全て、個々の映像フレームを、複数の画素からなるより小さなブロックに分割することを含む。ブロックのサイズは、例えば、画像の内容によって異なる。符号化方法は、通常、ブロックごとに異なってもよい。例えばＨＥＶＣにおいて、そのようなブロックに許される最大サイズは６４×６４画素である。この最大サイズは最大符号化単位（ＬＣＵ）と称される。Ｈ．２６４／ＭＰＥＧ－４ＡＶＣにおいてマクロブロック（通常は１６×１６画素のブロックを指す）は、符号化が実行され、さらに何らかの符号化／復号ステップが適用されるより小さなサブブロックに分割される可能性がある基本の画像要素である。
【０００４】
典型的には、ハイブリッド映像符号化における符号化ステップには、空間的および／または時間的予測が含まれる。したがって、各符号化対象ブロックは、まず、空間的に隣接したブロックまたは時間的に隣接したブロック、つまり符号化済み映像フレームのブロックを用いて予測される。予測残差ブロックとも呼ばれる、符号化対象ブロックと予測との差分ブロックが、次に算出される。次の符号化ステップでは、残差ブロックが空間（画素）領域から周波数領域へ変換される。変換の目的は、入力ブロックの相関性を弱めることである。次の符号化ステップにおいて、変換係数が量子化される。このステップにおいて、実質的にロスが生じる（不可逆的な）圧縮が行われる。通常、圧縮変換係数値は、エントロピー符号化によって（可逆的に）さらに圧縮される。さらに、符号化映像信号を再構成するために必要な補助情報が符号化され、符号化映像信号とともに提供される。この情報は、例えば、空間的および／または時間的予測や量子化量等に関するものである。
【０００５】
図１は、Ｈ．２６４／ＭＰＥＧ－４ＡＶＣおよび／またはＨＥＶＣに準拠した、典型的なビデオエンコーダ１００の一例を示す。減算器１０５がまず、入力映像（入力信号ｓ）の符号化対象ブロックと、対応する予測ブロックＳ＾との差分を求める。その差分は、符号化対象ブロックの予測に用いられる。当該予測信号は、時間的予測または空間的予測１８０によって得られる。予測のタイプは、フレームごとまたはブロックごとに異なる可能性がある。時間的予測を用いて予測されたブロックおよび／またはフレームは「インター」符号化されたと称され、空間的予測を用いて予測されたブロックおよび／またはフレームは、「イントラ」符号化されたと称される。時間的予測を用いる予測信号は、メモリに格納されている、符号化済みの画像から導出する。空間的予測を用いる予測信号は、既に符号化・復号済みの、メモリに格納された隣接ブロックの境界画素値から導出される。入力信号と予測信号との差分ｅは、予測誤差または残差と呼ばれ、変換されて（１１０）係数となり、量子化される（１２０）。格納するデータ量をさらに削減し、かつ／または可逆的に送信するために、量子化係数にエントロピー符号化（１９０）を適用する。これは主に、可変長の符号語を有する符号を適用することによって達成される。この符号語の長さは、発生確率に基づいて選択される。
【０００６】
復号（再構成）映像信号ｓ’を得るため、ビデオエンコーダ１００に復号部を組み入れる。上記符号化ステップに合わせて、復号ステップは、逆量子化および逆変換（１３０）を含む。そのようにして得た予測誤差信号ｅ’は、量子化ノイズとも称される量子化誤差が原因で、元の予測誤差信号とは異なる。その後、復号予測誤差信号ｅ’を予測信号Ｓ＾に加える（１４０）ことで、再構成信号ｓ’を得る。エンコーダ側とデコーダ側の互換性を保つため、エンコーダ側とデコーダ側の両方で得られる、符号化され続いて復号された映像信号に基づいて、予測信号Ｓ＾を得る。
【０００７】
量子化の結果、再構成映像信号に量子化ノイズが重畳される。ブロック単位での符号化のため、重畳されたノイズはブロッキング特性を有することが多く、特に強い量子化が行われた場合は、復号画像のブロック境界が目立つことになる。ブロッキングアーチファクトは、人間の視覚認識上マイナス効果を及ぼす。これらのアーチファクトを減らすため、デブロッキングフィルタ１５０を全ての再構成画像ブロックに適用する。デブロッキングフィルタは、再構成信号ｓ’に適用される。例えば、Ｈ．２６４／ＭＰＥＧ－４ＡＶＣにおけるデブロッキングフィルタは、局所的適応能力を有する。ブロッキングノイズの程度が高い場合は、強い（帯域幅が狭い）ローパスフィルタが用いられ、ブロッキングノイズの程度が低い場合は、弱い（帯域幅が広い）ローパスフィルタが用いられる。ローパスフィルタの強度は、予測信号Ｓ＾および量子化予測誤差信号ｅ’によって決定される。デブロッキングフィルタは、概して、ブロックのエッジを平滑化し復号画像の主観的画質を改善する。さらに、画像内のフィルタリング済みの部分が次の画像の動き補償予測に用いられるため、フィルタリングによって予測誤差も減少し、符号化効率を改善することができる。
【０００８】
デブロッキングフィルタの後に、サンプル適応オフセット１５５および／または適応的ループフィルタ１６０を、デブロッキング済み信号ｓ’’を含む画像に適用してもよい。デブロッキングフィルタは主観的品質を改善する。一方で、サンプル適応オフセット（ＳＡＯ）およびＡＬＦは、画素単位の信頼性（「客観的」品質）の改善を目的とする。具体的には、ＳＡＯは、画素の最も近隣に従ってオフセットを追加する。適応的ループフィルタ（ＡＬＦ）は、圧縮によって起こる画像の歪みを補償するために用いられる。通常、適応的ループフィルタは、再構成済み画像ｓ’とソース画像ｓとの平均二乗誤差（ＭＳＥ）が最小化されるように決定されたフィルタ係数を有するウィーナフィルタである。ＡＬＦの係数を、フレーム単位で算出し送信してもよい。ＡＬＦはフレーム全体（映像シーケンスの画像）または局所領域（ブロック）に適用できる。フィルタリングする領域を示す追加的補助情報を、（ブロック単位、フレーム単位、または四分木単位で）送信してもよい。
【０００９】
インター符号化画像を復号するには、符号化および復号済み画像の一部も参照フレームバッファ１７０に格納する必要がある。インター符号化ブロックは、動き補償予測を用いることにより予測される（１８０）。まず、動き検出器により、符号化および復号済み映像フレーム内で対象ブロックに最も適合するブロックを見つける。この最適ブロックは予測信号となり、対象ブロックと最適ブロック間の相対的なずれ（動き）が、３次元の動きベクトルの形で動きデータとして信号で伝えられる。この動きデータは、符号化映像データとともに提供される補助情報内に含められる。３次元とは、２つの空間的な次元と１つの時間的な次元とからなる。予測精度を最適化するため、１／２画素解像度や１／４画素解像度などの空間的サブピクセル解像度で動きベクトルを求めてもよい。空間的サブピクセル解像度の動きベクトルは、復号済みフレーム内の、実存する画素値がない空間的位置、つまりサブピクセル位置を指してもよい。よって、動き補償予測を行うために、そのような画素値の空間的補間が必要である。これは、補間フィルタ（図１では予測ブロック１８０と統合されている）によって達成されてもよい。
【００１０】
イントラ符号化およびインター符号化モードの両方において、対象入力信号と予測信号との差分ｅが変換（１１０）および量子化（１２０）され、量子化係数となる。一般的に、２次元離散コサイン変換（ＤＣＴ）またはその整数バージョンなどの直交変換が使用される。なぜなら、これにより自然映像の相関が効率的に低下するからである。変換後、高周波成分よりも低周波成分の符号化により多くのビットが費やされる。これは通常、高周波成分よりも低周波成分が画質にとって重要であるからである。エントロピーコーダにおいて、２次元配列の量子化係数が１次元配列に変換される。典型的には、いわゆるジグザグスキャンによって変換される。ジグザグスキャンでは、２次元配列の左上隅にあるＤＣ係数から右下隅にあるＡＣ係数まで所定の順序で走査される。エネルギーは一般的に低周波に相当する２次元配列の係数の左上部分に集中するため、ジグザグスキャンを行うと、通常、最後の値がゼロとなる配列になる。これにより、実際のエントロピー符号化の一部として、またはその前処理として、ランレングス符号を用いる効率的な符号化が可能になる。
（【００１１】以降は省略されています）

関連特許