特許ウォッチ

公開番号2024144523
公報種別公開特許公報(A)
公開日2024-10-11
出願番号2024117798,2023092309
出願日2024-07-23,2018-12-20
発明の名称画像処理装置、及び画像処理方法
出願人ソニーグループ株式会社
代理人弁理士法人酒井国際特許事務所
主分類H04N 19/117 20140101AFI20241003BHJP(電気通信技術)
要約【課題】画像処理装置及び画像処理方法を提供する。
【解決手段】本開示に係る画像処理装置は、復号画像のブロック境界を対象とし、直交変換で得る色差成分に関する色差関連パラメータを用いて算出した境界強度に基づき、前記復号画像の色差成分へのデブロックフィルタ適用要否を判定し、判定結果に基づき前記対象の近傍に位置する画素の色差成分にデブロックフィルタを適用し、前記境界強度は、前記色差関連パラメータに基づき、前記境界強度の算出対象の前記ブロック境界を挟むブロックに、前記色差成分における第1及び第2成分の夫々に対して独立して有意係数の有無を判定することで、前記第1及び前記第2成分夫々に対して独立に算出され、前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向のサイズに基づく判定と、により前記デブロックフィルタ適用要否を判定する。
【選択図】図7
特許請求の範囲【請求項１】
符号化ストリームを復号して復号画像を生成する復号部と、
前記復号画像のブロック境界を対象とし、直交変換により得られる色差成分の変換係数に関する情報である色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定する判定部と、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用するフィルタリング部と、
を備え、
前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、
前記判定部は、
前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、
画像処理装置。
続きを表示（約 950 文字）【請求項２】
前記判定部は、前記境界強度がインター予測に関連する値を有する場合に、前記ラージブロック判定を行う、
請求項１に記載の画像処理装置。
【請求項３】
前記色差成分は、Ｕ成分およびＶ成分からなり、前記第１の成分は前記Ｕ成分であり、前記第２の成分は前記Ｖ成分である、
請求項１に記載の画像処理装置。
【請求項４】
前記色差関連パラメータは、前記直交変換の変換ブロック内に有意係数が含まれるか否かを示すフラグを含む、
請求項１に記載の画像処理装置。
【請求項５】
前記境界強度は、複数のビットにより表現され、
前記複数のビットには、各成分に対応するビットが少なくとも１つずつ含まれる、請求項１に記載の画像処理装置。
【請求項６】
前記フィルタリング部は、前記デブロックフィルタとして、ウィークフィルタ、またはストロングフィルタを前記ブロック境界の近傍に位置する画素の色差成分に適用する、請求項１に記載の画像処理装置。
【請求項７】
前記ストロングフィルタの係数は、前記ストロングフィルタの適用対象範囲の中心位置において２であり、その他の位置において１である、請求項６に記載の画像処理装置。
【請求項８】
前記フィルタリング部は、前記ブロック境界から両側３画素までを前記ストロングフィルタの適用対象範囲とし、前記適用対象範囲の中心位置の両側の３画素を参照画素として、前記適用対象範囲に含まれる画素の色差成分に前記ストロングフィルタを適用する、請求項６に記載の画像処理装置。
【請求項９】
前記フィルタリング部は、前記ブロック境界から５画素以上離れた画素の代わりに、前記ブロック境界から４画素目の画素値を、パディングすることで前記参照画素の画素値として用いる、請求項８に記載の画像処理装置。
【請求項１０】
前記フィルタリング部は、量子化パラメータに基づいて特定されるパラメータt
C
に基づくクリッピング処理を行って、前記ストロングフィルタを適用する、請求項８に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、画像処理装置、及び画像処理方法に関する。
続きを表示（約 3,100 文字）【背景技術】
【０００２】
映像符号化方式の標準仕様の１つであるH.265/HEVCでは、符号化の際に生じるブロック歪みに起因する画質の劣化を抑制するために、復号画像のブロック境界にデブロックフィルタが適用される。H.265/HEVCでは、輝度成分に適用され得るデブロックフィルタがウィークフィルタとストロングフィルタの２種類である一方で、色差成分に適用され得るデブロックフィルタはウィークフィルタの１種類のみであった。
【０００３】
また、現在、H.265/HEVCよりも符号化効率をさらに向上することを目的として、ITU-TとISO/IECとの共同の標準化団体であるJVET（Joint Video Experts Team）により、次世代の映像符号化方式であるFVC（Future Video Coding）の標準化作業が進められている（例えば、非特許文献１参照）。
【０００４】
FVCの標準化作業では、下記非特許文献２において、色差成分に適用され得るデブロックフィルタを、輝度成分に適用され得るデブロックフィルタと同様に２種類に変更し、色差成分に対してもストロングフィルタが適用され得る手法が提案されている。
【先行技術文献】
【非特許文献】
【０００５】
J. Chen， E. Alshina， G. J. Sullivan， J.-R. Ohm， J. Boyce，“Algorithm Description of Joint Exploration Test Model (JEM7)”， JVET-G1001， Joint Video Exploration Team (JVET) of ITU－T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13－21 July 2017
Seung-Hwan Kim， Jie Zhao， Misra Kiran and Andrew Segall， “Improvement of chroma deblocking filter”， JVET-D0108， Joint Video Exploration Team (JVET) of ITU－T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 15－21 October 2016
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のようなデブロックフィルタの適用要否は、ブロック境界の境界強度を用いて判定されており、ブロック境界の境界強度の算出は、色差成分の情報が用いられることなく、輝度成分の情報に基づいて行われていた。しかし、復号画像の色差成分に対するデブロックフィルタの適用要否を、輝度成分の情報に基づいて特定される境界強度を用いて判定すると、適切にデブロックフィルタを適用できず、ブロック歪みが残ってしまう恐れがあった。
【０００７】
そこで、本開示では、復号画像の色差成分に対して、より適切にデブロックフィルタを適用することが可能な仕組みを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、符号化ストリームを復号して復号画像を生成する復号部と、前記復号画像のブロック境界を対象とし、直交変換により得られる色差成分の変換係数に関する情報である色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定する判定部と、前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用するフィルタリング部と、を備え、前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、前記判定部は、前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、画像処理装置が提供される。
【０００９】
また、本開示によれば、符号化ストリームを復号して復号画像を生成することと、前記復号画像のブロック境界を対象とし、直交変換により得られる色差成分の変換係数に関する情報である色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定することと、前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用することと、を含み、前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、前記判定することは、前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、画像処理方法が提供される。
【００１０】
また、本開示によれば、ローカル復号による処理で復号された復号画像のブロック境界を対象とし、直交変換により得られる色差成分の変換係数に関する情報である色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定する判定部と、前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用するフィルタリング部と、前記フィルタリング部により前記デブロックフィルタが適用された前記復号画像を用いて、画像を符号化する符号化部と、を備え、前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、前記判定部は、前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、画像処理装置が提供される。
（【００１１】以降は省略されています）

関連特許