特許ウォッチ

公開番号2024121637
公報種別公開特許公報(A)
公開日2024-09-06
出願番号2023028843
出願日2023-02-27
発明の名称画像処理装置及びその制御方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 19/126 20140101AFI20240830BHJP(電気通信技術)
要約【課題】 VR画像を記録する際のデータ量を表示対象の画像の画質劣化を抑制しつつ、高い圧縮率で符号化する。
【解決手段】 VR画像を撮像するための第1、第2の光学系によって結像した画像を撮像センサより取得し、符号化する画像処理装置であって、撮像センサにより得た画像データを所定サイズのブロックを単位に量子化する量子化部と、量子化部が用いる量子化パラメータを決定し、量子化部に設定する量子化制御部と、量子化部で得た量子化後のデータを符号化する符号化部とを有する。ここで、量子化制御部は、VR画像に含まれる2つの光学系によって結像した2つの円周画像の位置とサイズを算出する算出部と、量子化対象ブロックの位置と、前記2つの円周画像それぞれの位置とサイズに基づいて、量子化対象ブロックの量子化パラメータを決定する決定部を有する。
【選択図】図1
特許請求の範囲【請求項１】
ＶＲ画像を撮像するための第１、第２の光学系によって結像した画像を撮像センサより取得し、符号化する画像処理装置であって、
前記撮像センサにより得た画像データを所定サイズのブロックを単位に量子化する量子化手段と、
前記量子化手段が用いる量子化パラメータを決定し、前記量子化手段に設定する量子化制御手段と、
前記量子化手段で得た量子化後のデータを符号化する符号化手段とを有し、
前記量子化制御手段は、
前記ＶＲ画像に含まれる前記第１、第２の光学系によって結像した２つの円周画像の位置とサイズを算出する算出手段と、
量子化対象ブロックの位置と、前記２つの円周画像それぞれの位置とサイズに基づいて、前記量子化対象ブロックの量子化パラメータを決定する決定手段を有する
ことを特徴とする画像処理装置。
続きを表示（約 2,500 文字）【請求項２】
前記決定手段は、基準量子化パラメータＱを補正するための補正量ΔＱを、前記量子化対象ブロックの位置と、前記２つの円周画像それぞれの位置とサイズを表す中心座標及び半径に基づいて決定し、
前記補正量ΔＱは、ΔＱ２≦ΔＱ１≦ΔＱ３なる大小関係を有するΔＱ１、ΔＱ２、ΔＱ３を有し、
前記決定手段は、
前記量子化対象ブロックの位置が前記第１または前記第２の円周画像にあって、その中心座標からの距離が閾値以下である場合はΔＱ１，
前記量子化対象ブロックの位置が前記第１または前記第２の円周画像にあって、その中心座標からの距離が閾値以上である場合はΔＱ２，
前記量子化対象ブロックの位置が遮光領域内である場合はΔＱ３
を前記補正量ΔＱとして決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、基準量子化パラメータＱを補正するための補正量ΔＱを、前記量子化対象ブロックの位置と前記２つの円周画像それぞれの中心座標との距離ｄと半径ｒに基づいて決定し、
前記決定手段は、予め設定された量子化パラメータの設定下限値をｑｍｉｎ、基準量子化パラメータをｑｂａｓｅとしたとき、
前記距離ｄが、円周画像の中心座標から外周までの距離ｒより大きい場合はΔＱ３、
前記距離ｄが、円周画像の中心座標から外周までの距離ｒ以下である場合は、ｄ／ｒ×（ｑｍｉｎ－ｑｂａｓｅ）を
を前記補正量ΔＱとして決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記ＶＲ画像には、オプティカルブラック領域（ＯＢ領域）が含まれ、
前記決定手段は、前記量子化対象ブロックの位置が前記ＯＢ領域内にある場合は、ΔＱ１≦ΔＱ０≦ΔＱ３の関係を有するΔＱ０を、前記補正量ΔＱとして決定する
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記円周画像は、前記第１、第２の光学系によるイメージサークルの外周であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第１、第２の光学系は、脱着可能なレンズであって、
前記レンズに固有の情報を用いて、前記２つの円周画像の中心座標と半径を算出する手段を更に有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記撮像センサは、ベイヤ配列のフィルタを有するセンサであって、
前記撮像センサより得たベイヤ配列の画像を、輝度成分を表すプレーンＹと、色差成分を表すプレーンＣ０、Ｃ１、Ｃ２の４つプレーンに変換する変換手段と、
該変換手段で得た各プレーンに対してウェーブレット変換を予め設定されたｎ回実行することで、分解レベルｎのサブバンドを生成する周波数変換手段とを有し、
前記周波数変換手段で得た分解レベルｎのサブバンドｎＬＬ、ｎＨＬ，ｎＬＨ、ｎＨＨ，…、１ＨＬ，１ＬＨ，１ＨＨにおける、空間位置が同じ係数で構成されるデータを、前記量子化対象ブロックとする
ことを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記周波数変換手段で得た分解レベル１のサブバンド１ＬＬにおける、前記量子化対象ブロックと同じ空間の係数の平均値と、予め設定された明暗の判定用の閾値と比較することで、前記量子化対象ブロックが明部か暗部かを判定する明暗判定手段と、
前記周波数変換手段で得た分解レベル１のサブバンド１ＨＬ，１ＬＨ，１ＨＨそれぞれにおける前記量子化対象ブロックと同じ空間の係数の平均値ac_1HL、ac_1LH、ac_1HHを算出し、算出した平均値ac_1HL、ac_1LH、ac_1HHにおける最大値と、予め設定された複雑度の判定用の閾値と比較することで、前記量子化対象ブロックが複雑か平坦かを判定する複雑度判定手段と、
前記明暗判定手段、及び、前記複雑度判定手段それぞれの判定の結果に従い、前記量子化対象ブロックの前記基準量子化パラメータＱを更に補正する第２の補正量Δ２Ｑを決定する第２の決定手段とを備え、
前記第２の補正量Δ２Ｑは、ΔＱ４≦ΔＱ５≦ΔＱ６≦ΔＱ７なる大小関係を有するΔＱ４、ΔＱ５、ΔＱ６，ΔＱ７を有し、
前記第２の決定手段は、
前記量子化対象ブロックが暗部にあり、且つ、前記平坦である場合はΔＱ４、
前記量子化対象ブロックが明部にあり、且つ、前記平坦である場合はΔＱ５、
前記量子化対象ブロックが暗部にあり、且つ、前記複雑である場合はΔＱ６、
前記量子化対象ブロックが明部にあり、且つ、前記複雑である場合はΔＱ７、
を前記第２の補正量Δ２Ｑとして決定する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
ＶＲ画像を撮像するための第１、第２の光学系によって結像した画像を撮像センサより取得し、符号化する画像処理装置の制御方法であって、
前記撮像センサにより得た画像データを所定サイズのブロックを単位に量子化する量子化工程と、
前記量子化工程で用いる量子化パラメータを決定し、前記量子化工程に設定する量子化制御工程と、
前記量子化工程で得た量子化後のデータを符号化する符号化工程とを有し、
前記量子化制御工程は、
前記ＶＲ画像に含まれる前記第１、第２の光学系によって結像した２つの円周画像の位置とサイズを算出する算出工程と、
量子化対象ブロックの位置と、前記２つの円周画像それぞれの位置とサイズに基づいて、前記量子化対象ブロックの量子化パラメータを決定する決定工程を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１０】
コンピュータが読み込み実行することで、前記コンピュータに、請求項９に記載の方法が有する各工程を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像の符号化技術に関するものである。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
２つの光学系を用いて視差のある広視野角の画像を取得して、仮想球体上にマッピングして表示することで立体感のあるＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）画像を表示する技術が知られている。このＶＲ画像を撮影するための２眼ＶＲカメラは、同じ方向を向いた２つの光学系を備える。そして、１度の撮影で視差のある２つの被写体像を左右に並べて１つのセンサ上に結像する。そして、そのセンサで得た画像をＶＲ画像として記録する。
【０００３】
関連技術として、特許文献１に、視差のある２つの被写体像をそれぞれ左右に並べ、１つのセンサを介して記録する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－４６２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された従来技術では、ＶＲ画像を圧縮符号化する具体的な方法が開示されていない。ＶＲ画像やＶＲ映像を快適に視聴するためには高解像度、高フレームレートで記録することが必要であり、記録データ量が大きくなるという問題がある。
【０００６】
本発明は、係る問題に鑑みされたものであり、ＶＲ画像を記録する際のデータ量を表示対象の画像の画質劣化を抑制しつつ、高い圧縮率で符号化する技術を提供しようとするものである。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
ＶＲ画像を撮像するための第１、第２の光学系によって結像した画像を撮像センサより取得し、符号化する画像処理装置であって、
前記撮像センサにより得た画像データを所定サイズのブロックを単位に量子化する量子化手段と、
前記量子化手段が用いる量子化パラメータを決定し、前記量子化手段に設定する量子化制御手段と、
前記量子化手段で得た量子化後のデータを符号化する符号化手段とを有し、
前記量子化制御手段は、
前記ＶＲ画像に含まれる前記第１、第２の光学系によって結像した２つ円周画像の位置とサイズを算出する算出手段と、
量子化対象ブロックの位置と、前記２つの円周画像それぞれの位置とサイズに基づいて、前記量子化対象ブロックの量子化パラメータを決定する決定手段を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ＶＲ画像を記録する際のデータ量を表示対象の画像の画質劣化を抑制しつつ、高い圧縮率で符号化することが可能になる。
【図面の簡単な説明】
【０００９】
第１の実施形態に係る画像処理装置のブロック構成図。
ＶＲ画像を説明するための図。
ベイヤー配列を説明するための図。
ウェーブレット変換を説明するための図。
第１の実施形態に係る量子化制御部のブロック構成図。
画素とウェーブレット変換後の係数の空間的な位置関係と量子化制御単位を説明するための図。
ＶＲ画像を構成する各種パラメータを説明するための図。
第１の実施形態における量子化パラメータ補正量の設定例を示す図。
第１の実施形態に係る制御部による量子化パラメータ補正量の決定手順を示すフローチャート。
第１の実施形態に係る量子化制御部による特徴情報の算出単位を説明するための図。
第１の実施形態に係る量子化制御部による量子化パラメータ補正量の設定例を示す図。
第１の実施形態に係る量子化制御部による量子化パラメータ補正量の決定手順を示すフローチャート。
第１の実施形態に係る量子化パラメータ補正部による量子化パラメータ出力手順を示すフローチャート。
第２の実施形態に係る制御部による量子化パラメータ補正量の決定手順を示すフローチャート。
第２の実施形態に係る画像処理装置のブロック構成図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許