特許ウォッチ

公開番号2025074260
公報種別公開特許公報(A)
公開日2025-05-13
出願番号2025033158,2021148905
出願日2025-03-03,2021-09-13
発明の名称画像処理装置、撮像装置、制御方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 23/741 20230101AFI20250502BHJP(電気通信技術)
要約【課題】ダイナミックレンジを拡張した合成画像の生成について好適な合成割合を決定する。
【解決手段】画像処理装置は、異なる露出量で撮影された複数のHDR(High Dynamic Range)画像のそれぞれについて、撮影の露出情報、及び画像に表現されるダイナミックレンジの上限値を取得する取得手段と、複数のHDR画像を合成してさらにダイナミックレンジを拡張した合成画像を生成する合成処理について、取得手段により取得された露出情報及びダイナミックレンジの上限値に基づいて、合成画像の信号域ごとの各HDR画像の合成割合を決定する決定手段と、を有することを特徴とする。
【選択図】図4
特許請求の範囲【請求項１】
異なる露出量で撮影された複数のＨＤＲ（High Dynamic Range）画像であって、シーン輝度が絶対輝度方式で表現された複数のＨＤＲ画像を合成する画像処理装置であって、
前記複数のＨＤＲ画像のそれぞれについて、出力ダイナミックレンジの上限値を示す信号値を特定する特定手段と、
前記特定手段により特定された前記信号値に基づいて、前記複数のＨＤＲ画像の合成割合を決定する決定手段と、
前記複数のＨＤＲ画像のそれぞれの前記合成割合の傾向を切り替える基準の信号閾値を取得する取得手段と、
を有し、
前記決定手段は、前記複数のＨＤＲ画像の各々の前記出力ダイナミックレンジの上限値を示す前記信号値に基づいて、前記取得手段により取得された前記信号閾値を変更し、当該変更後の信号閾値に基づいて前記合成割合を決定することを特徴とする画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記決定手段は、さらに前記複数のＨＤＲ画像の露出量に基づいて、前記複数のＨＤＲ画像の合成割合を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定手段は、前記複数のＨＤＲ画像の露出合わせを行うことで、前記出力ダイナミックレンジの上限値を示す前記信号値を特定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記複数のＨＤＲ画像のそれぞれの前記出力ダイナミックレンジの上限値を示す前記信号値を当該画像の露出量に基づいて補正し、前記複数のＨＤＲ画像の前記補正後の出力ダイナミックレンジの上限値を示す信号値に基づいて前記複数のＨＤＲ画像の合成割合を決定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記補正は、ゲインを調整することで、前記複数のＨＤＲ画像のいずれかの露出量に他のＨＤＲ画像の露出量を合わせる処理であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記決定手段は、前記複数のＨＤＲ画像のそれぞれの前記補正後の出力ダイナミックレンジの上限値を超える信号域について当該画像を合成しないよう、前記合成割合を決定することを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記複数のＨＤＲ画像を合成する信号域について、前記複数のＨＤＲ画像のそれぞれの合成割合の傾向を切り替える基準の信号閾値を定義した基準Ｍｉｘテーブルを取得する手段をさらに有し、
前記決定手段は、前記複数のＨＤＲ画像の前記補正後の出力ダイナミックレンジの上限値を示す信号値に基づいて前記基準Ｍｉｘテーブルの前記信号閾値を変更して変更Ｍｉｘテーブルを構成し、当該変更Ｍｉｘテーブルに基づいて前記合成割合を決定する
ことを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記複数のＨＤＲ画像のそれぞれは、ガンマが適用されて信号値が非線形化された画像であり、
前記決定手段は、前記複数のＨＤＲ画像のそれぞれの前記出力ダイナミックレンジの上限値を示す前記信号値にデガンマを適用して線形化した後に前記補正を行う
ことを特徴とする請求項４乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記特定手段は、前記複数のＨＤＲ画像のそれぞれの前記出力ダイナミックレンジの上限値を示す前記信号値を、当該画像の撮像時に設定されていた撮像モードに応じて特定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記特定手段が前記複数のＨＤＲ画像のそれぞれについて特定する前記出力ダイナミックレンジの上限値を示す前記信号値は、当該画像のビット深度における最大信号値より低いことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特には高ダイナミックレンジ画像信号の合成技術に関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
異なる露出量でシーンを撮影した複数枚の標準ダイナミックレンジ（ＳＤＲ）画像を合成することで、ダイナミックレンジを拡張した高ダイナミックレンジ（ＨＤＲ）合成画像を生成する技術がある。特許文献１では、適正露出の撮影で得られた適性画像、アンダー露出で得られたアンダー画像、オーバー露出で得られたオーバー画像の３種類のＳＤＲ画像を、予め定められた合成割合に従って合成することで、ＨＤＲ（High Dynamic Range）合成画像を生成している。より詳しくは、合成基準の輝度閾値Ｙ１、Ｙ２、Ｙ３、Ｙ４（特許文献１の図１０）を定め、Ｙ１より暗い輝度域はオーバー画像を、Ｙ２～Ｙ３の輝度域は適性画像を、Ｙ４より明るい輝度域はアンダー画像をそれぞれ使用するよう合成が制御される。またＹ１～Ｙ２及びＹ３～Ｙ４の中間領域については、それぞれオーバー画像と適性画像、適性画像とアンダー画像の合成比率（加重加算係数）を徐々に変化させるよう、合成が制御される。このような合成制御により、３種類の露出条件のＳＤＲ画像から、好適にダイナミックレンジを拡張したＨＤＲ合成画像を得ることができる。
【０００３】
また近年ではＬＥＤ等の発光素子の性能が向上しており、従来よりも表示輝度のダイナミックレンジが広いＨＤＲディスプレイと呼ばれる表示装置が登場している。このような表示装置では、高輝度域の色やディテールを有する画像（ＨＤＲ画像）を、より忠実に表示することができる。ＨＤＲ画像における映像信号レベルと表示輝度との関係を表す信号特性は、ＥＯＴＦ（Electro-Optical Transfer Function：電気光伝達関数）で規定されており、以下の２種類の方式が採用されている。１つは、ＡＲＩＢＳＴＤ－Ｂ６７で規格化されているＨＬＧ（Hybrid Log Gamma）方式であり、映像信号レベルを表示輝度の相対値に変換するため、表示装置が出力可能な最大輝度に応じた表示輝度になる。もう１つは、ＳＭＰＴＥＳＴ２０８４またはＩＴＵ－ＲＢＴ．２１００で規格化されているＰＱ（Perceptual Quantization）方式であり、映像信号レベルを最大１００００ｎｉｔ（またはｃｄ／ｍ
2
）の範囲で表示輝度の絶対値に変換する。従って、シーンを撮影して得られたＨＤＲ画像を表示する場合、前者の方式では、表示装置が出力可能な最大輝度に応じた表示輝度にシーン輝度が変換され、後者の方式では、表示装置によらず絶対的に定まる表示輝度にシーン輝度が変換される。故に、ＰＱ方式が採用された表示装置での表示を想定する場合、例えば撮像装置でのエンコードにおいて、絶対的な輝度値を示すようにシーン輝度の画像信号を変換し、ＨＤＲ画像を生成する必要がある。
【先行技術文献】
【特許文献】
【０００４】
特開２０１３－２４００３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、シーンについて、露出量を異ならせてこのようなＨＤＲ画像を取得して合成することで、さらにダイナミックレンジを拡張した合成画像を生成することもできる。即ち、特許文献１と同様に、適正露出の撮影で得られた適性ＨＤＲ画像、アンダー露出で得られたアンダーＨＤＲ画像、オーバー露出で得られたオーバーＨＤＲ画像の３種類のＨＤＲ画像を合成することで、よりディテールを表現した合成画像を生成できる。
【０００６】
一方で、シーン輝度を絶対的に表現するＰＱ方式のエンコードでは、同一のシーンを撮影したとしても、露出量の違いによりＨＤＲ画像に含まれるピーク輝度（表示輝度の最大値、出力ダイナミックレンジの最大値）が変化し得る。これは、センサ出力が飽和するシーン輝度が露出量に応じて変化するため、同一のシーン輝度に絶対的な表示輝度を割り当てるべく、変換に用いられるガンマカーブが異なることに依る。例えば、図１に示されるように、露出量の異なる２種類の撮影モードについての入出力特性（入力段数と出力輝度の関係）は、ピーク輝度（出力輝度の最大値）が異なる。ここで、露出量の高い撮影モードにおける入出力特性１１が実線で表され、露出量の低い撮影モードにおける入出力特性１２が一点鎖線で示されている。図示されるように、２つの撮影モードでは、高輝度域以外は共通の入出力特性を示し、露出量によらず同一の表示輝度に変換されるのに対し、高輝度域では飽和する輝度の違いに応じ、ピーク輝度が値１３と１４で異なる。なお、値１５は、１０ｂｉｔにおける最大値（１０２３）を示しており、ＰＱ方式における最大表示輝度の１００００ｎｉｔに対応している。
【０００７】
従って、特許文献１のような合成方法を単純に適用したとしても、好適な合成画像が生成されない可能性がある。より詳しくは、特許文献１の合成方法は、露出条件ごとに最大値が２５５の画素値を割り当てた８ｂｉｔのＳＤＲ画像を前提としているため、２種類の画像を合成する輝度域において、該当の画像の双方の画素値を常に参照することができた。しかしながら、露出量の異なるＨＤＲ画像を合成する場合、２種類の画像を合成する輝度域において、高露出のＨＤＲ画像にピーク輝度を超える被写体が表現されないことがあり、好適な合成結果が得られない可能性がある。
【０００８】
例えば、図２のヒストグラム２４に示されるように適性ＨＤＲ画像の輝度が分布している（適性ＨＤＲ画像のピーク輝度が２５である）態様について、特許文献１の合成割合を適用した場合を考える。図において、二点鎖線２１、実線２２及び一点鎖線２３は、それぞれ特許文献１の合成割合に対応した、オーバーＨＤＲ画像の加重加算係数、適性ＨＤＲ画像の加重加算係数、アンダーＨＤＲ画像の加重加算係数を示しており、全輝度域で係数の総和は１である。このとき、図示されるように、適性ＨＤＲ画像とアンダーＨＤＲ画像が合成される輝度域（Ｙ３～Ｙ４）に適性ＨＤＲ画像のピーク輝度２５が含まれる場合、当該ピーク輝度～Ｙ４までの輝度域では適性ＨＤＲ画像が合成されないため、好適な合成結果とならない。換言すれば、適性ＨＤＲ画像は、センサ出力の飽和によりピーク輝度２５以上の画素を含まないため、合成画像の当該ピーク輝度近辺の被写体が分布する領域において、不自然な表現がなされる可能性があった。
【０００９】
以上説明した例のように、ピーク輝度が異なる複数の画像を合成した場合、不自然な画像となる可能性があった。
【００１０】
本発明は、上述の問題点に鑑みてなされたものであり、ダイナミックレンジを拡張した合成画像の生成について好適な合成割合を決定する画像処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許