特許ウォッチ

公開番号2025074766
公報種別公開特許公報(A)
公開日2025-05-14
出願番号2023185791
出願日2023-10-30
発明の名称画像処理装置及び方法、撮像装置、プログラム及び記憶媒体
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 25/58 20230101AFI20250507BHJP(電気通信技術)
要約【課題】感度の異なる複数の画像を合成してダイナミックレンジを拡大するときに、偽色の発生を抑制すること。
【解決手段】複数の画素を有する撮像素子により、同じ被写体を複数の異なる感度で撮影した複数の画像の画素信号を取得する取得手段と、前記複数の画像の画素信号を、感度を揃えた画素信号に換算するための換算比率と、前記感度を揃えた前記複数の画像の画素信号を、画素ごとに合成するための合成比率とを求める演算手段と、前記複数の画像の画素信号を、前記換算比率および前記合成比率とを用いて、画素ごとにダイナミックレンジ拡大合成する合成手段と、を有し、前記演算手段は、前記複数の画素を分割した分割領域ごとに前記合成比率を求める。
【選択図】図7
特許請求の範囲【請求項１】
複数の画素を有する撮像素子により、同じ被写体を複数の異なる感度で撮影した複数の画像の画素信号を取得する取得手段と、
前記複数の画像の画素信号を、感度を揃えた画素信号に換算するための換算比率と、前記感度を揃えた前記複数の画像の画素信号を、画素ごとに合成するための合成比率とを求める演算手段と、
前記複数の画像の画素信号を、前記換算比率および前記合成比率とを用いて、画素ごとにダイナミックレンジ拡大合成する合成手段と、を有し、
前記演算手段は、前記複数の画素を分割した分割領域ごとに前記合成比率を求めることを特徴とする画像処理装置。
続きを表示（約 880 文字）【請求項２】
前記分割領域は、前記撮像素子を覆うカラーフィルタの配列の繰り返しの単位に相当する領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記カラーフィルタは、ベイヤー配列のカラーフィルタであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記演算手段は、前記分割領域ごとに、前記複数の画像の画素信号の輝度のうち、最大輝度に基づいて前記合成比率を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記演算手段は、前記複数の画像の画素信号を、最も高い感度に揃えるための前記換算比率を求めることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記演算手段は、前記分割領域ごとに、前記複数の画像の画素信号の輝度のうち、最小輝度に基づいて前記合成比率を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記演算手段は、前記複数の画像の画素信号を、最も低い感度に揃えるための前記換算比率を求めることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記演算手段は、前記感度間の比率に基づいて、前記換算比率を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記換算比率により感度を揃えた画素信号の輝度のうち、前記分割領域ごとに、最大輝度と最小輝度との輝度差が予め決められた閾値以上かどうかを判定する判定手段を更に有し、
前記演算手段は、前記輝度差が前記閾値以上の場合に、当該分割領域の前記合成比率を求め、前記輝度差が前記閾値未満の場合に、当該分割領域の画素ごとに前記合成比率を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
撮像素子と、
請求項１乃至９のいずれか１項に記載の画像処理装置と
を有することを特徴とする撮像装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置及び方法、撮像装置、プログラム及び記憶媒体に関し、特に、ダイナミックレンジ拡大合成技術に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
いわゆるＣＭＯＳイメージセンサには、各画素にメモリ部（電荷保持部）を持つことでグローバルシャッタ（以下、「ＧＳ」と称する。）機能を備えたＧＳセンサがある。このＧＳセンサの画素は、光電変換部に蓄積した信号電荷を電荷保持部へ転送するゲートを備えている。ＧＳセンサでは、基本的に全画素一斉に光電変換部から電荷保持部への転送を行い、光電変換部における電荷蓄積の開始及び終了のタイミングを全画素同じにすることで、ＧＳ機能を実現している。特許文献１には、１つの光電変換部に対して複数の電荷保持部を有するＧＳ画素の構成が開示されている。
【０００３】
また、１つの光電変換部に対して複数の電荷保持部を構成し、１フレーム期間中に複数回、電荷を各電荷保持部へと転送することで、各画素から、電荷蓄積時間が異なる複数の画素信号を取得することができる。そして、得られた複数の画素信号を画素毎に合成することで、ダイナミックレンジを拡大した画像を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
米国特許出願公開第２０１３／０１３５４８６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１のようにして電荷蓄積期間を異ならせたり、また、異なるゲインやＮＤフィルタ等を用いて、異なる感度で得られた複数の画素信号を使ってダイナミックレンジを拡大した一枚の画像を生成する場合、通常、感度の違いに応じて、得られた画素信号の輝度を補正してから合成する。
【０００６】
しかしながら、例えばＬＥＤ等の被写体光源の明滅周期の影響により、得られた画素信号の輝度の比率が、感度の違いに応じた理論通りの比率にならない場合がある。得られた画素信号の輝度の比率が理論的な比率から離れてしまうと、複数の画素信号を合成する際にＲＧＢ比が崩れて、偽色が発生してしまう。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、異なる感度で得られた複数の画像を合成してダイナミックレンジを拡大するときに、偽色の発生を抑制することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明の画像処理装置は、複数の画素を有する撮像素子により、同じ被写体を複数の異なる感度で撮影した複数の画像の画素信号を取得する取得手段と、前記複数の画像の画素信号を、感度を揃えた画素信号に換算するための換算比率と、前記感度を揃えた前記複数の画像の画素信号を、画素ごとに合成するための合成比率とを求める演算手段と、前記複数の画像の画素信号を、前記換算比率および前記合成比率とを用いて、画素ごとにダイナミックレンジ拡大合成する合成手段と、を有し、前記演算手段は、前記複数の画素を分割した分割領域ごとに前記合成比率を求める。
【発明の効果】
【０００９】
本発明によれば、感度の異なる複数の画像を合成してダイナミックレンジを拡大するときに、偽色の発生を抑制することができる。
【図面の簡単な説明】
【００１０】
本発明の第１の実施形態における撮像装置の概略構成を示すブロック図。
第１の実施形態における画素の構成を示す等価回路図。
第１の実施形態における電荷蓄積制御を示すタイミングチャート。
第１の実施形態における信号読み出し制御を示すタイミングチャート。
第１の実施形態におけるダイナミックレンジ拡大のための画像の合成処理を説明する図。
第１の実施形態におけるカラーフィルタの配置例を示す図。
第１の実施形態における画像合成部の構成を示すブロック図。
第１の実施形態における合成処理のフローチャート。
第２の実施形態における画像合成部の構成を示すブロック図。
第２の実施形態における画像合成のフローチャート。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許