特許ウォッチ

公開番号2024054604
公報種別公開特許公報(A)
公開日2024-04-17
出願番号2022160926
出願日2022-10-05
発明の名称撮像装置及びその制御方法とプログラム
出願人キヤノン株式会社
代理人個人
主分類H04N 23/71 20230101AFI20240410BHJP(電気通信技術)
要約【課題】パノラマ合成される領域ごとに白飛びや黒潰れの発生を低減させた適切なコントラストを有するHDRパノラマ画像を得る。
【解決手段】1回の撮像で異なるゲインを掛けた複数の画像を出力可能な撮像素子102を備える撮像装置100をパンニングさせながら複数回の撮像を行い、複数回の撮像において直前の撮像により得られた画像から次の撮像での露出段数差を決定するための領域を検出し、検出された領域から次の撮像での露出段数差を決定し、決定された露出段数差となるように次の撮像でのゲインを制御し、複数回の撮像が終了した後、1回の撮像で出力される複数の画像を用いて複数回の撮像ごとにHDR合成を行い、HDR合成により得られた画像から所定の領域を切り出して繋げることによりパノラマ画像を生成する。
【選択図】図1
特許請求の範囲【請求項１】
１回の撮像で異なるゲインを掛けた複数の画像を出力可能な撮像素子を備える撮像装置であって、
前記撮像装置をパンニングさせながら前記撮像素子による複数回の撮像を行うことで１回の撮像ごとに異なるゲインが掛けられた複数の画像を取得する取得手段と、
前記複数回の撮像において、直前の撮像により得られた画像から次の撮像での露出段数差を決定するための領域を検出する検出手段と、
前記検出手段により検出された領域から前記次の撮像での露出段数差を決定する決定手段と、
前記決定手段により決定された露出段数差となるように前記次の撮像での前記異なるゲインを制御する制御手段と、
前記撮像素子による１回の撮像で出力される複数の画像を前記複数回の撮像ごとにＨＤＲ合成を行う合成手段と、
前記ＨＤＲ合成により得られた画像から所定の領域を切り出して繋げることによりパノラマ画像を生成する生成手段と、を備えることを特徴とする撮像装置。
続きを表示（約 1,100 文字）【請求項２】
前記決定手段は、前記複数回の撮像のうちの最初の撮像での露出段数差を、前記最初の撮影前に前記撮像素子から得られる全撮像範囲の輝度情報に基づいて決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記複数回の撮像が１組の適正露出画像とオーバー露出画像を得る撮像となるように前記異なるゲインを制御することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記制御手段は、前記複数回の撮像が１組の適正露出画像とアンダー露出画像を得る撮像となるように前記異なるゲインを制御することを特徴とする請求項１又は２に記載の撮像装置。
【請求項５】
前記検出手段は、前記パノラマ画像を生成するために切り出される所定の領域とは異なる領域を、前記次の撮像での異なるゲインを決定するための領域とすることを特徴とする請求項１又は２に記載の撮像装置。
【請求項６】
前記パンニングの速度を推定する推定手段を備え、
前記検出手段は、前記露出段数差を決定するための領域として、前記パンニングの速度が大きいほどパンニング方向側の広い領域を検出し、前記パンニングの速度が小さいほど撮像範囲の中心に近い狭い領域を検出することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記パノラマ画像は、前記複数の画像よりもダイナミックレンジが広いことを特徴する請求項１又は２に記載の撮像装置。
【請求項８】
１回の撮像で異なるゲインを掛けた複数の画像を出力可能な撮像素子を備える撮像装置の制御方法であって、
前記撮像装置をパンニングさせながら前記撮像素子による複数回の撮像を行うことで１回の撮像ごとに異なるゲインが掛けられた複数の画像を取得するステップと、
前記撮像素子による１回の撮像で出力される複数の画像を前記複数回の撮像ごとにＨＤＲ合成を行うステップと、
前記ＨＤＲ合成により得られた画像から所定の領域を切り出して繋げることによりパノラマ画像を生成するステップと、を有し、
前記複数の画像を取得するステップは、
前記複数回の撮像において、直前の撮像により得られた画像から次の撮像での露出段数差を決定するための領域を検出するステップと、
前記検出された領域から前記次の撮像での露出段数差を決定するステップと、
前記決定された露出段数差となるように前記次の撮像での前記異なるゲインを制御するステップと、を有することを特徴とする撮像装置の制御方法。
【請求項９】
コンピュータを請求項１又は２に記載の撮像装置の各手段として機能させることを特徴とするプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法とプログラムに関し、特に、撮像装置をパンニングさせながら撮像を行うことにより得られた複数の静止画からダイナミックレンジを拡大させたパノラマ画像を生成する技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
画素単位の出力信号に対して列回路を２つ備えると共に列回路内にある増幅部のゲインを別に備えることにより、ゲインの異なる画像を出力することが可能な撮像素子（ＤＧＯ（ＤｕａｌＧａｉｎＯｕｔｐｕｔＳｅｎｓｏｒ）センサ）が知られている。ＤＧＯセンサは、１度の撮像（露光）で異なるゲイン（例えば、ＨｉｇｈゲインとＬｏｗゲイン）の２枚の画像を出力することができる。
【０００３】
そのため、ＤＧＯセンサによる撮像で得られる２枚の画像の合成は、ダイナミックレンジを拡大させた画像を得る手法であるＨＤＲ合成に適している。また、ＤＧＯセンサによる撮像で得られる２枚の画像のＨＤＲ合成には、時分割露光によって得た２枚の画像を合成する場合と比較すると、位置合わせ処理が不要であり、また、移動体のぶれを低減させることができるという利点がある。
【０００４】
ＨＤＲ合成は、複数の画像からより広画角なパノラマ画像を生成する際に有用な技術である（例えば、特許文献１，２参照）。これは、パノラマ画像を生成する際には極めて広い領域を撮像する必要があるが、撮像領域が広い場合には撮像領域内での明暗差が大きくなりやすいからである。
【０００５】
パノラマ撮影では、一般的に、撮像装置を一方向に動かしながら撮像範囲に重複領域を持たせて、連続して撮像が行われる。こうして得られた画像同士の重複領域で位置合わせを行いつつ、画像同士を連結させる（繋ぎ合わせる）こと（以下「パノラマ合成」という）を行うことによって、パノラマ画像を生成することができる。ＤＧＯセンサによる撮像を行って得られるゲインの異なる２枚の画像をＨＤＲ合成し、得られたＨＤＲ画像を従来手法でパノラマ合成することにより、ダイナミックレンジの広いパノラマ画像（以下「ＨＤＲパノラマ画像」という）を生成することができる。
【先行技術文献】
【特許文献】
【０００６】
特開２０２１－９０１７５号公報
特開２０１７－１４３３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
パノラマ撮影の開始時点では撮像領域全体の明暗差はわからないことが多いため、ＨＤＲ合成を伴うパノラマ撮影を行う際に、事前に適切な露出段数差を決定することは容易でない。例えば、露出段数差を事前に決定してパノラマ撮影を開始した場合、撮像中に事前に決定した露出段数差で収まらないレンジを撮像する事態となってしまうことで、結果として得られたＨＤＲ画像内に白飛び領域が発生してしまうことがある。これに対して、必要以上に露出段数差を大きく設定してＨＤＲ合成を伴うパノラマ撮影を実行した場合、ＨＤＲ画像のコントラストが低下することで画質が低下してしまう。このように、ＨＤＲ合成を伴うパノラマ撮影を行う際に、撮像開始前に最適な露出段数差を決定することは容易ではない。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、パノラマ合成される領域ごとに白飛びや黒潰れの発生を低減させた適切なコントラストを有するＨＤＲパノラマ画像を得ることを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る撮像装置は、１回の撮像で異なるゲインを掛けた複数の画像を出力可能な撮像素子を備える撮像装置であって、前記撮像装置をパンニングさせながら前記撮像素子による複数回の撮像を行うことで１回の撮像ごとに異なるゲインが掛けられた複数の画像を取得する取得手段と、前記複数回の撮像において、直前の撮像により得られた画像から次の撮像での露出段数差を決定するための領域を検出する検出手段と、前記検出手段により検出された領域から前記次の撮像での露出段数差を決定する決定手段と、前記決定手段により決定された露出段数差となるように前記次の撮像での前記異なるゲインを制御する制御手段と、前記撮像素子による１回の撮像で出力される複数の画像を前記複数回の撮像ごとにＨＤＲ合成を行う合成手段と、前記ＨＤＲ合成により得られた画像から所定の領域を切り出して繋げることによりパノラマ画像を生成する生成手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、パノラマ合成される領域ごとに白飛びや黒潰れの発生を低減させた適切なコントラストを有するＨＤＲパノラマ画像を得ることが可能となる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許