特許ウォッチ

公開番号2024055489
公報種別公開特許公報(A)
公開日2024-04-18
出願番号2022162458
出願日2022-10-07
発明の名称撮像装置及びその制御方法とプログラム
出願人キヤノン株式会社
代理人個人
主分類H04N 23/698 20230101AFI20240411BHJP(電気通信技術)
要約【課題】ダイナミックレンジを拡張し、暗部のノイズを低減をさせたパノラマ画像を生成する。
【解決手段】1回の撮像で異なるゲインを掛けた2枚の画像を出力可能な撮像素子102を備える撮像装置100の制御方法であって、撮像装置100をパンニングさせながら1組の適正露出画像及びオーバー露出画像と1組の適正露出画像とアンダー露出画像が交互を得て、適正露出画像から第1の領域を切り出し、オーバー露出画像とアンダー露出画像それぞれから第1の領域よりも広い第2の領域と第3の領域を切り出し、第1の領域同士、第2の領域同士、第3の画像同士をそれぞれ繋ぎ合わせて3つのパノラマ画像を合成し、得られた3つのパノラマ画像からHDRパノラマ画像を合成する。
【選択図】図3
特許請求の範囲【請求項１】
１回の撮像で異なるゲインを掛けた２枚の画像を出力可能な撮像素子を備える撮像装置であって、
前記撮像装置をパンニングさせながら前記撮像素子による複数回の撮像を、１組の第１の画像および第２の画像と１組の前記第１の画像および第３の画像が交互に且つ複数組ずつ得られるように制御する制御手段と、
複数の前記第１の画像から第１の領域を切り出す第１の切り出し手段と、
複数の前記第２の画像と複数の前記第３の画像からそれぞれ、前記第１の領域よりも広い第２の領域と第３の領域を切り出す第２の切り出し手段と、
複数の前記第１の領域同士を繋ぎ合わせて第１のパノラマ画像を合成する第１の合成手段と、
複数の前記第２の領域同士を繋ぎ合わせて第２のパノラマ画像を合成すると共に、複数の前記第３の領域同士を繋ぎ合わせて第３のパノラマ画像を合成する第２の合成手段と、
前記第１のパノラマ画像と前記第２のパノラマ画像と前記第３のパノラマ画像から第４のパノラマ画像を合成する第３の合成手段と、を備えることを特徴とする撮像装置。
続きを表示（約 1,000 文字）【請求項２】
前記第１の画像は適正露出画像であり、前記第２の画像はオーバー露出画像であり、前記第３の画像はアンダー露出画像であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の領域、前記第２の領域および前記第３の領域はそれぞれ短冊状の領域であり、前記第２の領域および前記第３の領域のそれぞれの幅は前記第１の領域の幅よりも広いことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第３の合成手段は、ＨＤＲ合成を行うことにより前記第４のパノラマ画像を合成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記第１の合成手段は、前記第１の画像から検出した動きベクトルに基づいて前記第１の領域の位置合わせを行い、
前記第２の合成手段は、前記第２の画像と対をなす第１の画像から検出した動きベクトルに基づいて前記第２の領域同士の位置合わせを行うと共に、前記第３の画像と対をなす第１の画像から検出した動きベクトルに基づいて前記第３の領域同士の位置合わせを行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
１回の撮像で異なるゲインを掛けた２枚の画像を出力可能な撮像素子を備える撮像装置の制御方法であって、
前記撮像装置をパンニングさせながら前記撮像素子による複数回の撮像を、１組の第１の画像および第２の画像と１組の前記第１の画像および第３の画像が交互に且つ複数組ずつ得られるように制御するステップと、
複数の前記第１の画像から第１の領域を切り出すステップと、
複数の前記第２の画像と複数の前記第３の画像からそれぞれ、前記第１の領域よりも広い第２の領域と第３の領域を切り出すステップと、
複数の前記第１の領域同士を繋ぎ合わせて第１のパノラマ画像を合成するステップと、
複数の前記第２の領域同士を繋ぎ合わせて第２のパノラマ画像を合成するステップと、
複数の前記第３の画像同士を繋ぎ合わせて第３のパノラマ画像を合成するステップと、
前記第１のパノラマ画像と前記第２のパノラマ画像と前記第３のパノラマ画像から第４のパノラマ画像を合成するステップと、を有することを特徴とする撮像装置の制御方法。
【請求項７】
コンピュータを請求項１乃至５のいずれか１項に記載の撮像装置の各手段として機能させることを特徴とするプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法とプログラムに関し、特に、撮像装置をパンニングさせながら撮像を行うことにより得られた複数の静止画からパノラマ画像を合成する技術に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
画素単位の出力信号に対して列回路を２つ備えると共に列回路内にある増幅部のゲインを別に備えることにより、ゲインの異なる画像を出力することが可能な撮像素子（ＤＧＯ（ＤｕａｌＧａｉｎＯｕｔｐｕｔＳｅｎｓｏｒ）センサ）が知られている。ＤＧＯセンサは、１度の撮像（露光）で異なるゲイン（例えば、ＨｉｇｈゲインとＬｏｗゲイン）の２枚の画像を出力することができる。
【０００３】
そのため、ＤＧＯセンサによる撮像で得られる２つの画像の合成は、ダイナミックレンジを拡大する画像を得る手法であるＨＤＲ合成に適している。例えば、ＤＧＯセンサによって適正露出画像とアンダー露出画像を取得し、低輝度領域では適正露出画像を用い、高輝度領域ではアンダー露出画像を用いてこれらを合成することにより、ダイナミックレンジの広い画像を得ることができる。
【０００４】
ＨＤＲ合成は、複数の画像からより広画角なパノラマ画像の生成する際に有用な技術である。これは、パノラマ画像を生成する際には極めて広い領域を撮像する必要があるが、撮像領域が広い場合には撮像領域内での明暗差が大きくなりやすいからである。
【０００５】
パノラマ画像の合成方法として、撮像装置をパンニングさせながら静止画を連続撮影し、連続撮影した画像の中心付近を短冊状に切り出して繋ぎ合わせる方法（以下「パノラマ合成」という）がある。また、パノラマ画像を合成する際の画像間に位置合わせに関して、特許文献１には、１回の撮像で露出の異なる複数の画像を取得する動作を繰り返し行い、動きベクトルを検出する画像を選択して位置合わせを行ってパノラマ画像を合成する手法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
特開２０２０－１７８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＨＤＲ画像を用いてパノラマ画像を合成する際に、ダイナミックレンジの拡大に加えて、暗部のノイズを低減させたいという要求がある。ここで、ＤＧＯセンサによって適正露出画像とオーバー露出画像を取得し、低輝度領域ではオーバー露出画像を用い、高輝度領域では適正露出画像を用いてこれらを合成することにより、暗部のノイズが低減された画像を得ることができる。
【０００８】
しかしながら、ＤＧＯセンサによりアンダー露出画像、適正露出画像及びオーバー露出画像の３枚の画像を同じ撮影位置で取得することはできない。そのため、ＤＧＯセンサにより得られる露出の異なる２枚の画像をＨＤＲ合成した後、ＨＤＲ画像を用いてパノラマ画像を合成しても、ダイナミックレンジの拡張と暗部のノイズ低減のどちらか一方しか実現することができない。また、ダイナミックレンジの拡張と暗部のノイズ低減両方を狙って、アンダー露出画像とオーバー露出画像を取得して、ＨＤＲ合成を行った後にパノラマ合成を行うと、露出差が大きいために合成境界が不自然になってしまうことがある。
【０００９】
更に、上記特許文献１に記載された技術では、パノラマ合成を行う際の位置合わせ精度を高めることは可能であるが、ダイナミックレンジの拡張と暗部のノイズの低減の両方を実現することはできない。
【００１０】
本発明は、このような事情に鑑みてなされたものであり、ダイナミックレンジを拡張させ、且つ、暗部のノイズを低減させたパノラマ画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許