特許ウォッチ

公開番号2024053482
公報種別公開特許公報(A)
公開日2024-04-15
出願番号2022159796
出願日2022-10-03
発明の名称撮像システム、撮像方法およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類H04N 23/71 20230101AFI20240408BHJP(電気通信技術)
要約【課題】撮像システムにおいて、明暗差が大きい場合でもステレオ測距可能範囲を狭めることを抑制できる方法を提供したい。
【解決手段】第1の画像信号および第2の画像信号を出力する第1の撮像手段と、第3の画像信号を出力する第2の撮像手段と、各画像信号に基づいて画像情報を生成する現像手段と、前記第1の画像および前記第2の画像に基づいて第1の距離情報を生成するステレオ測距手段と、前記第1の画像信号および前記第2の画像信号に基づいて、画像の状態を判定する判定手段と、前記画像の状態に基づいて、撮像の露光時間を他方よりも長くなるように制御する制御手段と、前記露光時間の制御の後、前記画像情報および前記第1の距離情報に基づいて、距離画像情報を生成する画像合成手段とを有することを特徴とする撮像システム。
【選択図】図4
特許請求の範囲【請求項１】
撮像により、互いに視差を有する第１の画像信号および第２の画像信号を出力する第１の撮像手段と、
撮像により、前記第１の画像信号および前記第２の画像信号との間に視差を有する第３の画像信号を出力する第２の撮像手段と、
前記第１の画像信号および前記第２の画像信号、前記第３の画像信号に基づいて画像情報を生成する現像手段と、
第１の画像信号および前記第２の画像信号、第３の画像信号に基づいて第１の距離情報を生成するステレオ測距手段と、
前記第１の画像信号および前記第２の画像信号に基づいて、前記第１の撮像手段により撮像された画像の状態を判定する判定手段と、
前記第１の撮像手段により撮像された画像の状態に基づいて、前記第１の画像信号の撮像および前記第２の画像信号の撮像のうち一方の露光時間を他方よりも長くなるように制御する制御手段と、
前記露光時間の制御の後、前記画像情報および前記第１の距離情報に基づいて、距離画像情報を生成する画像合成手段と
を有することを特徴とする撮像システム。
続きを表示（約 2,100 文字）【請求項２】
前記判定手段は、前記第１の画像信号および前記第２の画像信号の輝度値に基づいて、前記第１の撮像手段により撮像された画像に白飛びもしくは黒潰れがあることを判定する
ことを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記判定手段は、前記第１の画像信号および前記第２の画像信号の少なくとも一方の輝度値が第１の閾値以上の場合に前記第１の撮像手段により撮像された画像に白飛びがあることを判定し、前記第１の画像信号および前記第２の画像信号の少なくとも一方の輝度値が前記第１の閾値よりも小さい第２の閾値以下の場合に前記第１の撮像手段により撮像された画像に黒潰れがあることを判定し、
前記判定手段により白飛びおよび黒潰れの少なくとも一方がある場合に、前記制御手段は、白飛びおよび黒潰れの少なくとも一方を抑えるように露光時間を制御する
ことを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記第１の画像信号および前記第２の画像信号に基づいて、第２の距離情報を生成する位相差測距手段を有し、
前記露光時間の制御の後、前記画像合成手段は、前記第２の距離情報に基づいて前記距離画像情報を生成する
ことを特徴とする請求項１に記載の撮像システム。
【請求項５】
前記第２の撮像手段は、撮像により、前記第３の画像信号と互いに視差を有する第４の画像信号を出力し、
前記位相差測距手段は、前記第３の画像信号および前記第４の画像信号に基づいて第３の距離情報を生成し、
前記判定手段は、前記第３の画像信号および第４の画像信号に基づいて、前記第２の撮像手段により撮像された画像の状態を判定し、
前記制御手段は、前記判定手段により判定された前記第２の撮像手段により撮像された画像の状態に基づいて、前記第３の画像信号の撮像および前記第４の画像信号の撮像のうち一方の露光時間を他方よりも長くなるように制御する
ことを特徴とする請求項４に記載の撮像システム。
【請求項６】
前記制御手段は、前記第１の撮像手段の全画素に対して制御を行うか、一部の画素に対してのみ制御を行うか調整可能である
ことを特徴とする請求項４に記載の撮像システム。
【請求項７】
前記画像合成手段は、前記距離画像情報を生成する場合に、前記ステレオ測距手段と前記位相差測距手段とで共通して測距した範囲に関しては、それぞれの距離データに対して重み付けを行い距離情報を算出することが可能である
ことを特徴とする請求項６に記載の撮像システム。
【請求項８】
撮像により第１の撮像手段から出力された第１の画像信号および前記第１の画像信号と互いに視差を有する第２の画像信号と、撮像により第２の撮像手段から出力され、前記第１の画像信号および前記第２の画像信号と互いに視差を有する第３の画像信号とに基づいて画像情報を生成する現像手段と、
前記第１の画像信号および前記第２の画像信号、前記第３の画像信号に基づいて第１の距離情報を生成するステレオ測距手段と、
前記第１の画像信号および前記第２の画像信号に基づいて、前記第１の撮像手段により撮像された画像の状態を判定する判定手段と、
前記第１の撮像手段により撮像された画像の状態に基づいて、前記第１の画像信号の撮像および前記第２の画像信号の撮像のうち一方の露光時間を他方よりも長くなるように制御する制御手段と、
前記露光時間の制御の後、前記画像情報および前記第１の距離情報に基づいて、距離画像情報を生成する画像合成手段と
を有することを特徴とする撮像システム。
を有することを特徴とする情報処理装置。
【請求項９】
撮像により、互いに視差を有する第１の画像信号および第２の画像信号を出力する第１の撮像手段による第１の撮像工程と、
撮像により、前記第１の画像信号および前記第２の画像信号との間に視差を有する第３の画像信号を出力する第２の撮像手段による第２の撮像工程と、
前記第１の画像信号および前記第２の画像信号、前記第３の画像信号に基づいて画像情報を生成する現像工程と、
前記第１の画像信号および前記第２の画像信号、前記第３の画像信号に基づいて第１の距離情報を生成するステレオ測距工程と、
前記第１の画像信号および前記第２の画像信号に基づいて、前記第１の撮像手段により撮像された画像の状態を判定する判定工程と、
前記第１の撮像手段により撮像された画像の状態に基づいて、前記第１の画像信号の撮像および前記第２の画像信号の撮像のうち一方の露光時間を他方よりも長くなるように制御する制御工程と、
前記制御工程の後、前記画像情報および前記第１の距離情報に基づいて、距離画像情報を生成する画像合成工程と
を有することを特徴とする撮像方法。
【請求項１０】
コンピュータを、請求項１～７のいずれか１項に記載の撮像システムの各手段として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像装置を複数台用いた撮像システムにおけるダイナミックレンジ拡大手法に関するものである。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
近年、車やロボットの目としてカメラが使われることが多くなっている。従来、カメラではＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子で、光の強さ（輝度情報）を検出し映像を出力している。一方で、通常の映像を取得するカメラだけでなく、被写体までの距離を検出する測距カメラも普及してきている。
【０００３】
イメージセンサを用いた測距カメラの方式として、２台のカメラの視差画像から対象物までの距離を算出するステレオ測距という技術が知られている。本技術を使用して、車両に設置した２台のカメラから障害物や対象物までの距離を算出し、車両の自動走行などに使用する目的で利用され始めている。また、他の測距方式としてデジタルカメラなどで使用される像面位相差測距方式のカメラがある。１画素内に二つの受光部を持つことで、視差のある２枚の画像を取得しステレオ測距を行うことができる。このイメージセンサを用いたカメラでは、単眼での測距が可能になる。
【０００４】
ところで、カメラなどの撮像装置の性能の一つにダイナミックレンジがある。ダイナミックレンジとは、カメラが識別できる明るさの最大値と最小値の比率である。カメラのダイナミックレンジを超える明暗差がある被写体を撮像する場合、明部に露光を合わせると暗部が黒潰れしてしまい情報が取得できない。また、暗部に露光を合わせると明部が白飛びしてしまい情報を取得できなくなる。例えば、図１のようにトンネル内部からトンネルの出口のような場面で撮像するとき、トンネル内部１００に露光を合わせると、トンネル外部１０１が白飛びし、トンネル外部１０１に露光を合わせると、トンネル内部１００が黒潰れしてしまう。これは測距カメラも同様で、ダイナミックレンジを外れた明るさでは測距情報を取得できなくなるという問題がある。
【０００５】
このような明暗差が大きい場面で正常に情報を取得するには、カメラのダイナミックレンジを拡大する必要がある。
【０００６】
特許文献１では、撮像システムで明暗差の大きい場面を撮像した場合に左右のカメラで露光時間を変更し１枚の合成画像を作ることが提案されている。左右のカメラの露光時間を変更することで、片方のカメラが白飛びや黒潰れをしていても、もう片方のカメラで撮像した画像を合成することにより白飛び、黒潰れ部の補填をすることができる。
【０００７】
この技術を用いることで、撮像システムにおける映像のダイナミックレンジを拡大することができる。
【先行技術文献】
【特許文献】
【０００８】
特許第０５４１１８４２号
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献１の技術を用いてダイナミックレンジの拡大を行った場合、通常の映像のダイナミックレンジは拡大されるものの、ステレオ測距可能な範囲が狭まってしまう。
【００１０】
本発明の目的は、撮像システムにおいて、明暗差が大きい場合でもステレオ測距可能範囲を狭めることを抑制できる方法を提供することである。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許