特許ウォッチ

公開番号2024053483
公報種別公開特許公報(A)
公開日2024-04-15
出願番号2022159797
出願日2022-10-03
発明の名称撮像システム、撮像方法およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類H04N 23/71 20230101AFI20240408BHJP(電気通信技術)
要約【課題】撮像システムにおいて、明暗差が大きい場合でもステレオ測距可能範囲を狭めることを抑制できる方法を提供したい。
【解決手段】撮像により第1の画像信号および第2の画像信号、第3の画像信号を出力し、各画像信号に基づいて画像情報を生成し、前記各画像信号に基づいて第1の距離情報を生成し、前記各画像信号に基づいて第2の距離情報を生成し、撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、前記画像の状態に基づいて、露光時間を制御する制御手段と、前記露光時間の制御の後、前記画像情報および前記距離情報に基づいて距離画像情報を生成する画像合成手段とを有することを特徴とする撮像システム。
【選択図】図3
特許請求の範囲【請求項１】
撮像により、互いに視差を有する第１の画像信号および第２の画像信号を出力する第１の撮像手段と、
撮像により、前記第１の画像信号および前記第２の画像信号との間に視差を有する第３の画像信号を出力する第２の撮像手段と、
前記第１の画像信号および前記第２の画像信号、前記第３の画像信号に基づいて画像情報を生成する現像手段と、
前記第１の画像信号および前記第２の画像信号に基づいて第１の距離情報を生成する位相差測距手段と、
前記第１の画像信号および前記第２の画像信号と、前記第３の画像信号とに基づいて第２の距離情報を生成するステレオ測距手段と、
前記第１の画像信号および前記第２の画像信号に基づく前記第１の撮像手段により撮像された画像の状態の判定、および、前記第３の画像信号に基づく前記第２の撮像手段により撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、
前記画像の状態に基づいて、前記第１の撮像手段および前記第２の撮像手段のうち少なくとも一方の露光時間を他方よりも長くなるように制御する制御手段と、
前記露光時間の制御の後、前記画像情報と、前記第１の距離情報および前記第２の距離情報の少なくとも一方とに基づいて、距離画像情報を生成する画像合成手段と
を有することを特徴とする撮像システム。
続きを表示（約 2,300 文字）【請求項２】
前記判定手段は、前記第１の画像信号および前記第２の画像信号の輝度値に基づく前記第１の撮像手段により撮像された画像の白飛びもしくは黒潰れがあることの判定、および、前記第３の画像信号の輝度値に基づく前記第２の撮像手段により撮像された画像の白飛びもしくは黒つぶれがあることの判定の少なくとも一方を実行する
ことを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記判定手段は、前記第１の画像信号および前記第２の画像信号の少なくとも一方の輝度値が第１の閾値以上の場合に画像に白飛びがあることを判定し、前記第１の画像信号および前記第２の画像信号の輝度値が前記第１の閾値よりも小さい第２の閾値以下の場合に画像に黒潰れがあることを判定し、
前記判定手段により白飛びおよび黒潰れの少なくとも一方がある場合に、前記制御手段は、白飛びおよび黒潰れの少なくとも一方を抑えるように露光時間を制御する
ことを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記ステレオ測距手段は、前記現像手段により生成された画像情報に基づいて第２の距離情報を生成する
ことを特徴とする請求項２に記載の撮像システム。
【請求項５】
前記画像合成手段は、前記第２の距離情報および前記画像情報に基づいて距離画像情報を生成する
ことを特徴とする請求項４に記載の撮像システム。
【請求項６】
前記判定手段は、前記第１の画像信号および前記第２の画像信号に基づく前記第１の撮像手段により撮像された画像の状態の判定を実行し、
前記制御手段は、前記判定手段により判定された前記第１の撮像手段により撮像された画像の状態に基づいて、前記第１の撮像手段の露光時間を制御する
ことを特徴とする請求項１に記載の撮像システム。
【請求項７】
前記判定手段により前記第１の撮像手段により撮像された画像もしくは前記第２の撮像手段により撮像された画像の少なくとも一方に白飛びもしくは黒つぶれがあると判定された場合、前記画像合成手段は、前記位相差測距手段により生成された前記第１の距離情報に基づいて距離画像情報を生成する
ことを特徴とする請求項５に記載の撮像システム。
【請求項８】
前記第２の撮像手段は、前記第３の画像信号と互いに視差を有する第４の画像信号を撮像により出力し、
前記位相差測距手段は、前記第３の画像信号および前記第４の画像信号から出力される第２の画像信号に基づいて第３の距離情報を生成し、
前記画像合成手段は、前記第３の距離情報に基づいて、距離画像情報を生成する
ことを特徴とする請求項１に記載の撮像システム。
【請求項９】
撮像により第１の撮像手段から出力された、第１の画像信号および前記第１の画像信号と互いに視差を有する第２の画像信号と、撮像により第２の撮像手段から出力された、前記第１の画像信号および前記第２の画像信号と互いに視差を有する第３の画像信号とに基づいて画像情報を生成する現像手段と、
前記第１の画像信号および前記第２の画像信号に基づいて第１の距離情報を生成する位相差測距手段と、
前記第１の画像信号および前記第２の画像信号と、前記第３の画像信号とに基づいて第２の距離情報を生成するステレオ測距手段と、
前記第１の画像信号および前記第２の画像信号に基づく前記第１の撮像手段により撮像された画像の状態の判定、および、前記第３の画像信号に基づく前記第２の撮像手段により撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、
前記画像の状態に基づいて、前記第１の撮像手段および前記第２の撮像手段のうち少なくとも一方の露光時間を他方よりも長くなるように制御する制御手段と、
前記露光時間の制御の後、前記第１の距離情報および前記第２の距離情報の少なくとも一方と、前記画像情報とに基づいて、距離画像情報を生成する画像合成手段と
を有することを特徴とする情報処理装置。
【請求項１０】
第１の撮像手段による撮像により、互いに視差を有する第１の画像信号および第２の画像信号を出力するによる第１の撮像工程と、
第２の撮像手段による撮像により、前記第１の画像信号および前記第２の画像信号との間に視差を有する第３の画像信号を出力する第２の撮像工程と、
前記第１の画像信号および前記第２の画像信号、前記第３の画像信号に基づいて画像情報を生成する現像工程と、
前記第１の画像信号および前記第２の画像信号に基づいて第１の距離情報を生成する位相差測距工程と、
前記第１の画像信号および前記第２の画像信号と、前記第３の画像信号とに基づいて第２の距離情報を生成するステレオ測距工程と、
前記第１の画像信号および前記第２の画像信号に基づく前記第１の撮像工程により撮像された画像の状態の判定、および、前記第３の画像信号に基づく前記第２の撮像工程により撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、
前記画像の状態に基づいて、前記第１の撮像工程および前記第２の撮像工程のうち少なくとも一方の露光時間を他方よりも長くなるように制御する制御手段と、
前記露光時間の制御の後、前記画像情報と、前記第１の距離情報および前記第２の距離情報の少なくとも一方とに基づいて、距離画像情報を生成する画像合成工程と
を有することを特徴とする撮像方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、位相差測距カメラを少なくとも１台用いた撮像システムにおけるダイナミックレンジ拡大手法に関するものである。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
近年、車やロボットの目としてカメラが使われることが多くなっている。従来、カメラではＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子で、光の強さ（輝度情報）を検出し映像を出力している。一方で、通常の映像を取得するカメラだけでなく、被写体までの距離を検出する測距カメラも普及してきている。
【０００３】
イメージセンサを用いた測距カメラの方式として、２台のカメラの視差画像から対象物までの距離を算出するステレオ測距という技術が知られている。本技術を使用して、車両に設置した２台のカメラから障害物や対象物までの距離を算出し、車両の自動走行などに使用する目的で利用され始めている。また、他の測距方式としてデジタルカメラなどで使用される像面位相差測距方式のカメラがある。１画素内に２つの受光部を持つことで、視差のある２枚の画像を取得しステレオ測距を行うことができる。このイメージセンサを用いたカメラでは、単眼での測距が可能になる。
【０００４】
ところで、カメラなどの撮像装置の性能の１つにダイナミックレンジがある。ダイナミックレンジとは、カメラが識別できる明るさの最大値と最小値の比率である。カメラのダイナミックレンジを超える明暗差がある被写体を撮像する場合、明部に露光を合わせると暗部が黒潰れし情報が取得できない。また、暗部に露光を合わせると明部が白飛びし情報を取得できなくなる。例えば、図１のようにトンネル内部からトンネルの出口のような場面を撮像するとき、トンネル内部１０１に露光を合わせると、トンネル外部１００が白飛びし、トンネル外部１００に露光を合わせると、トンネル内部１０１が黒潰れしてしまう。これは測距カメラも同様で、ダイナミックレンジを外れた明るさでは測距情報を取得できなくなる問題がある。このような明暗差が大きい場面で正常に情報を取得するには、カメラのダイナミックレンジを拡大する必要がある。
【０００５】
特許文献１では、撮像システムで明暗差の大きい場面を撮像した場合に左右のカメラで露光時間を変更し１枚の合成画像を作ることが提案されている。左右のカメラの露光時間を変更することで、片方のカメラが白飛びや黒潰れをしていても、もう片方のカメラで撮像することができる。
【０００６】
この技術を用いることで、撮像システムにおける映像のダイナミックレンジを拡大することができる。
【先行技術文献】
【特許文献】
【０００７】
特許第０５４１１８４２号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１の技術を用いてダイナミックレンジの拡大を行った場合、通常の映像のダイナミックレンジは拡大されるものの、ステレオ測距可能な範囲は減少してしまう。
【０００９】
本発明の目的は、撮像システムにおいて、明暗差が大きい場合でもステレオ測距可能範囲を狭めることを抑制できる方法を提供することである。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明は、
撮像により、互いに視差を有する第１の画像信号および第２の画像信号を出力する第１の撮像手段と、
撮像により、前記第１の画像信号および前記第２の画像信号との間に視差を有する第３の画像信号を出力する第２の撮像手段と、
前記第１の画像信号および前記第２の画像信号、前記第３の画像信号に基づいて画像情報を生成する現像手段と、
前記第１の画像信号および前記第２の画像信号に基づいて第１の距離情報を生成する位相差測距手段と、
前記第１の画像信号および前記第２の画像信号と、前記第３の画像信号とに基づいて第２の距離情報を生成するステレオ測距手段と、
前記第１の画像信号および前記第２の画像信号に基づく前記第１の撮像手段により撮像された画像の状態の判定、および、前記第３の画像信号に基づく前記第２の撮像手段により撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、
前記画像の状態に基づいて、前記第１の撮像手段および前記第２の撮像手段のうち少なくとも一方の露光時間を他方よりも長くなるように制御する制御手段と、
前記露光時間の制御の後、前記第１の距離情報および前記第２の距離情報の少なくとも一方と、前記画像情報とに基づいて、距離画像情報を生成する画像合成手段とを有する。
【発明の効果】
（【００１１】以降は省略されています）

関連特許