TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024053483
公報種別公開特許公報(A)
公開日2024-04-15
出願番号2022159797
出願日2022-10-03
発明の名称撮像システム、撮像方法およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類H04N 23/71 20230101AFI20240408BHJP(電気通信技術)
要約【課題】 撮像システムにおいて、明暗差が大きい場合でもステレオ測距可能範囲を狭めることを抑制できる方法を提供したい。
【解決手段】 撮像により第1の画像信号および第2の画像信号、第3の画像信号を出力し、各画像信号に基づいて画像情報を生成し、前記各画像信号に基づいて第1の距離情報を生成し、前記各画像信号に基づいて第2の距離情報を生成し、撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、前記画像の状態に基づいて、露光時間を制御する制御手段と、前記露光時間の制御の後、前記画像情報および前記距離情報に基づいて距離画像情報を生成する画像合成手段とを有することを特徴とする撮像システム。
【選択図】 図3
特許請求の範囲【請求項1】
撮像により、互いに視差を有する第1の画像信号および第2の画像信号を出力する第1の撮像手段と、
撮像により、前記第1の画像信号および前記第2の画像信号との間に視差を有する第3の画像信号を出力する第2の撮像手段と、
前記第1の画像信号および前記第2の画像信号、前記第3の画像信号に基づいて画像情報を生成する現像手段と、
前記第1の画像信号および前記第2の画像信号に基づいて第1の距離情報を生成する位相差測距手段と、
前記第1の画像信号および前記第2の画像信号と、前記第3の画像信号とに基づいて第2の距離情報を生成するステレオ測距手段と、
前記第1の画像信号および前記第2の画像信号に基づく前記第1の撮像手段により撮像された画像の状態の判定、および、前記第3の画像信号に基づく前記第2の撮像手段により撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、
前記画像の状態に基づいて、前記第1の撮像手段および前記第2の撮像手段のうち少なくとも一方の露光時間を他方よりも長くなるように制御する制御手段と、
前記露光時間の制御の後、前記画像情報と、前記第1の距離情報および前記第2の距離情報の少なくとも一方とに基づいて、距離画像情報を生成する画像合成手段と
を有することを特徴とする撮像システム。
続きを表示(約 2,300 文字)【請求項2】
前記判定手段は、前記第1の画像信号および前記第2の画像信号の輝度値に基づく前記第1の撮像手段により撮像された画像の白飛びもしくは黒潰れがあることの判定、および、前記第3の画像信号の輝度値に基づく前記第2の撮像手段により撮像された画像の白飛びもしくは黒つぶれがあることの判定の少なくとも一方を実行する
ことを特徴とする請求項1に記載の撮像システム。
【請求項3】
前記判定手段は、前記第1の画像信号および前記第2の画像信号の少なくとも一方の輝度値が第1の閾値以上の場合に画像に白飛びがあることを判定し、前記第1の画像信号および前記第2の画像信号の輝度値が前記第1の閾値よりも小さい第2の閾値以下の場合に画像に黒潰れがあることを判定し、
前記判定手段により白飛びおよび黒潰れの少なくとも一方がある場合に、前記制御手段は、白飛びおよび黒潰れの少なくとも一方を抑えるように露光時間を制御する
ことを特徴とする請求項2に記載の撮像システム。
【請求項4】
前記ステレオ測距手段は、前記現像手段により生成された画像情報に基づいて第2の距離情報を生成する
ことを特徴とする請求項2に記載の撮像システム。
【請求項5】
前記画像合成手段は、前記第2の距離情報および前記画像情報に基づいて距離画像情報を生成する
ことを特徴とする請求項4に記載の撮像システム。
【請求項6】
前記判定手段は、前記第1の画像信号および前記第2の画像信号に基づく前記第1の撮像手段により撮像された画像の状態の判定を実行し、
前記制御手段は、前記判定手段により判定された前記第1の撮像手段により撮像された画像の状態に基づいて、前記第1の撮像手段の露光時間を制御する
ことを特徴とする請求項1に記載の撮像システム。
【請求項7】
前記判定手段により前記第1の撮像手段により撮像された画像もしくは前記第2の撮像手段により撮像された画像の少なくとも一方に白飛びもしくは黒つぶれがあると判定された場合、前記画像合成手段は、前記位相差測距手段により生成された前記第1の距離情報に基づいて距離画像情報を生成する
ことを特徴とする請求項5に記載の撮像システム。
【請求項8】
前記第2の撮像手段は、前記第3の画像信号と互いに視差を有する第4の画像信号を撮像により出力し、
前記位相差測距手段は、前記第3の画像信号および前記第4の画像信号から出力される第2の画像信号に基づいて第3の距離情報を生成し、
前記画像合成手段は、前記第3の距離情報に基づいて、距離画像情報を生成する
ことを特徴とする請求項1に記載の撮像システム。
【請求項9】
撮像により第1の撮像手段から出力された、第1の画像信号および前記第1の画像信号と互いに視差を有する第2の画像信号と、撮像により第2の撮像手段から出力された、前記第1の画像信号および前記第2の画像信号と互いに視差を有する第3の画像信号とに基づいて画像情報を生成する現像手段と、
前記第1の画像信号および前記第2の画像信号に基づいて第1の距離情報を生成する位相差測距手段と、
前記第1の画像信号および前記第2の画像信号と、前記第3の画像信号とに基づいて第2の距離情報を生成するステレオ測距手段と、
前記第1の画像信号および前記第2の画像信号に基づく前記第1の撮像手段により撮像された画像の状態の判定、および、前記第3の画像信号に基づく前記第2の撮像手段により撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、
前記画像の状態に基づいて、前記第1の撮像手段および前記第2の撮像手段のうち少なくとも一方の露光時間を他方よりも長くなるように制御する制御手段と、
前記露光時間の制御の後、前記第1の距離情報および前記第2の距離情報の少なくとも一方と、前記画像情報とに基づいて、距離画像情報を生成する画像合成手段と
を有することを特徴とする情報処理装置。
【請求項10】
第1の撮像手段による撮像により、互いに視差を有する第1の画像信号および第2の画像信号を出力するによる第1の撮像工程と、
第2の撮像手段による撮像により、前記第1の画像信号および前記第2の画像信号との間に視差を有する第3の画像信号を出力する第2の撮像工程と、
前記第1の画像信号および前記第2の画像信号、前記第3の画像信号に基づいて画像情報を生成する現像工程と、
前記第1の画像信号および前記第2の画像信号に基づいて第1の距離情報を生成する位相差測距工程と、
前記第1の画像信号および前記第2の画像信号と、前記第3の画像信号とに基づいて第2の距離情報を生成するステレオ測距工程と、
前記第1の画像信号および前記第2の画像信号に基づく前記第1の撮像工程により撮像された画像の状態の判定、および、前記第3の画像信号に基づく前記第2の撮像工程により撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、
前記画像の状態に基づいて、前記第1の撮像工程および前記第2の撮像工程のうち少なくとも一方の露光時間を他方よりも長くなるように制御する制御手段と、
前記露光時間の制御の後、前記画像情報と、前記第1の距離情報および前記第2の距離情報の少なくとも一方とに基づいて、距離画像情報を生成する画像合成工程と
を有することを特徴とする撮像方法。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
本発明は、位相差測距カメラを少なくとも1台用いた撮像システムにおけるダイナミックレンジ拡大手法に関するものである。
続きを表示(約 2,000 文字)【背景技術】
【0002】
近年、車やロボットの目としてカメラが使われることが多くなっている。従来、カメラではCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子で、光の強さ(輝度情報)を検出し映像を出力している。一方で、通常の映像を取得するカメラだけでなく、被写体までの距離を検出する測距カメラも普及してきている。
【0003】
イメージセンサを用いた測距カメラの方式として、2台のカメラの視差画像から対象物までの距離を算出するステレオ測距という技術が知られている。本技術を使用して、車両に設置した2台のカメラから障害物や対象物までの距離を算出し、車両の自動走行などに使用する目的で利用され始めている。また、他の測距方式としてデジタルカメラなどで使用される像面位相差測距方式のカメラがある。1画素内に2つの受光部を持つことで、視差のある2枚の画像を取得しステレオ測距を行うことができる。このイメージセンサを用いたカメラでは、単眼での測距が可能になる。
【0004】
ところで、カメラなどの撮像装置の性能の1つにダイナミックレンジがある。ダイナミックレンジとは、カメラが識別できる明るさの最大値と最小値の比率である。カメラのダイナミックレンジを超える明暗差がある被写体を撮像する場合、明部に露光を合わせると暗部が黒潰れし情報が取得できない。また、暗部に露光を合わせると明部が白飛びし情報を取得できなくなる。例えば、図1のようにトンネル内部からトンネルの出口のような場面を撮像するとき、トンネル内部101に露光を合わせると、トンネル外部100が白飛びし、トンネル外部100に露光を合わせると、トンネル内部101が黒潰れしてしまう。これは測距カメラも同様で、ダイナミックレンジを外れた明るさでは測距情報を取得できなくなる問題がある。このような明暗差が大きい場面で正常に情報を取得するには、カメラのダイナミックレンジを拡大する必要がある。
【0005】
特許文献1では、撮像システムで明暗差の大きい場面を撮像した場合に左右のカメラで露光時間を変更し1枚の合成画像を作ることが提案されている。左右のカメラの露光時間を変更することで、片方のカメラが白飛びや黒潰れをしていても、もう片方のカメラで撮像することができる。
【0006】
この技術を用いることで、撮像システムにおける映像のダイナミックレンジを拡大することができる。
【先行技術文献】
【特許文献】
【0007】
特許第05411842号
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、上記特許文献1の技術を用いてダイナミックレンジの拡大を行った場合、通常の映像のダイナミックレンジは拡大されるものの、ステレオ測距可能な範囲は減少してしまう。
【0009】
本発明の目的は、撮像システムにおいて、明暗差が大きい場合でもステレオ測距可能範囲を狭めることを抑制できる方法を提供することである。
【課題を解決するための手段】
【0010】
上記の課題を解決するために、本発明は、
撮像により、互いに視差を有する第1の画像信号および第2の画像信号を出力する第1の撮像手段と、
撮像により、前記第1の画像信号および前記第2の画像信号との間に視差を有する第3の画像信号を出力する第2の撮像手段と、
前記第1の画像信号および前記第2の画像信号、前記第3の画像信号に基づいて画像情報を生成する現像手段と、
前記第1の画像信号および前記第2の画像信号に基づいて第1の距離情報を生成する位相差測距手段と、
前記第1の画像信号および前記第2の画像信号と、前記第3の画像信号とに基づいて第2の距離情報を生成するステレオ測距手段と、
前記第1の画像信号および前記第2の画像信号に基づく前記第1の撮像手段により撮像された画像の状態の判定、および、前記第3の画像信号に基づく前記第2の撮像手段により撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、
前記画像の状態に基づいて、前記第1の撮像手段および前記第2の撮像手段のうち少なくとも一方の露光時間を他方よりも長くなるように制御する制御手段と、
前記露光時間の制御の後、前記第1の距離情報および前記第2の距離情報の少なくとも一方と、前記画像情報とに基づいて、距離画像情報を生成する画像合成手段とを有する。
【発明の効果】
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

キヤノン株式会社
記録装置
今日
キヤノン株式会社
面状発熱体
3日前
キヤノン株式会社
画像形成装置
3日前
キヤノン株式会社
情報処理装置
4日前
キヤノン株式会社
画像形成装置
4日前
キヤノン株式会社
画像形成装置
4日前
キヤノン株式会社
画像形成装置
3日前
キヤノン株式会社
画像形成装置
3日前
キヤノン株式会社
画像形成装置
今日
キヤノン株式会社
情報処理装置
今日
キヤノン株式会社
画像形成装置
4日前
キヤノン株式会社
画像形成装置
5日前
キヤノン株式会社
画像形成装置
5日前
キヤノン株式会社
画像形成装置
5日前
キヤノン株式会社
画像形成装置
5日前
キヤノン株式会社
画像形成装置
今日
キヤノン株式会社
液体吐出ヘッド
3日前
キヤノン株式会社
光学装置及び撮像装置
3日前
キヤノン株式会社
加熱装置、画像形成装置
3日前
キヤノン株式会社
定着装置及び画像形成装置
5日前
キヤノン株式会社
撮像装置及びその制御方法
3日前
キヤノン株式会社
撮像装置、撮像装置の制御方法
3日前
キヤノン株式会社
投射レンズ及び投射型表示装置
4日前
キヤノン株式会社
撮像装置、撮像方法、システム
4日前
キヤノン株式会社
有機金属錯体及び有機発光素子
今日
キヤノン株式会社
画像記録装置及び画像記録方法
5日前
キヤノン株式会社
画像記録装置およびその制御方法
4日前
キヤノン株式会社
電荷調整装置および画像形成装置
5日前
キヤノン株式会社
シート搬送装置及び画像形成装置
5日前
キヤノン株式会社
情報処理装置およびその制御方法
今日
キヤノン株式会社
バルブユニット及び液体吐出装置
3日前
キヤノン株式会社
印刷装置、印刷方法及びプログラム
3日前
キヤノン株式会社
印刷装置および用紙の表裏判別方法
4日前
キヤノン株式会社
シート処理装置およびその制御方法
4日前
キヤノン株式会社
撮像装置、制御方法およびプログラム
今日
キヤノン株式会社
学習装置、学習方法およびプログラム
今日
続きを見る