TOP特許意匠商標
特許ウォッチ DM通知 Twitter
公開番号2019194034
公報種別公開特許公報(A)
公開日20191107
出願番号2018087948
出願日20180501
発明の名称車載カメラ装置
出願人クラリオン株式会社
代理人弁護士法人クレオ国際法律特許事務所
主分類B60R 1/00 20060101AFI20191011BHJP(車両一般)
要約【課題】赤外線成分を除去すべき被写体が映る領域を自車両の動作状況に応じて的確に特定し、その領域内のみで赤外線成分を除去することのできる車載カメラ装置を提供する。
【解決手段】車載カメラ装置10は、自車両1の周辺に赤外線を照射する赤外線照射部40と、赤外線照射部40により赤外線が照射された周辺を撮像する撮像部20と、撮像部20により周辺を撮像して得られた画像における所定領域の赤外線成分を除去する除去部62と、自車両1の操舵角の情報を取得する操舵角情報取得部50と、所定領域を操舵角に基づいて変化させる領域制御部63と、を有する。
【選択図】図1
特許請求の範囲【請求項1】
自車両の周辺に赤外線を照射する赤外線照射部と、
前記赤外線照射部により前記赤外線が照射された前記周辺を撮像する撮像部と、
前記撮像部により前記周辺を撮像して得られた画像における所定領域の赤外線成分を除去する除去部と、
前記自車両の操舵角の情報を取得する操舵角情報取得部と、
前記所定領域を前記操舵角に基づいて変化させる領域制御部と、
を有することを特徴とする車載カメラ装置。
続きを表示(約 1,100 文字)【請求項2】
請求項1に記載の車載カメラ装置において、
前記除去部は、
消失点に基づいて、前記画像を上側領域と下側領域に区分するとともに、前記上側領域を前記所定領域に設定し、設定した前記所定領域の赤外線成分を除去することを特徴とする車載カメラ装置。
【請求項3】
請求項2に記載の車載カメラ装置において、
前記除去部は、前記消失点が前記下側領域に入るように前記上側領域を前記所定領域に設定し、設定した前記所定領域の赤外線成分を除去することを特徴とする車載カメラ装置。
【請求項4】
請求項1乃至請求項3の何れか一項に記載の車載カメラ装置において、
前記領域制御部は、前記操舵角情報取得部が取得する前記操舵角の情報に応じて、前記所定領域の左右の大きさを変化させることを特徴とする車載カメラ装置。
【請求項5】
請求項4に記載の車載カメラ装置において、
前記領域制御部は、
前記操舵角情報取得部が取得する前記操舵角の情報に応じて、前記自車両が左に操舵された場合、前記所定領域の右側を左側よりも広くするように前記所定領域を変化させ、
前記操舵角情報取得部が取得する前記操舵角の情報に応じて、前記自車両が右に操舵された場合、前記所定領域の左側を右側よりも広くするように前記所定領域を変化させることを特徴とする車載カメラ装置。
【請求項6】
請求項2乃至請求項5の何れか一項に記載の車載カメラ装置において、
前記上側領域は、
前記画像の左右の中心線上で前記消失点よりも前記画像の上側に予め設定された第1の点と前記画像の右側辺上の第2の点とを結んだ第1の直線と前記第1の点と前記画像の左側辺上の第3の点とを結んだ第2の直線と前記右側辺と前記左側辺と前記画像の上側辺とで囲まれた領域であり、
前記領域制御部は、
前記操舵角情報取得部が取得する前記操舵角の情報に応じて、前記第1の直線と前記右側辺と前記中心線と前記上側辺とで囲まれた領域を、前記第2の直線と前記左側辺と前記中心線と前記上側辺とで囲まれた領域よりも広くしたり狭くしたりすることを特徴とする車載カメラ装置。
【請求項7】
請求項1乃至請求項6の何れか一項に記載の車載カメラ装置において、
前記撮像部から出力される画像信号に基づいて道路標識を識別する標識識別部を備え、
前記領域制御部は、前記標識識別部が識別した前記道路標識が前記所定領域内に入るように前記所定領域を前記操舵角に基づいて変化させることを特徴とする車載カメラ装置。

発明の詳細な説明【技術分野】
【0001】
本発明は、車載カメラ装置に関する。
続きを表示(約 7,100 文字)【背景技術】
【0002】
従来、例えば道路標識のように近赤外光を強く反射する被写体が存在する。道路標識は近赤外光が反射する輝度も比較的大きいから、これを車載カメラで撮像したとき白飛びし易くなる。そのため、道路標識の近赤外光成分を除去することが望ましい。近赤外光成分を除去するには、道路標識の位置を検知せざるを得ない。例えば、可視光及び近赤外光の信号を用いて輝度を計算し、その輝度を基に道路標識の位置を検知するものがある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
特開2013−16981号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示された技術は、自車両の動作状況によって一律に一定の部分だけ近赤外光成分を除去するので、適切に対応できない場合がある。そのため、近赤外光を強く反射する可能性のある歩行者や対向車両等も近赤外光成分を除去せざるを得なかった。
【0005】
本発明は、上記課題に鑑みてなされたもので、赤外線成分を除去すべき被写体が映る領域を自車両の動作状況に応じて的確に特定し、その領域内のみで赤外線成分を除去することのできる車載カメラ装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る車載カメラ装置は、自車両の周辺に赤外線を照射する赤外線照射部と、前記赤外線照射部により前記赤外線が照射された前記周辺を撮像する撮像部と、前記撮像部により前記周辺を撮像して得られた画像における所定領域の赤外線成分を除去する除去部と、前記自車両の操舵角の情報を取得する操舵角情報取得部と、前記所定領域を前記操舵角に基づいて変化させる領域制御部と、を有することを特徴とする。
【発明の効果】
【0007】
この発明によれば、赤外線成分を除去すべき被写体が映る領域を自車両の動作状況に応じて的確に特定し、その領域内のみで赤外線成分を除去することができる。
【図面の簡単な説明】
【0008】
車載カメラ装置を構成するハードウェア要素を示すハードウェアブロック図である。
自車両の操舵角が0度のときに自車両の周辺を撮像して得られた画像の一例を示す説明図である。
車載カメラ装置で行われる一連の処理の流れを示すフローチャートである。
操舵角が0度で走行する自車両が左に操舵された場合の上側領域の変化を示す説明図である。
操舵角が0度で走行する自車両が右に操舵された場合の上側領域の変化を示す説明図である。
【発明を実施するための形態】
【0009】
以下、本発明に係る車載カメラ装置の具体的な実施形態について、図面を参照して説明する。
【0010】
(車載カメラ装置10の構成の説明)
図1は、車載カメラ装置10を構成するハードウェア要素を示すハードウェアブロック図である。まず、車載カメラ装置10の構成について図1を用いて説明する。
【0011】
車載カメラ装置10は、車両1に実装される。車載カメラ装置10が搭載される車両1を以下では「自車両」と称する。
【0012】
車載カメラ装置10は、前方カメラ20(撮像部)と、可視光投光器30と、赤外光投光器40(赤外線照射部)と、操舵角情報取得部50と、制御装置60と、出力部70とを有する。
【0013】
前方カメラ20は、自車両の前方に向けて自車両の前部に取り付けられる。前方カメラ20は、可視光と近赤外光の双方に感応する。前方カメラ20は、可視光投光器30により可視光が照射された自車両の前方を含む周辺を撮像する。
【0014】
同様に、前方カメラ20は、赤外光投光器40により近赤外線が照射された自車両の前方を含む周辺を撮像する。その結果、前方カメラ20は、自車両の前方を含む周辺の画像I(図2)を取得する。
【0015】
前方カメラ20は、被写体を観測する光学系21と、撮像素子22等を有する。光学系21は、レンズやミラー等の光学素子から構成されて、被写体から出射した光又は被写体で反射した光を撮像素子22に導く。
【0016】
撮像素子22は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等の光電変換素子が用いられる。
【0017】
撮像素子22は、光学系21を通して観測された被写体の像が結像して、入力した光をその輝度に応じたRAWデータに光電変換する。その光電変換されたRAWデータは撮像素子22の内部に備えられた不図示のアンプやAD(Analog-to-Digital)コンバータ等を通してデジタル化される。
【0018】
撮像素子22は、R(赤)、G(緑)、B(青)と、C(透明)の光の強度を示す画素が撮像面に配置される。画素には、透過する波長帯域が異なる4種類のフィルタ(赤色フィルタR、緑色フィルタG、青色フィルタB、透明フィルタC)が配列される。赤色フィルタRは赤色波長帯の光を透過する。緑色フィルタGは緑色波長帯の光を透過する。青色フィルタBは青色波長帯の光を透過する。透明フィルタCは近赤外光を含む全光を透過する。
【0019】
可視光投光器30は、例えば、複数のLEDを備えたものを適用可能であり、自車両の前方に向けて自車両の前部に取り付けられる。可視光投光器30は、自車両の前方を含む周辺に可視光を照射する。
【0020】
赤外光投光器40は、例えば、ハロゲンランプ、LED、半導体レーザ等を適用可能であり、自車両の前方に向けて自車両の前部に取り付けられる。赤外光投光器40は、自車両の前方を含む周辺に赤外光を照射する。この赤外線には、近赤外線が含まれる。
【0021】
操舵角情報取得部50は、自車両の操舵角の情報を取得する。自車両には、操舵角を検出する操舵角センサが設けられて、そのセンサの出力は、CAN(Controller Area Network)バスを介して操舵角情報取得部50に送られる。
【0022】
制御装置60の内部には、例えば、周辺デバイスを含めたマイクロプロセッサ及びプログラム、必要な処理を実行するCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、画像処理や信号処理を行う専用ASIC(Application Specific Integrated Circuit)等のモジュールが実装されている。
【0023】
制御装置60には、CANバスを介して、操舵角情報取得部50、表示装置70及びシステム制御部80が接続される。システム制御部80には、CANバスを介して、前方カメラ20、可視光投光器30及び赤外光投光器40が接続される。制御装置60は、システム制御部80を介して、可視光投光器30及び赤外光投光器40の点灯状態を制御する。
【0024】
制御装置60は、例えば、撮像素子22により光電変換されたRAWデータを信号処理によりカラー化したり、歩行者や道路標識TSを検知したりする。制御装置60は、図1に示すように、比較領域設定部61、近赤外除去処理部62(除去部)、領域制御部63、標識識別部64、メモリ部65及び信号処理部66を有する。
【0025】
比較領域設定部61には、撮像素子22からRAWデータが入力される。比較領域設定部61では、近赤外光の除去を行う領域の画素かどうかの判断が行われる。
【0026】
近赤外除去処理部62は、前方カメラ20が自車両の周辺を撮像して得られた画像における所定領域の近赤外光成分を除去する。例えば、近赤外除去処理部62は、所定領域内の近赤外光成分の高い画素について、近赤外光成分の除去を行う。
【0027】
標識識別部64は、撮像素子22から出力される画像信号に基づいて道路標識TS(図2)を識別する。
【0028】
信号処理部66では、撮像素子22からのRAWデータに対し、各種の信号処理が実施される。各種の信号処理としては、例えば、カラー化処理、ホワイトバランス処理、ゲインガンマ処理等が含まれる。
【0029】
なお、比較領域設定部61、近赤外除去処理部62、領域制御部63、標識識別部64、メモリ部65及び信号処理部66の詳細は後述する。
【0030】
出力部70は、不図示の表示装置に、表示するための情報を出力する。表示装置は、例えば矩形状のフラットパネルディスプレイ(液晶、有機EL、プラズマ等)であり、自車両の運転手が視認できる位置に配置される。
【0031】
システム制御部80は、前方カメラ20に対してシャッタ速度や絞り値等の露出制御を行う。
【0032】
図2は、自車両の操舵角が0度のときに自車両の周辺を撮像して得られた画像Iの一例を示す説明図である。この画像Iには、歩行者や道路標識TSが被写体として含まれている。なお、図2では、後述する上側領域URと下側領域LRとを区別するために、上側領域URを斜線で示している。
【0033】
近赤外除去処理部62(図1)は、放射状に延びる2本の白線WLが交わる消失点(不図示)に基づいて、画像Iを上側領域URと下側領域LRに区分する。近赤外除去処理部62(図1)は、消失点が下側領域LRに入るように上側領域URを所定領域に設定し、設定した所定領域の近赤外光成分を除去する。
【0034】
図2中に示す辺USは、画像Iの上側辺である。辺RSは、画像Iの右側辺である。辺LSは、画像Iの左側辺である。辺BSは、画像Iの下側辺である。
【0035】
図2中に示す仮想線CLは、画像Iの左右の中心線を示している。第1の点P1は、中心線CL上で消失点よりも画像Iの若干上側に予め設定された点である。第2の点P2は、画像Iの右側辺RS上の点である。第3の点P3は、画像Iの左側辺LS上の点である。下側辺BSから第2の点P2までの高さは、下側辺BSから第1の点P1までの高さよりも高く、下側辺BSから第3の点P3までの高さと同じである。
【0036】
図2中に示す第1の直線L1は、第1の点P1と第2の点P2とを結んだ直線である。第2の直線L2は、第1の点P1と第3の点P3とを結んだ直線である。
【0037】
上側領域URは、上側辺USと右側辺RSと第1の直線L1と第2の直線L2と左側辺LSとで囲まれた領域である。下側領域LRは、下側辺BSと右側辺RSと第1の直線L1と第2の直線L2と左側辺LSとで囲まれた領域である。
【0038】
上側領域URは、右側領域A1と左側領域A2とに区分される。右側領域A1は、上側辺USと右側辺RSと第1の直線L1と中心線CLとで囲まれた領域である。左側領域A2は、上側辺USと左側辺LSと第2の直線L2と中心線CLとで囲まれた領域である。
【0039】
(車載カメラ装置10で行われる一連の処理の流れ)
次に、車載カメラ装置10で行われる一連の処理の流れを、図3に示すフローチャートと、図1、図2、図4及び図5に示す説明図とを用いて説明する。
【0040】
図4は、操舵角が0度で走行する自車両が左に操舵された場合の上側領域URの変化を示す説明図である。図5は、操舵角が0度で走行する自車両が右に操舵された場合の上側領域URの変化を示す説明図である。
【0041】
車載カメラ装置10で行われる一連の処理は、赤外光投光器40が自車両の前方を含む周辺に赤外光を照射している期間に限って行われる。
【0042】
ここでは、前提として、撮像素子22(図1)は、自車両の前方を含む周辺に照射された近赤外光の反射光を受光し電圧信号に光電変換する。そして、信号処理部66(図1)は、例えば、画素毎に、色の全部を検知する電圧信号Cから、R、G、Bの成分のRAWデータを引き算して、近赤外光成分を得る。このようにして得られたR、G、Bの各成分及び近赤外光成分は近赤外除去処理部62に出力される。
【0043】
(ステップS1)
まず、比較領域設定部61において、操舵角が0度で自車両が走行するときの上側領域UR(図2)が比較領域としてデフォルト設定される。比較領域の設定に必要な情報(例えば、消失点を示す情報及び道路標識TSの高さを示す情報)は、メモリ部65から必要に応じて読み出されて使用される。
【0044】
(ステップS2)
次に、領域制御部63は、操舵角情報取得部50が取得する操舵角の情報に応じて、上側領域URの左右の大きさを変化させる。具体的に、領域制御部63は、操舵角情報取得部50が取得する操舵角の情報に応じて、自車両の操舵角が変化したか否かを判断する。自車両の操舵角が変化していないと判断された場合(ステップS2におけるNO)、処理はステップS5に移行する。
【0045】
(ステップS3)
ステップS2で操舵角情報取得部50が取得する操舵角の情報に応じて、自車両が左に操舵されたことが判断された場合、すなわち、自車両の操舵角が左方向に旋回し始めた場合(ステップS2における左旋回)、領域制御部63は、上側領域URの右側を左側よりも広くするように上側領域URを変化させる(図4)。すなわち、領域制御部63は、下側辺BSから第3の点P3までの高さを下側辺BSから第2の点P2までの高さよりも高くして、右側領域A1を左側領域A2よりも広くする(図4)。この後、処理はステップS5に移行する。
【0046】
(ステップS4)
一方、ステップS2で操舵角情報取得部50が取得する操舵角の情報に応じて、自車両が右に操舵されたことが判断された場合、すなわち、自車両の操舵角が右方向に旋回し始めた場合(ステップS2における右旋回)、領域制御部63は、上側領域URの左側を右側よりも広くするように上側領域URを変化させる(図5)。すなわち、領域制御部63は、下側辺BSから第2の点P2までの高さを下側辺BSから第3の点P3までの高さよりも高くして、左側領域A2を右側領域A1よりも広くする(図5)。この後、処理はステップS5に移行する。
【0047】
(ステップS5)
近赤外除去処理部62は、上側領域URの近赤外光成分を除去する。例えば、近赤外除去処理部62は、上側領域URのうち、画素値が閾値を上回っている画素について、R、G、Bの各成分の画素値よりも近赤外光成分の画素値を小さく重み付けて近赤外光成分を除去する。具体的に、近赤外除去処理部62は、上側領域UR内に存在する道路標識TSの近赤外光成分の画素値を小さく重み付けて近赤外光成分を除去する。
【0048】
本実施形態では、領域制御部63は、操舵角情報取得部50が取得する操舵角の情報に応じて、上側領域URを変化させる。すなわち、領域制御部63は、自車両の左方向への操舵角が大きくなるほど、下側辺BSから第3の点P3までの高さを下側辺BSから第2の点P2までの高さと比べて高くする。同様に、領域制御部63は、自車両の右方向への操舵角が大きくなるほど、下側辺BSから第2の点P2までの高さを下側辺BSから第3の点P3までの高さと比べて高くする。したがって、近赤外光成分を除去すべき道路標識TSが映る領域を自車両の動作状況に応じて的確に特定することができる。その結果、近赤外除去処理部62は、道路標識TSが映る領域内のみで近赤外光成分を除去することができる。
【0049】
本実施形態では、近赤外除去処理部62は、消失点が下側領域LRに入るように上側領域URを所定領域に設定し、設定した所定領域の近赤外光成分を除去する。このため、歩行者等と比べて道路標識TSが存在する可能性の高い上側領域URに所定領域を設定できる。
【0050】
以上、本発明の実施形態を図面により詳述したが、実施形態は本発明の例示にしか過ぎないものであるため、本発明は実施形態の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
(【0051】以降は省略されています)

関連特許

クラリオン株式会社
放送受信装置
クラリオン株式会社
牽引支援装置
クラリオン株式会社
放送受信装置
クラリオン株式会社
情報処理装置
クラリオン株式会社
車載カメラ装置
クラリオン株式会社
突起物検出装置
クラリオン株式会社
撮像装置及び撮像方法
クラリオン株式会社
撮影装置、及び投光方法
クラリオン株式会社
音声出力装置及び飛行体
クラリオン株式会社
情報処理装置、情報処理方法
クラリオン株式会社
画像処理装置及び画像処理方法
クラリオン株式会社
放送制御装置、及び情報表示方法
クラリオン株式会社
撮像装置及び撮像装置の基板支持方法
クラリオン株式会社
カメラ制御装置、及びカメラ制御方法
クラリオン株式会社
車載用故障検出装置、及び故障検出方法
クラリオン株式会社
画像生成装置、及び画像生成装置の制御方法
クラリオン株式会社
配光制御装置、投光システム及び配光制御方法
クラリオン株式会社
自動駐車制御装置、及び自動駐車制御システム
加藤電機株式会社
開閉体の開閉装置並びに被開閉体
クラリオン株式会社
情報表示端末、サーバ装置およびバスルート案内表示方法
クラリオン株式会社
画像出力装置、画像出力システム及び画像出力装置の制御方法
日本たばこ産業株式会社
物品提供装置及び物品提供システム
クラリオン株式会社
電動車両用走行支援装置、及び電動車両用走行支援装置の制御方法
個人
電動車両
個人
ホイール
個人
車両安全運転システム
日本精機株式会社
表示装置
株式会社ゼンリン
制御装置
井関農機株式会社
作業車両
個人
ハイブリッド型電動作業車
個人
自動車用サンシェード
ヤンマー株式会社
作業車両
ヤンマー株式会社
作業車両
日本精機株式会社
車両用表示装置
個人
自動車の制御装置であるペダル
アルパイン株式会社
車載用装置
続きを見る