特許ウォッチ

公開番号2024174769
公報種別公開特許公報(A)
公開日2024-12-17
出願番号2023092785
出願日2023-06-05
発明の名称物体検出装置及び物体検出装置のキャリブレーション方法
出願人ダイハツ工業株式会社
代理人個人
主分類G06T 7/80 20170101AFI20241210BHJP(計算;計数)
要約【課題】各種のカメラ10において利用でき、精度良くキャリブレーションを実行できる物体検出装置を提供する。
【解決手段】物体検出装置1は、車両前方の画像11を取得するカメラ10と、車両前方の点群データ21を取得する測距センサ20と、画像11及び点群データ21に基づいてキャリブレーションを実行する補正部30とを備え、補正部30は、画像11内において、バウンディングボックス12を設定し、バウンディングボックス12内に位置する物標3を検出すると共に、物標3に相当する点群22が、バウンディングボックス12で囲まれた認識領域12Aに対してずれていることを条件として、点群22の認識領域12Aに対するずれ量L及び方向Dを取得すると共に、ずれ量L及び方向Dに基づいて、カメラ10及び測距センサ20の少なくとも一方のキャリブレーションを実行する。
【選択図】図1
特許請求の範囲【請求項１】
車両における物体検出装置であって、
前記車両の前方を撮像して画像を取得するカメラと、
前記車両の前方における点群データを取得する測距センサと、
前記カメラ及び前記測距センサによって取得した前記画像及び前記点群データに関する情報に基づいてキャリブレーションを実行する補正部と、
を備え、
前記補正部は、
前記画像内において、バウンディングボックスを設定し、当該バウンディングボックス内に位置する所定の物標を検出すると共に、前記測距センサによって取得した前記点群データにおいて、前記物標に相当する所定の点群が、前記バウンディングボックスで囲まれた認識領域に対してずれていることを条件として、前記点群の前記認識領域に対するずれ量及び方向を取得すると共に、当該ずれ量及び当該方向に基づいて、前記カメラ及び前記測距センサのいずれか一方又は双方のキャリブレーションを実行すること、を特徴とする物体検出装置。
続きを表示（約 970 文字）【請求項２】
前記補正部は、複数の前記物標を検出すると共に、複数の前記物標毎に対応する複数のずれ量及び方向を取得するものであり、
前記キャリブレーションが、複数の前記ずれ量及び前記方向に基づいて実行されること、を特徴とする請求項１に記載の物体検出装置。
【請求項３】
請求項１又は２の物体検出装置を用い、
前記車両が停止しているか否かを判定する車両停止状態判定ステップと、
前記車両停止状態判定ステップにおいて、前記車両が停止状態にあると判定されることを条件として、前記測距センサにより前記点群データを取得する点群データ取得ステップと、
前記カメラにより前記画像を取得する画像取得ステップと、
前記画像を解析することにより、前記画像内における前記バウンディングボックスの有無を判定するバウンディングボックス有無判定ステップと、
前記バウンディングボックス有無判定ステップにおいて、前記バウンディングボックスを有すると判定されたことを条件として、前記バウンディングボックスの位置座標を前記測距センサにおける測距座標に変換する座標変換ステップと、
前記バウンディングボックスの前記認識領域内に位置する前記点群データから同一平面に位置する前記点群を算出する点群算出ステップと、
前記認識領域の外部に前記同一平面上の前記点群が存在するか否かを判定する点群位置判定ステップと、
前記点群位置判定ステップにおいて、前記認識領域の外部に前記同一平面上の前記点群が存在することを条件として、前記点群の前記認識領域に対するずれ量及び方向を算出するずれ量・方向算出ステップと、
前記ずれ量・方向算出ステップで算出された前記ずれ量及び方向に基づいて前記カメラ又は前記測距センサの補正係数を算出する補正係数算出ステップと、
前記補正係数算出ステップにおいて算出された前記補正係数を前記補正部に記憶させる補正係数設定ステップと、
前記補正係数設定ステップで設定された前記補正係数に基づいて、前記キャリブレーションを実行するキャリブレーション実行ステップと、
を順次実行すること、を特徴とする物体検出装置のキャリブレーション方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、車両等における物体検出装置及び物体検出装置のキャリブレーション方法に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
従来、各種の車両において、自動運転制御技術や衝突回避支援技術などの技術が開発されている。これらの技術を採用する車両では、各種の撮像装置（ステレオカメラ、単眼カメラ等）、レーダー装置、センサ（ソナー装置）等を用いた走行制御装置が知られている（例えば、特許文献１）。上述した特許文献１に記載の走行制御装置は、ステレオカメラで取得した画像データと、ＬｉＤＡＲ（測距センサに相当）で取得した３次元点群データと、を用いて車両の走行制御を行うものとされている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－１５７０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載の走行制御装置は、ステレオカメラ及びＬｉＤＡＲ（測距センサに相当）の双方が深さ情報を取得可能なものであり、双方とも高価なものとされている。すなわち、上述した特許文献１に記載の走行制御装置は、高価で冗長な構成となっている。そのため、ステレオカメラに代えて、安価な単眼カメラを使用した物体検出装置が求められている。
【０００５】
ところで、走行制御装置に用いられる物体検出装置は、例えば、撮像装置を車両に取り付ける際の取り付け精度や経年変化等に起因する位置ずれなどの原因によって、撮像のずれが生じることがある。その結果、撮像装置によって取得された画像情報を利用して行われる車両の走行制御に誤作動が生じる懸念があった。そのため、上述した特許文献１に記載の走行制御装置においては、ステレオカメラをキャリブレーションする技術が開示されている。しかしながら、上述した特許文献１に記載の走行制御装置は、深さ情報を有するステレオカメラに関するキャリブレーション技術を開示するものであり、深さ情報を有しない単眼カメラのキャリブレーションには適用できない問題があった。
【０００６】
そこで、本発明は、単眼カメラを含む各種のカメラにおいて利用することができ、精度良くキャリブレーションを実行可能な物体検出装置及び物体検出装置のキャリブレーション方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）上述した課題を解決すべく提供される本発明の物体検出装置は、車両における物体検出装置であって、前記車両の前方を撮像して画像を取得するカメラと、前記車両の前方における点群データを取得する測距センサと、前記カメラ及び前記測距センサによって取得した前記画像及び前記点群データに関する情報に基づいてキャリブレーションを実行する補正部と、を備え、前記補正部は、前記画像内において、バウンディングボックスを設定し、当該バウンディングボックス内に位置する所定の物標を検出すると共に、前記測距センサによって取得した前記点群データにおいて、前記物標に相当する所定の点群が、前記バウンディングボックスで囲まれた認識領域に対してずれていることを条件として、前記点群の前記認識領域に対するずれ量及び方向を取得すると共に、当該ずれ量及び当該方向に基づいて、前記カメラ及び前記測距センサのいずれか一方又は双方のキャリブレーションを実行すること、を特徴とするものである。
【０００８】
上述した物体検出装置は、補正部において、カメラで撮像した画像内において設定されたバウンディングボックス内に位置する所定の物標を検出するものとされている。また、上述した物体検出装置は、測距センサによって取得した３次元情報(深さ情報とも称する)を含む点群データのうち、物標に相当する所定の点群を認識し、当該点群が、バウンディングボックスで囲まれた認識領域に対してずれていることを条件として、点群の認識領域に対するずれ量及び方向を取得するものとされている。言い換えると、上述した物体検出装置は、２次元画像に設定されたバウンディングボックスの形成する平面上において、３次元点群データのうち、バウンディングボックスと同一平面上の物標に相当する点群を認識し、点群の認識領域に対するずれ量及び方向を取得することができる。ここで、測距センサには、例えば、ライダー（ＬｉＤＡＲ：ＬｉｇｈｔＤｅｔｅｃｔｉｏｎＡｎｄＲａｎｇｉｎｇ）が利用できる。また、上述した物体検出装置は、取得したずれ量及び方向に基づいて、カメラ及び測距センサのいずれか一方又は双方のキャリブレーションを実行することができる。なお、上述したカメラ及び測距センサによる物標の検出は、車両が停止した状態で行うことが望ましい。また、物標は、停止した状態のものを対象とすることが望ましい。
【０００９】
このように、上述した物体検出装置は、カメラで撮像された２次元の画像と、測距センサで測距された３次元の点群データと、に基づいてキャリブレーションを実行できる。すなわち、上述した物体検出装置は、カメラで撮像された画像に３次元情報が含まれていなくても、精度良くキャリブレーションを実行できる。したがって、上述した物体検出装置は、カメラのコストを低減できる。また、上述した物体検出装置は、ステレオカメラ、単眼カメラを問わず、２次元の画像を取得可能な各種のカメラを利用できるので、汎用性が向上する。
【００１０】
（２）上述した本発明の物体検出装置において、前記補正部は、複数の前記物標を検出すると共に、複数の前記物標毎に対応する複数のずれ量及び方向を取得するものであり、前記キャリブレーションが、複数の前記ずれ量及び前記方向に基づいて実行されること、を特徴とするとよい。
（【００１１】以降は省略されています）

関連特許