特許ウォッチ

公開番号2025083851
公報種別公開特許公報(A)
公開日2025-06-02
出願番号2023197484
出願日2023-11-21
発明の名称監視装置
出願人株式会社SOKEN,株式会社デンソー
代理人弁理士法人ゆうあい特許事務所
主分類G06T 7/80 20170101AFI20250526BHJP(計算;計数)
要約【課題】カメラパラメータの誤差を抑えてカメラから物体までの距離の測定精度を確保可能な監視装置を提供する。
【解決手段】監視装置1は、カメラ10と、歪補正画像を生成するとともに当該歪補正画像に対応する焦点距離およびFOE座標を求める歪補正部21と、歪補正画像に写る物体の位置を画像物体位置として検出する物体検出部22と、を備える。監視装置1は、画像物体位置、焦点距離、FOE座標を用いて物体までの実距離を求める距離測定部23と、歪補正画像に写る道路上の特定の要素をランドマークとして検出するマーク検出部24と、ランドマーク距離を取得するマーク距離取得部25と、を備える。監視装置1は、歪補正画像中のランドマークの位置およびランドマーク距離を複数用いて焦点距離およびFOE座標を含むカメラパラメータを補正するパラメータ補正部26を備える。
【選択図】図2
特許請求の範囲【請求項１】
移動体が移動する道路を含むエリアを監視エリアとし、前記監視エリアにある物体を監視する監視装置であって、
前記監視エリアを撮像するカメラ（１０）と、
前記カメラで撮像された撮像画像の歪を補正した歪補正画像を生成するとともに、前記歪補正画像に対応する焦点距離およびＦＯＥ座標を求める歪補正部（２１）と、
前記歪補正画像に写る前記物体の位置を画像物体位置として検出する物体検出部（２２）と、
前記物体検出部で検出された前記画像物体位置、前記焦点距離、前記ＦＯＥ座標を用いて前記カメラから前記物体までの実距離を求める距離測定部（２３）と、
前記歪補正画像に写る前記道路上の特定の要素をランドマークとして検出するマーク検出部（２４）と、
前記道路の路面に平行となる一軸方向における前記カメラから前記ランドマークまでの距離であるランドマーク距離を取得するマーク距離取得部（２５）と、
前記歪補正画像中の前記ランドマークの位置であるマーク位置および前記マーク距離取得部で取得された前記ランドマーク距離を一組とするマーク情報を複数用いて、前記焦点距離および前記ＦＯＥ座標を含むカメラパラメータを補正するパラメータ補正部（２６）と、
を備える、監視装置。
続きを表示（約 1,500 文字）【請求項２】
前記パラメータ補正部は、前記距離測定部によって前記歪補正画像中の前記マーク位置に基づいて推定される前記一軸方向における前記カメラから前記ランドマークまでの推定距離と前記マーク距離取得部で取得された前記ランドマーク距離と差が小さくなるように、前記カメラパラメータを補正する、請求項１に記載の監視装置。
【請求項３】
前記マーク検出部は、前記歪補正画像に写る前記道路上の路面ペイントを前記ランドマークとして検出し、前記ランドマークに対応するマーク領域から前記ランドマークの特徴となる特徴点を検出する、請求項１または２に記載の監視装置。
【請求項４】
前記マーク検出部は、前記マーク領域にあるコーナ点を前記特徴点として検出する、請求項３に記載の監視装置。
【請求項５】
前記マーク検出部は、複数の前記特徴点のうち、前記カメラからの距離が予め定めた重点監視範囲内にあるものを、前記カメラから前記ランドマークまでの距離を求める際に利用する候補点として複数選定する、請求項３に記載の監視装置。
【請求項６】
前記マーク検出部は、前記カメラから前記ランドマークにおける複数の前記候補点に対応する位置までの距離が分散するように、複数の前記特徴点の中から前記候補点を選定する、請求項５に記載の監視装置。
【請求項７】
前記マーク検出部は、３以上の前記特徴点が検出された場合、３以上の前記特徴点のうち、前記カメラからの距離を比較した際にその差が最も大きくなる前記特徴点の組み合わせを前記候補点に選定する、請求項６に記載の監視装置。
【請求項８】
前記一軸方向における前記カメラから前記物体検出部で検出された検出物体までの距離を物体距離として取得する物体距離取得部（２７）を備え、
前記マーク検出部は、複数の前記特徴点の中から選定した前記候補点の数が所定の基準数以下となる場合、前記物体検出部で検出された検出物体の前記画像物体位置を前記特徴点に含めて前記候補点を選定し、
前記パラメータ補正部は、前記候補点に前記物体検出部で検出された検出物体の前記画像物体位置が含まれる場合、前記歪補正画像中の前記マーク位置、前記ランドマーク距離、前記画像物体位置、前記物体距離取得部で取得された前記物体距離を用いて、前記カメラパラメータを補正する、請求項５に記載の監視装置。
【請求項９】
前記マーク情報が記憶されたランドマーク記憶部（２８）と、
前記ランドマーク記憶部に記憶された前記マーク位置を記憶位置としたとき、前記記憶位置と前記カメラで新たに撮像された前記撮像画像を補正して得られる前記歪補正画像中の前記マーク位置とを比較するランドマーク追跡部（２９）と、を備え、
前記ランドマーク追跡部は、前記記憶位置と新たに得られた前記歪補正画像中の前記マーク位置とが異なる場合、新たに得られた前記歪補正画像中の前記マーク位置を前記記憶位置として前記ランドマーク記憶部に記憶し、
前記パラメータ補正部は、前記ランドマーク記憶部に記憶された前記記憶位置および前記ランドマーク距離を複数用いて、前記カメラパラメータを補正する、請求項１または２に記載の監視装置。
【請求項１０】
前記ランドマーク追跡部は、前記歪補正画像における前記マーク位置を含む所定領域に前記物体検出部によって検出された検出物体がある場合、前記ランドマーク記憶部に記憶された前記記憶位置を更新しない、請求項９に記載の監視装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、移動体が移動する道路を含むエリアを監視エリアとして監視する監視装置に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
従来、車載のカメラで撮影した画像に基づいて求めた地物までの距離と、高精度地図データに格納された地物の位置情報に基づいて求めた地物までの距離とを比較することによって、カメラの光軸ズレを検出する装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２００７－２６７２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、本発明者らは、移動体が移動する道路を含むエリアを監視エリアとし、当該監視エリアにある物体を監視する監視装置について鋭意検討している。具体的には、カメラで監視エリアを撮像した撮像画像中の物体の位置、カメラの焦点距離、ＦＯＥ座標に基づいて、カメラから物体までの距離を求めることを検討している。
【０００５】
この種の監視装置では、撮像画像に歪がある状態で物体の監視を行うと、監視結果に影響することから、予め想定されるカメラの設置モデルに基づいて設定した歪補正パラメータを用いて撮像画像の歪を補正した歪補正画像を生成することが望ましい。
【０００６】
しかし、実際には、カメラの取付時の傾きやカメラの個体差等によるカメラの設置モデルと実機個体との差があり、これに起因して、歪補正画像に対応する焦点距離、ＦＯＥ座標といったカメラパラメータに誤差が生ずる。このようなカメラパラメータの誤差は、カメラから物体までの距離の測定精度低下を招く要因となることから好ましくない。これらは、本発明者らの鋭意検討の末に見い出された。なお、ＦＯＥは、Focus Of Expansionの略称であり、道路の路面に平行となる一軸方向の光線と画像平面の交点として定義される。
【０００７】
本開示は、カメラパラメータの誤差を抑えてカメラから物体までの距離の測定精度を確保可能な監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、
移動体が移動する道路を含むエリアを監視エリアとし、監視エリアにある物体を監視する監視装置であって、
監視エリアを撮像するカメラ（１０）と、
カメラで撮像された撮像画像の歪を補正した歪補正画像を生成するとともに、歪補正画像に対応する焦点距離およびＦＯＥ座標を求める歪補正部（２１）と、
歪補正画像に写る物体の位置を画像物体位置として検出する物体検出部（２２）と、
物体検出部で検出された画像物体位置、焦点距離、ＦＯＥ座標を用いてカメラから物体までの実距離を求める距離測定部（２３）と、
歪補正画像に写る道路上の特定の要素をランドマークとして検出するマーク検出部（２４）と、
道路の路面に平行となる一軸方向におけるカメラからランドマークまでの距離であるランドマーク距離を取得するマーク距離取得部（２５）と、
歪補正画像中のランドマークの位置であるマーク位置およびマーク距離取得部で取得されたランドマーク距離を一組とするマーク情報を複数用いて、焦点距離およびＦＯＥ座標を含むカメラパラメータを補正するパラメータ補正部（２６）と、を備える。
【０００９】
距離測定部は、歪補正画像中のマーク位置に基づいて道路の路面に平行となる一軸方向におけるカメラからランドマークまでの距離を推定可能である。距離測定部で求める推定距離は、カメラパラメータを用いるので、カメラパラメータの誤差の影響を受ける。
【００１０】
一方、マーク距離取得部で得られる一軸方向におけるカメラからランドマークまでのランドマーク距離は、距離測定部によって求める推定距離とは異なり、カメラパラメータの誤差の影響を受けない。
（【００１１】以降は省略されています）

関連特許