特許ウォッチ

公開番号2024162321
公報種別公開特許公報(A)
公開日2024-11-21
出願番号2023077704
出願日2023-05-10
発明の名称速度補正方法、運転支援装置、および、プログラム
出願人株式会社デンソー,トヨタ自動車株式会社,株式会社ミライズテクノロジーズ
代理人弁理士法人明成国際特許事務所
主分類G01S 13/86 20060101AFI20241114BHJP(測定;試験)
要約【課題】対象車両の速度を精度よく求める。
【解決手段】速度補正方法は、(A)レーダ12を用いて、対象車線における少なくとも1つのターゲットからの反射点の集合を表す第1点群を取得するステップと、(B)第1点群を用いて車両に対するターゲットの相対速度を取得するステップと、(C)カメラが撮像した入力画像に基づいて、撮像範囲に存在する物体の形状を表す三次元情報を生成するステップと、(D)三次元情報を用いて平面視画像IM1を生成するステップと、(E)平面視画像におけるターゲットが存在する第1範囲内における第1点群の平面視における位置を表す対応情報を生成するステップと、(F)対応情報を用いて、ターゲットを車両から見た方向と、平面視画像に基づいて求められたターゲットの進行方向と、がなす角度を算出するステップと、(G)角度を用いて相対速度を補正するステップと、を含む。
【選択図】図2
特許請求の範囲【請求項１】
運転支援装置（１００）が、車両（５０）に設けられ、前記車両の前方を撮像するカメラ（１１）と、前記車両に設けられ、電磁波を放射して、前記カメラの撮像範囲と少なくとも一部が重複する範囲に存在する複数の物体からの前記電磁波の反射点を取得するレーダ（１２）と、を用いて、着目する物体であるターゲット（Ｔ１）の速度を補正する速度補正方法であって、
（Ａ）前記レーダを用いて、前記車両が走行している車線の隣接の対象車線における少なくとも１つのターゲットからの前記反射点の集合を表す第１点群を取得するステップと、
（Ｂ）前記第１点群を用いて前記車両に対する前記ターゲットの相対速度を取得するステップと、
（Ｃ）前記カメラが撮像した入力画像を用いて、前記撮像範囲に存在する物体の形状を表す三次元情報を生成するステップと、
（Ｄ）前記三次元情報を用いてに基づいて平面視画像（ＩＭ１）を生成するステップと、
（Ｅ）前記平面視画像における前記ターゲットが存在する第１範囲内における前記第１点群の平面視における位置を表す対応情報を生成するステップと、
（Ｆ）前記対応情報を用いて、前記ターゲットを前記車両から見た方向と、前記平面視画像に基づいて求められた前記ターゲットの進行方向と、がなす角度を算出するステップと、
（Ｇ）前記角度を用いて、前記相対速度を補正するステップと、
を含む速度補正方法。
続きを表示（約 2,200 文字）【請求項２】
請求項１に記載の速度補正方法であって、
前記ステップ（Ｃ）は、
前記入力画像から第１機械学習モデルを用いて、前記カメラの前記撮像範囲に存在する物体の前記三次元情報を生成し、
前記ステップ（Ｄ）は、
前記三次元情報を用いて、座標変換により前記平面視画像を生成する、
ことを含む、
速度補正方法。
【請求項３】
請求項２に記載の速度補正方法であって、
前記ステップ（Ｅ）における、
前記第１範囲は、
前記平面視画像において前記ターゲットが存在する範囲をあらかじめ決められた倍率で拡大した範囲である、
速度補正方法。
【請求項４】
請求項３に記載の速度補正方法であって、
前記ステップ（Ａ）は、
前記レーダを用いて、前記少なくとも一部が重複する範囲に存在する前記複数の物体からの前記反射点の集合を取得し、
前記複数の物体からの前記反射点の集合をクラスタリングにより物体ごとに分割することにより、前記ターゲットからの前記反射点を表す前記第１点群を取得する、
ことを含む、
速度補正方法。
【請求項５】
請求項４に記載の速度補正方法であって、
前記ステップ（Ｅ）は、
前記平面視画像に基づいて物体検出用の第２機械学習モデルを用いて、前記平面視画像内の物体が存在する範囲、および、前記物体の種類を表す情報を出力する、
ことを含む、
速度補正方法。
【請求項６】
請求項５に記載の速度補正方法であって、
前記ステップ（Ｅ）は、
前記物体があらかじめ決められた種類の物体であることを含む、あらかじめ決められた条件を満たす場合、前記物体を前記ターゲットとして取り扱い、前記対応情報を出力し、
前記あらかじめ決められた条件を満たさない場合、前記対応情報を出力しない、
ことを含む、
速度補正方法。
【請求項７】
請求項６に記載の速度補正方法であって、
前記ステップ（Ｅ）において前記第１範囲と前記第１点群との対応付けができない場合に、前記ステップ（Ｆ）および前記ステップ（Ｇ）が実行されず、
前記ステップ（Ｅ）において前記第１範囲と前記第１点群との対応付けができる場合に、前記ステップ（Ｆ）および前記ステップ（Ｇ）が実行される、
速度補正方法。
【請求項８】
車両（５０）に設けられ、前記車両の前方を撮像するカメラ（１１）と、前記車両に設けられ、電磁波を放射して、前記カメラの撮像範囲と少なくとも一部が重複する範囲に存在する複数の物体からの前記電磁波の反射点を取得するレーダ（１２）と、を用いて、着目する物体であるターゲット（Ｔ１）の速度を補正する運転支援装置（１００）であって、
前記レーダが取得した第１点群であって、前記車両が走行している車線の隣接の対象車線における少なくとも１つのターゲットからの前記反射点の集合を表す第１点群を用いて、前記車両に対する前記ターゲットの相対速度を取得する相対速度取得部（１１０）と、
前記カメラが撮像した入力画像を用いて、前記撮像範囲に存在する物体の形状を表す三次元情報を生成し、前記三次元情報を用いて平面視画像を生成する画像生成部（１２０）と、
前記平面視画像において前記ターゲットが存在する第１範囲内における前記第１点群の平面視における位置を表す対応情報を生成するフュージョン部（１３０）と、
前記対応情報を用いて、前記ターゲットを前記車両から見た方向と、前記平面視画像に基づいて求められた前記ターゲットの進行方向と、がなす角度を算出し、
前記角度を用いて前記相対速度を補正する補正部（１４０）と、
を備える運転支援装置。
【請求項９】
車両（５０）に設けられ、前記車両の前方を撮像するカメラ（１１）と、前記車両に設けられ、電磁波を放射して、前記カメラの撮像範囲と少なくとも一部が重複する範囲に存在する複数の物体からの前記電磁波の反射点を取得するレーダ（１２）と、を用いて、着目する物体であるターゲット（Ｔ１）の速度を補正するコンピュータ（１００）が実行するプログラムであって、
前記コンピュータに、
前記レーダを用いて、前記車両が走行している車線の隣接の対象車線における少なくとも１つのターゲットからの前記反射点の集合を表す第１点群を取得する機能と、
前記第１点群を用いて前記車両に対する前記ターゲットの相対速度を取得する機能と、
前記カメラが撮像した入力画像を用いて、前記撮像範囲に存在する物体の形状を表す三次元情報を生成する機能と、
前記三次元情報を用いて平面視画像（ＩＭ１）を生成する機能と、
前記平面視画像における前記ターゲットが存在する第１範囲内における前記第１点群の平面視における位置を表す対応情報を生成する機能と、
前記対応情報を用いて、前記ターゲットを前記車両から見た方向と、前記平面視画像に基づいて求められた前記ターゲットの進行方向と、がなす角度を算出する機能と、
前記角度を用いて、前記相対速度を補正する機能と、
を実現させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、速度補正方法、運転支援装置、および、プログラムに関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
特許文献１には、レーダの検出点から推定された対象車両の進行方向を補正する技術について記載されている。対象車両が対向車線を走行している車両である場合、対象車両の進行方向と、自車両が備えるレーダが電磁波を放射する方向とは正対していない。このため、レーダが検出できるのは電磁波の放射方向に沿った対象車両の速度成分である。対象車両の正確な速度を得るためには、対象車両の進行方向を正確に求める必要がある。
【０００３】
特許文献１には、対象車両を上から見た場合の平面視における対象車両が存在する領域として、レーダの検出点すべてを囲むボックスが設定されることが記載されている。また、特許文献１には、基準となる検出点とボックス内に含まれるいずれかの検出点とを結んだ直線が任意の手法で決定された基準方向に対してなす角度を、対象車両の補正後の進行方向の候補とすることが記載されている。
【先行技術文献】
【特許文献】
【０００４】
米国特許出願公開第２０１９／０００４１６６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術においては、レーダの検出点の数があらかじめ決められた数より少ない場合に、対象車両が存在する領域を表すためのボックスを設定することができない。よって、レーダの検出点の数が少ない場合であっても、対象車両の進行方向を求め、対象車両の速度を精度よく求めることができる技術が望まれていた。
【課題を解決するための手段】
【０００６】
本開示の一形態によれば、速度補正方法が提供される。この速度補正方法は、運転支援装置（１００）が、車両に設けられ、車両（５０）の前方を撮像するカメラ（１１）と、前記車両に設けられ、電磁波を放射して、前記カメラの撮像範囲と少なくとも一部が重複する範囲に存在する複数の物体からの前記電磁波の反射点を取得するレーダ（１２）と、を用いて、着目する物体であるターゲット（Ｔ１）の速度を補正する速度補正方法であって、（Ａ）前記レーダを用いて、前記車両が走行している車線の隣接の対象車線における少なくとも１つのターゲットからの前記反射点の集合を表す第１点群を取得するステップと、（Ｂ）前記第１点群を用いて前記車両に対する前記ターゲットの相対速度を取得するステップと、（Ｃ）前記カメラが撮像した入力画像を用いて、前記撮像範囲に存在する物体の形状を表す三次元情報を生成するステップと、（Ｄ）前記三次元情報を用いて平面視画像（ＩＭ１）を生成するステップと、（Ｅ）前記平面視画像における前記ターゲットが存在する第１範囲内における前記第１点群の平面視における位置を表す対応情報を生成するステップと、（Ｆ）前記対応情報を用いて、前記ターゲットを前記車両から見た方向と、前記平面視画像に基づいて推定される前記ターゲットの前記進行方向と、がなす角度を算出するステップと、（Ｇ）前記角度を用いて、前記相対速度を補正するステップと、を含む。
【０００７】
上記形態によれば、レーダが検出した反射点が少ない場合であっても、カメラが撮像した入力画像から得られる情報を用いてターゲットが存在する範囲とターゲットの進行方向とを特定できる。よって、レーダの検出点の数が少ない場合であっても、対象車両の進行方向を精度よく求め、対象車両の速度を精度よく補正できる。
【図面の簡単な説明】
【０００８】
運転支援システムの概略構成を表すブロック図である。
ターゲットの相対速度を補正する速度補正処理のフローチャートである。
平面視画像の一例である。
平面視画像においてターゲットを囲むボックスの設定についての説明図である。
平面視画像においてターゲットを囲むボックスの拡大についての説明図である。
対応情報の生成についての説明図である。
角度の算出についての説明図である。
右折するターゲットについての説明図である。
【発明を実施するための形態】
【０００９】
Ａ．実施形態：
図１に示すように、運転支援システム１０は車両５０に搭載されている。車両５０はＡＤＡＳ（Advanced Driving Assistant System: 先進運転システム）による走行が可能である。運転支援システム１０は、車両５０が走行する車線に隣接する車線を走行する物標の相対速度を求める。運転支援システム１０は、カメラ１１と、レーダ１２と、運転支援装置１００と、運転制御部２００と、駆動力ＥＣＵ（Electronic Control Unit）３００と、ブレーキＥＣＵ４００と、操舵ＥＣＵ５００と、を備える。運転支援装置１００と、運転制御部２００と、駆動力ＥＣＵ３００と、ブレーキＥＣＵ４００と、操舵ＥＣＵ５００とは、車載ネットワークＶＮを介して接続される。車載ネットワークＶＮは、例えば、ＣＡＮ（Controller Area Network）である。
【００１０】
カメラ１１は、車両５０の前方に存在する物標（物体）を検出するための画像センサである。カメラ１１は、例えば、車両５０のフロントガラスの上端近傍に設置されている単眼カメラである。カメラ１１はあらかじめ決められたフレームレートで車両５０の前方の決められた撮像範囲を撮像する。カメラ１１は撮像したフレームのデータを運転支援装置１００に出力する。
（【００１１】以降は省略されています）

関連特許