特許ウォッチ

公開番号2025059141
公報種別公開特許公報(A)
公開日2025-04-10
出願番号2023168956
出願日2023-09-29
発明の名称推定装置、および、推定方法
出願人株式会社デンソー,トヨタ自動車株式会社,株式会社ミライズテクノロジーズ
代理人弁理士法人明成国際特許事務所
主分類G06V 20/56 20220101AFI20250403BHJP(計算;計数)
要約【課題】BEV特徴量の調整の際の同期誤差の影響を低減する技術を提供する。
【解決手段】推定装置100は、同一のカメラ300Aにより撮像された時系列で連続した2次元画像に基づいて、自己位置推定手法としてVisual Odometryを用いて、2次元画像内の物体の3次元座標を算出する位置算出部であって、車両に備えられた複数のカメラのうちの少なくともひとつのカメラにより車両の外部が撮像された2次元画像に基づいて、車両の位置および姿勢を算出する位置算出部210と、BEV(Bird eye view)空間における特徴量であるBEV特徴量を取得するBEV推定のためのアルゴリズムを用いて、車両の外部が撮像された2次元画像に基づいて、BEV特徴量を取得する特徴量取得部220と、特徴量取得部により取得されたBEV特徴量を、位置および姿勢を表す情報を用いて、補正する補正部225と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
推定装置（１００）であって、
同一のカメラ（３００Ａ）により撮像された時系列で連続した２次元画像に基づいて、自己位置推定手法としてVisual Odometryを用いて、車両の位置および姿勢を算出する位置算出部であって、車両に備えられた複数のカメラのうちの少なくともひとつのカメラにより前記車両の外部が撮像された前記２次元画像に基づいて、前記車両の位置および姿勢を算出する位置算出部（２１０）と、
BEV(Bird eye view)空間における特徴量であるBEV特徴量を取得するBEV推定のためのアルゴリズムを用いて、前記車両の外部が撮像された前記２次元画像に基づいて、前記BEV特徴量を取得する特徴量取得部（２２０）と、
前記特徴量取得部により取得された前記BEV特徴量を、前記位置および姿勢を表す情報を用いて補正する補正部（２２５）と、
を備える推定装置。
続きを表示（約 1,500 文字）【請求項２】
請求項１に記載の推定装置であって、
前記BEV推定のためのアルゴリズムにおいては、
車両に備えられた複数のカメラのうち対応するカメラにより撮像された前記２次元画像を入力として、前記対応するカメラにより撮像された前記２次元画像の特徴量である画像特徴量を出力するように学習させた複数の機械学習モデルに、それぞれ前記対応するカメラにより撮像された前記２次元画像を入力して、前記２次元画像の前記画像特徴量が取得され、
前記複数のカメラそれぞれに対応した前記画像特徴量に基づいて、前記複数のカメラそれぞれについての視錐台の特徴量が生成され、
前記複数のカメラそれぞれについての視錐台の特徴量が前記BEV特徴量に変換される、
推定装置。
【請求項３】
請求項２に記載の推定装置であって、
前記位置算出部は、前記自己位置推定手法としてVisual Inertial Odometryを用いる、
推定装置。
【請求項４】
請求項２に記載の推定装置であって、
前記位置算出部は、前記車両の位置および姿勢の算出において、さらに、車輪速センサによる検出値を用いる、
推定装置。
【請求項５】
請求項１に記載の推定装置であって、
前記BEV推定のためのアルゴリズムにおいては、
車両に備えられた複数のカメラのうち対応するカメラにより撮像された前記２次元画像を入力として、前記対応するカメラにより撮像された前記２次元画像の特徴量である画像特徴量を出力するように学習させた複数の機械学習モデルに、それぞれ前記対応するカメラにより撮像された前記２次元画像を入力して、前記２次元画像の前記画像特徴量が取得され、
過去に取得された前記複数のカメラそれぞれに対応した前記画像特徴量と、今回取得された前記複数のカメラそれぞれに対応した画像特徴量とに基づいて、Attention機構を有する機械学習モデルを用いて、前記複数のカメラそれぞれに対応した前記画像特徴量を画像空間から前記BEV空間へ変換することにより、前記BEV特徴量が取得される、
推定装置。
【請求項６】
請求項５に記載の推定装置であって、
前記位置算出部は、前記自己位置推定手法としてVisual Inertial Odometryを用いる、
推定装置。
【請求項７】
請求項５に記載の推定装置であって、
前記位置算出部は、前記車両の位置および姿勢の算出において、さらに、車輪速センサによる検出値を用いる、
推定装置。
【請求項８】
鳥瞰図を推定する推定方法であって、
同一のカメラにより撮像された時系列で連続した２次元画像に基づいて、自己位置推定手法としてVisual Odometryを用いて、車両の位置および姿勢を算出するステップであって、車両に備えられた複数のカメラのうちの少なくともひとつのカメラにより前記車両の外部が撮像された前記２次元画像に基づいて、前記車両の位置および姿勢を算出するステップと、
BEV(Bird eye view)空間における特徴量であるBEV特徴量を取得するBEV推定のためのアルゴリズムを用いて、前記車両の外部が撮像された前記２次元画像に基づいて、前記BEV特徴量を取得するステップと、
取得された前記BEV特徴量を、前記位置および姿勢を表す情報を用いて補正するステップと、
を含む推定方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、推定装置、および、推定方法に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
特許文献１に記載の技術においては、車両に搭載されている複数のカメラにより取得された２次元画像に基づいて機械学習モデルを用いて３次元空間情報（BEV特徴量）を推定し、推定した３次元空間情報に基づいて鳥瞰図を生成する。特許文献１に記載の技術においては、３次元空間情報（BEV特徴量）が車両の運動情報を用いて調整される。車両の運動情報として、車両に備えられた各種センサにより検出された加速度、速度、ヨーレート等が用いられる。
【先行技術文献】
【特許文献】
【０００３】
米国特許出願公開第２０２３／００５３７８５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これら各種センサは、CAN（Controller Area Network） busを介して、検出値を、鳥瞰画像を生成するECUに送信する。CAN busには複数のECU等が接続されており、CAN busの通信負荷が大きくなると、通信遅延が生じる。
【０００５】
ここで、２次元画像を取得する複数のカメラはイーサネット（登録商標）により鳥瞰画像を生成するECUに個別に接続されている。このため、カメラにより取得された画像を、鳥瞰画像を生成するECUが受信するタイミングと、カメラが画像を送信したタイミングとのタイムラグはほぼないといえる。
【０００６】
この一方で、CAN busに通信遅延が発生すると、各種センサの検出値を、鳥瞰画像を生成するECUが受信したタイミングと、各種センサが検出値を送信したタイミングとの、タイムラグが大きくなってしまう。鳥瞰画像を生成するECUが、カメラの２次元画像を取得するタイミングと、センサの検出値を取得するタイミングとは、同じであることが望ましい。しかしながら、CAN busの通信遅延の影響により、BEV特徴量の調整の際に同期誤差が生じてしまっていた。よって、BEV特徴量の調整の際の同期誤差の影響を低減できる技術が求められていた。
【課題を解決するための手段】
【０００７】
本開示の一形態によれば、推定装置（１００）が提供される。この推定装置は、同一のカメラ（３００Ａ）により撮像された時系列で連続した２次元画像に基づいて、自己位置推定手法としてVisual Odometryを用いて、車両の位置および姿勢を算出する位置算出部であって、車両に備えられた複数のカメラのうちの少なくともひとつのカメラにより前記車両の外部が撮像された前記２次元画像に基づいて、前記車両の位置および姿勢を算出する位置算出部（２１０）と、BEV(Bird eye view)空間における特徴量であるBEV特徴量を取得するBEV推定のためのアルゴリズムを用いて、前記車両の外部が撮像された前記２次元画像に基づいて、前記BEV特徴量を取得する特徴量取得部（２２０）と、前記特徴量取得部により取得された前記BEV特徴量を、前記位置および姿勢を表す情報を用いて補正する補正部（２２５）と、を備える。
【０００８】
上記形態の推定装置によれば、CAN busでECUに接続されているセンサにくらべて、通信遅延の影響が小さいカメラが取得した画像を用いて、Visual Odometryを用いて車両の位置および姿勢を推定し、推定した位置および姿勢を表す情報を用いてBEV特徴量を補正する。CAN busでECUに接続されているセンサによる検出値を用いてBEV特徴量を補正する態様にくらべて同期誤差の影響を低減できる。
【図面の簡単な説明】
【０００９】
運転支援システムの概略構成を表すブロック図である。
カメラの配置例を示す説明図である。
座標変換についての説明図である。
第１実施形態における鳥瞰図の生成の方法を示すフローチャートである。
第２実施形態における鳥瞰図の生成の方法を示すフローチャートである。
第３実施形態における鳥瞰図の生成の方法を示すフローチャートである。
第４実施形態における鳥瞰図の生成の方法を示すフローチャートである。
第５実施形態における鳥瞰図の生成の方法を示すフローチャートである。
第７実施形態における鳥瞰図の生成の方法を示すフローチャートである。
図９における位置および姿勢の算出処理のフローチャートである。
第８実施形態における鳥瞰図の生成の方法を示すフローチャートである。
図１１における位置および姿勢の算出処理のフローチャートである。
【発明を実施するための形態】
【００１０】
Ａ．第１実施形態：
図１に示す、運転支援システム１は、車両５０に備えられた画像センサにより時系列で取得された複数の２次元画像を用いて、車両５０の周囲の状況を推定し、車両５０を上方から見た鳥瞰画像を生成する。鳥瞰画像は、車両５０を上方から見下ろした画像である。例えば、運転支援システム１は、車両５０に備えられた画像センサにより時系列で取得された複数の２次元画像を用いて、車両５０を上方から見下ろした映像を車両５０の車載モニターに表示する。車両５０は、ＡＤＡＳ（Advanced Driving Assistant System: 先進運転システム）による走行が可能である。
（【００１１】以降は省略されています）

関連特許