特許ウォッチ

公開番号2025059138
公報種別公開特許公報(A)
公開日2025-04-10
出願番号2023168953
出願日2023-09-29
発明の名称推定装置、および、推定方法
出願人株式会社デンソー,トヨタ自動車株式会社,株式会社ミライズテクノロジーズ
代理人弁理士法人明成国際特許事務所
主分類H04N 7/18 20060101AFI20250403BHJP(電気通信技術)
要約【課題】3次元空間情報の推定について、より信頼性が高い推定結果を得る。
【解決手段】推定装置100は、同一のカメラにより撮像された時系列で連続した2次元画像に基づいて、自己位置推定手法としてのVisual Odometryを用いて、2次元画像内の物体の3次元座標を算出する座標算出部であって、車両500に備えられた複数のカメラ300A～300Fにより車両の外部が撮像された2次元画像それぞれに基づいて、車両の周囲に存在する物体の3次元座標を算出する座標算出部210と、BEV空間における特徴量であるBEV特徴量を取得するBEV推定のためのアルゴリズムにより、3次元座標と、車両の外部が撮像された2次元画像とに基づいて、BEV特徴量を取得する特徴量取得部220と、BEV特徴量に基づいて車両を上方から見た様子を表す画像である鳥瞰図を生成する鳥瞰図生成部230と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
推定装置（１００）であって、
同一のカメラにより撮像された時系列で連続した２次元画像に基づいて、自己位置推定手法としてのVisual Odometryを用いて、前記２次元画像内の物体の３次元座標を算出する座標算出部であって、車両（５００）に備えられた複数のカメラ（３００Ａ～３００Ｆ）により前記車両の外部が撮像された前記２次元画像それぞれに基づいて、前記車両の周囲に存在する物体の前記３次元座標を算出する座標算出部（２１０）と、
BEV(Bird eye view)空間における特徴量であるBEV特徴量を取得するBEV推定のためのアルゴリズムにより、前記３次元座標と、前記車両の外部が撮像された前記２次元画像とに基づいて、前記BEV特徴量を取得する特徴量取得部（２２０）と、
前記BEV特徴量に基づいて前記車両を上方から見た様子を表す画像である鳥瞰図を生成する鳥瞰図生成部（２３０）と、
を備える、
推定装置。
続きを表示（約 1,900 文字）【請求項２】
請求項１に記載の推定装置であって、
前記特徴量取得部は、
前記３次元座標を用いて、前記３次元座標の算出に用いられた前記２次元画像それぞれの深度マップを生成し、
複数の機械学習モデルであって、前記複数のカメラのうち一つのカメラにより撮像された前記２次元画像を入力として、前記一つのカメラにより撮像された前記２次元画像の特徴量である画像特徴量を出力するようにそれぞれ学習させた複数の機械学習モデルに、それぞれ対応するカメラにより撮像された前記２次元画像を入力して、前記複数の機械学習モデルがそれぞれ出力した前記画像特徴量を取得し、
前記２次元画像の前記画像特徴量と、前記２次元画像に対応する前記深度マップと、を用いて、前記複数のカメラがそれぞれ撮像した前記２次元画像の視錐台の点群（frustum-shaped point cloud）を生成し、
前記視錐台の点群に基づいて前記BEV特徴量を生成する、
推定装置。
【請求項３】
請求項２に記載の推定装置であって、
前記自己位置推定手法としてVisual Inertial Odometryを用いる、
推定装置。
【請求項４】
請求項３に記載の推定装置であって、
前記自己位置推定手法として、さらに、車輪速センサによる検出値を用いる、
推定装置。
【請求項５】
請求項１に記載の推定装置であって、
前記特徴量取得部は、
前記３次元座標を用いて、前記３次元座標の算出に用いられた前記２次元画像それぞれの深度マップを生成し、
前記２次元画像と、前記２次元画像に対応する前記深度マップを融合してRGB-Dデータを生成し、
複数の機械学習モデルであって、前記複数のカメラのうち一つのカメラにより撮像された前記２次元画像に基づいて生成された前記RGB-Dデータを入力として、前記一つのカメラにより撮像された前記RGB-Dデータの特徴量であるRGB-Dデータ特徴量を出力するようにそれぞれ学習させた複数の機械学習モデルに、それぞれ対応するカメラにより撮像された前記２次元画像に基づいて生成された前記RGB-Dデータを入力して、前記複数の機械学習モデルがそれぞれ出力した前記RGB-Dデータ特徴量を取得し、
前記RGB-Dデータ特徴量に基づいて前記BEV特徴量を生成する、
推定装置。
【請求項６】
請求項５に記載の推定装置であって、
前記自己位置推定手法としてVisual Inertial Odometryを用いる、
推定装置。
【請求項７】
請求項６に記載の推定装置であって、
前記自己位置推定手法として、さらに、車輪速センサによる検出値を用いる、
推定装置。
【請求項８】
請求項１に記載の推定装置であって、
前記特徴量取得部は、
複数の機械学習モデルであって、前記複数のカメラのうち一つのカメラにより撮像された前記２次元画像を入力として、前記一つのカメラにより撮像された前記２次元画像の特徴量である画像特徴量を出力するようにそれぞれ学習させた複数の機械学習モデルに、それぞれ対応するカメラにより撮像された前記２次元画像を入力して、前記複数の機械学習モデルがそれぞれ出力した前記画像特徴量を取得し、
前記画像特徴量に基づいて前記BEV空間における特徴量である第１BEV特徴量を生成し、
前記３次元座標を入力として、前記３次元座標の特徴量である３次元特徴量を出力するように学習させた第２機械学習モデルに、前記３次元座標を入力して、前記第２機械学習モデルが出力した前記３次元特徴量を取得し、
前記３次元特徴量に基づいて前記BEV空間における特徴量である第２BEV特徴量を生成し、
、
前記鳥瞰図生成部は、前記第１BEV特徴量と前記第２BEV特徴量とを融合した融合特徴量に基づいて前記鳥瞰図を生成する、
推定装置。
【請求項９】
請求項８に記載の推定装置であって、
前記自己位置推定手法としてVisual Inertial Odometryを用いる、
推定装置。
【請求項１０】
請求項９に記載の推定装置であって、
前記自己位置推定手法として、さらに、車輪速センサによる検出値を用いる、
推定装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、推定装置、および、推定方法に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
特許文献１に記載の技術においては、複数のカメラにより取得された２次元画像に基づいて機械学習モデルを用いて３次元空間情報を推定し、推定した３次元空間情報に基づいて鳥瞰図を生成する。
【先行技術文献】
【特許文献】
【０００３】
米国特許出願公開第２０２１／０３９８３３８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
機械学習モデルを用いて、２次元画像に基づいて３次元空間情報を推定する場合、推定結果の精度は、訓練に用いる教師データおよび機械学習モデルを訓練する方法に影響される。例えば、訓練されていない事象については、機械学習モデルは正しい推定結果を出力できないことがある。機械学習モデルを用いた場合、得られた推定結果が必ずしも信頼性を有しているとはいえない。
【０００５】
よって、２次元画像に基づいて３次元空間情報を推定した際に、より信頼性が高い推定結果を得ることができる技術が求められていた。
【課題を解決するための手段】
【０００６】
本開示の一形態によれば、推定装置（１００）が提供される。この推定装置は、同一のカメラにより撮像された時系列で連続した２次元画像に基づいて、自己位置推定手法としてのVisual Odometryを用いて、前記２次元画像内の物体の３次元座標を算出する座標算出部であって、車両（５００）に備えられた複数のカメラ（３００Ａ～３００Ｆ）により前記車両の外部が撮像された前記２次元画像それぞれに基づいて、前記車両の周囲に存在する物体の前記３次元座標を算出する座標算出部（２１０）と、BEV(Bird eye view)空間における特徴量であるBEV特徴量を取得するBEV推定のためのアルゴリズムにより、前記３次元座標と、前記車両の外部が撮像された前記２次元画像とに基づいて、前記BEV特徴量を取得する特徴量取得部（２２０）と、前記BEV特徴量に基づいて前記車両を上方から見た様子を表す画像である鳥瞰図を生成する鳥瞰図生成部（２３０）と、を備える。
【０００７】
上記形態の推定装置によれば、Visual Odmetryを用いており、２次元画像、カメラの内部パラメータおよび外部パラメータに基づく幾何学的な手法により、車両の周囲の物体の３次元座標を算出するので、機械学習モデルだけを用いて車両の周囲の物体の３次元座標を推定態様にくらべて、より信頼性が高い推定結果を得ることができる。
【図面の簡単な説明】
【０００８】
運転支援システムの概略構成を表すブロック図である。
カメラの配置例を示す説明図である。
座標変換についての説明図である。
第１実施形態における鳥瞰図の生成の方法を示したフローチャートである。
第２実施形態における鳥瞰図の生成の方法を示したフローチャートである。
第３実施形態における鳥瞰図の生成の方法を示したフローチャートである。
【発明を実施するための形態】
【０００９】
Ａ．第１実施形態：
図１に示す、運転支援システム１は、車両５０に備えられた画像センサにより時系列で取得された複数の２次元画像を用いて、車両５０の周囲の状況を推定し、車両５０を上方から見た鳥瞰画像を生成する。鳥瞰画像は、車両５０を上方から見下ろした画像である。例えば、運転支援システム１は、車両５０に備えられた画像センサにより時系列で取得された複数の２次元画像を用いて、車両５０を上方から見下ろした映像を車両５０の車載モニターに表示する。車両５０は、ＡＤＡＳ（Advanced Driving Assistant System: 先進運転システム）による走行が可能である。
【００１０】
運転支援システム１は、推定装置１００と、カメラ群３００と、を備える。推定装置１００とカメラ群３００とは車両５０に搭載されている。
（【００１１】以降は省略されています）

関連特許