特許ウォッチ

公開番号2025108916
公報種別公開特許公報(A)
公開日2025-07-24
出願番号2024002453
出願日2024-01-11
発明の名称位置推定方法、位置推定装置、および、位置推定システム
出願人トヨタ自動車株式会社
代理人弁理士法人明成国際特許事務所
主分類G06T 7/70 20170101AFI20250716BHJP(計算;計数)
要約【課題】移動体の位置を確度よく推定する位置推定方法を提供する。
【解決手段】移動体の位置を推定する位置推定方法は、カメラから出力される撮像画像を取得する取得工程と、画像認識によって撮像画像に含まれる移動体の位置を推定する位置推定工程と、を備え、位置推定工程では、移動体とカメラとの重力方向における距離が予め定められた閾値以上である場合に、撮像画像中から移動体を含む領域を推定することで生成されるバウンディングボックスと、撮像画像中から抽出される移動体の輪郭と、の少なくとも一方を用いて、移動体の位置を推定し、距離が閾値未満である場合に、撮像画像中から抽出される移動体の複数の特徴点のうちの2つの特徴点を結んだ線分を用いて、移動体の位置を推定する。
【選択図】図7
特許請求の範囲【請求項１】
無人運転により移動可能な移動体の位置を推定する位置推定方法であって、
前記移動体とは異なる場所に設置されたカメラから出力される撮像画像を取得する取得工程と、
画像認識によって前記撮像画像に含まれる前記移動体の位置を推定する位置推定工程と、を備え、
前記位置推定工程では、
前記移動体と前記カメラとの重力方向における距離が予め定められた閾値以上である場合に、前記撮像画像中から前記移動体を含む領域を推定することで生成されるバウンディングボックスと、前記撮像画像中から抽出される前記移動体の輪郭と、の少なくとも一方を用いて、前記移動体の前記位置を推定し、
前記距離が前記閾値未満である場合に、前記撮像画像中から抽出される前記移動体の複数の特徴点のうちの２つの前記特徴点を結んだ線分を用いて、前記移動体の前記位置を推定する、位置推定方法。
続きを表示（約 1,200 文字）【請求項２】
請求項１に記載の位置推定方法であって、
前記複数の特徴点は、前記撮像画像が入力された場合に前記複数の特徴点を出力する学習済みの機械学習モデルに前記撮像画像を入力することで取得され、
前記機械学習モデルは、訓練画像に正解ラベルとして前記複数の特徴点をラベル付けすることで生成される１以上の学習用データセットを用いて予め学習されている、位置推定方法。
【請求項３】
無人運転により移動可能な移動体の位置を推定する位置推定装置であって、
前記移動体とは異なる場所に設置されたカメラから出力される撮像画像を取得する取得部と、
画像認識によって前記撮像画像に含まれる前記移動体の位置を推定する位置推定部と、を備え、
前記位置推定部は、
前記移動体と前記カメラとの重力方向における距離が予め定められた閾値以上である場合に、前記撮像画像中から前記移動体を含む領域を推定することで生成されるバウンディングボックスと、前記撮像画像中から抽出される前記移動体の輪郭と、の少なくとも一方を用いて、前記移動体の前記位置を推定し、
前記距離が前記閾値未満である場合に、前記撮像画像中から抽出される前記移動体の複数の特徴点のうちの２つの前記特徴点を結んだ線分を用いて、前記移動体の前記位置を推定する、位置推定装置。
【請求項４】
請求項３に記載の位置推定装置であって、
前記位置推定部は、前記撮像画像が入力された場合に前記複数の特徴点を出力する学習済みの機械学習モデルに前記撮像画像を入力することで前記複数の特徴点を取得し、
前記機械学習モデルは、訓練画像に正解ラベルとして前記複数の特徴点をラベル付けすることで生成される１以上の学習用データセットを用いて予め学習されている、位置推定装置。
【請求項５】
移動体の位置を推定する位置推定システムであって、
無人運転により移動可能な移動体と、
前記移動体とは異なる場所に設置されたカメラと、
前記カメラから出力される撮像画像を取得する取得部と、
画像認識によって前記撮像画像に含まれる前記移動体の位置を推定する位置推定部と、を備え、
前記位置推定部は、
前記移動体と前記カメラとの重力方向における距離が予め定められた閾値以上である場合に、前記撮像画像中から前記移動体を含む領域を推定することで生成されるバウンディングボックスと、前記撮像画像中から抽出される前記移動体の輪郭と、の少なくとも一方を用いて、前記移動体の前記位置を推定し、
前記距離が前記閾値未満である場合に、前記撮像画像中から抽出される前記移動体の複数の特徴点のうちの２つの前記特徴点を結んだ線分を用いて、前記移動体の前記位置を推定する、位置推定システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、位置推定方法、位置推定装置、および、位置推定システムに関する。
続きを表示（約 4,800 文字）【背景技術】
【０００２】
従来、対象物とは異なる場所に設置されたカメラの撮像画像中から対象物を含む領域を推定することで生成されるバウンディングボックスを用いて、対象物の位置を推定する技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－１７５７６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
対象物である移動体とカメラとの重力方向における距離が小さいほど、バウンディングボックスと実際の移動体の輪郭との差が大きくなることで、推定した移動体の位置の確度が低下する虞がある。例えば、走路を移動する車両等の移動体の位置を推定する場合において、走路に設置されたカメラの路面に対する垂直高さが低い場合、カメラは、移動体を斜め上方から撮像する。これにより、バウンディングボックスと実際の移動体の輪郭との差が大きくなり、推定した移動体の位置の確度が低下する虞がある。このような課題は、バウンディングボックスを用いて移動体の位置を推定する場合に限られず、撮像画像中から抽出した移動体の輪郭を用いて移動体の位置を推定する場合においても共通する。
【課題を解決するための手段】
【０００５】
本開示は、以下の形態として実現することが可能である。
【０００６】
（１）本開示の第１形態によれば、位置推定方法が提供される。無人運転により移動可能な移動体の位置を推定する位置推定方法は、前記移動体とは異なる場所に設置されたカメラから出力される撮像画像を取得する取得工程と、画像認識によって前記撮像画像に含まれる前記移動体の位置を推定する位置推定工程と、を備え、前記位置推定工程では、前記移動体と前記カメラとの重力方向における距離が予め定められた閾値以上である場合に、前記撮像画像中から前記移動体を含む領域を推定することで生成されるバウンディングボックスと、前記撮像画像中から抽出される前記移動体の輪郭と、の少なくとも一方を用いて、前記移動体の前記位置を推定し、前記距離が前記閾値未満である場合に、前記撮像画像中から抽出される前記移動体の複数の特徴点のうちの２つの前記特徴点を結んだ線分を用いて、前記移動体の前記位置を推定する。この形態によれば、移動体とカメラとの重力方向における距離が閾値未満である場合に、撮像画像中から抽出される移動体の複数の特徴点のうちの２つの特徴点を結んだ線分を用いて、移動体の位置を推定できる。このようにすると、撮像画像中から移動体を含む領域を推定することで生成されるバウンディングボックスを用いることなく、移動体の位置を推定できる。これにより、バウンディングボックスと実際の移動体の輪郭との差が大きくなることで、推定した移動体の位置の確度が低下することを抑制できる。また、この形態によれば、撮像画像中から抽出される移動体の輪郭を用いることなく、移動体の位置を推定できる。これにより、撮像画像中から抽出される移動体の輪郭と、実際の移動体の輪郭と、の差が大きくなることで、推定した移動体の位置の確度が低下することを抑制できる。
（２）上記形態であって、前記複数の特徴点は、前記撮像画像が入力された場合に前記複数の特徴点を出力する学習済みの機械学習モデルに前記撮像画像を入力することで取得され、前記機械学習モデルは、訓練画像に正解ラベルとして前記複数の特徴点をラベル付けすることで生成される１以上の学習用データセットを用いて予め学習されていてもよい。この形態によれば、撮像画像が入力された場合に移動体の複数の特徴点を出力する機械学習モデルに、撮像画像を入力することで、移動体の複数の特徴点を取得することができる。
（３）本開示の第２形態によれば、位置推定装置が提供される。無人運転により移動可能な移動体の位置を推定する位置推定装置は、前記移動体とは異なる場所に設置されたカメラから出力される撮像画像を取得する取得部と、画像認識によって前記撮像画像に含まれる前記移動体の位置を推定する位置推定部と、を備え、前記位置推定部は、前記移動体と前記カメラとの重力方向における距離が予め定められた閾値以上である場合に、前記撮像画像中から前記移動体を含む領域を推定することで生成されるバウンディングボックスと、前記撮像画像中から抽出される前記移動体の輪郭と、の少なくとも一方を用いて、前記移動体の前記位置を推定し、前記距離が前記閾値未満である場合に、前記撮像画像中から抽出される前記移動体の複数の特徴点のうちの２つの前記特徴点を結んだ線分を用いて、前記移動体の前記位置を推定する。この形態によれば、移動体とカメラとの重力方向における距離が閾値未満である場合に、撮像画像中から抽出される移動体の複数の特徴点のうちの２つの特徴点を結んだ線分を用いて、移動体の位置を推定できる。このようにすると、撮像画像中から移動体を含む領域を推定することで生成されるバウンディングボックスを用いることなく、移動体の位置を推定できる。これにより、バウンディングボックスと実際の移動体の輪郭との差が大きくなることで、推定した移動体の位置の確度が低下することを抑制できる。また、この形態によれば、撮像画像中から抽出される移動体の輪郭を用いることなく、移動体の位置を推定できる。これにより、撮像画像中から抽出される移動体の輪郭と、実際の移動体の輪郭と、の差が大きくなることで、推定した移動体の位置の確度が低下することを抑制できる。
（４）上記形態であって、前記位置推定部は、前記撮像画像が入力された場合に前記複数の特徴点を出力する学習済みの機械学習モデルに前記撮像画像を入力することで前記複数の特徴点を取得し、前記機械学習モデルは、訓練画像に正解ラベルとして前記複数の特徴点をラベル付けすることで生成される１以上の学習用データセットを用いて予め学習されていてもよい。この形態によれば、撮像画像が入力された場合に移動体の複数の特徴点を出力する機械学習モデルに、撮像画像を入力することで、移動体の複数の特徴点を取得することができる。
（５）本開示の第３形態によれば、位置推定システムが提供される。移動体の位置を推定する位置推定システムは、無人運転により移動可能な移動体と、前記移動体とは異なる場所に設置されたカメラと、前記カメラから出力される撮像画像を取得する取得部と、画像認識によって前記撮像画像に含まれる前記移動体の位置を推定する位置推定部と、を備え、前記位置推定部は、前記移動体と前記カメラとの重力方向における距離が予め定められた閾値以上である場合に、前記撮像画像中から前記移動体を含む領域を推定することで生成されるバウンディングボックスと、前記撮像画像中から抽出される前記移動体の輪郭と、の少なくとも一方を用いて、前記移動体の前記位置を推定し、前記距離が前記閾値未満である場合に、前記撮像画像中から抽出される前記移動体の複数の特徴点のうちの２つの前記特徴点を結んだ線分を用いて、前記移動体の前記位置を推定する。この形態によれば、移動体とカメラとの重力方向における距離が閾値未満である場合に、撮像画像中から抽出される移動体の複数の特徴点のうちの２つの特徴点を結んだ線分を用いて、移動体の位置を推定できる。このようにすると、撮像画像中から移動体を含む領域を推定することで生成されるバウンディングボックスを用いることなく、移動体の位置を推定できる。これにより、バウンディングボックスと実際の移動体の輪郭との差が大きくなることで、推定した移動体の位置の確度が低下することを抑制できる。また、この形態によれば、撮像画像中から抽出される移動体の輪郭を用いることなく、移動体の位置を推定できる。これにより、撮像画像中から抽出される移動体の輪郭と、実際の移動体の輪郭と、の差が大きくなることで、推定した移動体の位置の確度が低下することを抑制できる。
本開示は、上記の位置推定方法、位置推定装置、および、位置推定システム以外の種々の形態で実現することが可能である。例えば、位置推定装置および位置推定システムの制御方法、その制御方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【０００７】
走行システムの構成を示す概念図。
第１実施形態における走行システムの構成を示すブロック図。
第１撮像画像についてのバウンディングボックスを模式的に示す図。
第２撮像画像についてのバウンディングボックスを模式的に示す図。
複数の特徴点と線分とを模式的に示す図。
第１実施形態における車両の走行制御の処理手順を示すフローチャート。
第１実施形態における位置推定方法を示すフローチャート。
第２実施形態における走行システムの構成を示すブロック図。
第２実施形態における車両の走行制御の処理手順を示すフローチャート。
【発明を実施するための形態】
【０００８】
Ａ．第１実施形態：
図１は、走行システム５０の構成を示す概念図である。走行システム５０は、位置推定システム７と、遠隔制御装置８０と、を備える。位置推定システム７は、移動体の位置を推定するためのシステムである。位置推定システム７は、外部センサ３００と、移動体としての１以上の車両１００と、車両１００の位置を推定する位置推定装置７０と、を備える。遠隔制御装置８０は、車両１００の位置等を用いて、車両１００の動作を遠隔制御する。本実施形態では、位置推定装置７０および遠隔制御装置８０の機能は、車両１００とは異なる場所に設置されたサーバ２００によって実現される。
【０００９】
本開示において、「移動体」は、移動し得る物体を意味し、例えば、車両や電動垂直離着陸機（いわゆる空飛ぶ自動車）である。車両は、車輪によって走行する車両であっても無限軌道によって走行する車両であってもよく、例えば、乗用車、トラック、バス、二輪車、四輪車、戦車、工事用車両などである。車両は、電気自動車（BEV：Battery Electric Vehicle）、ガソリン自動車、ハイブリッド自動車、ならびに燃料電池自動車を含む。移動体が車両以外である場合には、本開示における「車両」「車」との表現を、適宜に「移動体」に置き換えることができ、「走行」との表現を、適宜に「移動」に置き換えることができる。
【００１０】
車両１００は、無人運転により走行可能に構成されている。「無人運転」とは、搭乗者の走行操作によらない運転を意味する。走行操作とは、車両１００の「走る」、「曲がる」、「止まる」の少なくともいずれかに関する操作を意味する。無人運転は、車両１００の外部に位置する装置を用いた自動または手動の遠隔制御によって、あるいは、車両１００の自律制御によって実現される。無人運転によって走行している車両１００には、走行操作を行わない搭乗者が搭乗していてもよい。走行操作を行わない搭乗者には、例えば、単に車両１００の座席に着座している人や、組み付け、検査、スイッチ類の操作といった走行操作とは異なる作業を車両１００に乗りながら行っている人が含まれる。なお、搭乗者の走行操作による運転は、「有人運転」と呼ばれることがある。
（【００１１】以降は省略されています）

関連特許