特許ウォッチ

公開番号2025016959
公報種別公開特許公報(A)
公開日2025-02-05
出願番号2023119796
出願日2023-07-24
発明の名称シミュレーションシステム、情報生成プログラムおよびシミュレーション方法
出願人株式会社デンソー,株式会社J-QuAD DYNAMICS,トヨタ自動車株式会社
代理人弁理士法人明成国際特許事務所
主分類G01S 17/86 20200101AFI20250129BHJP(測定;試験)
要約【課題】対象物の情報の認識の誤差を想定した上で、車両の制御を評価することができるシミュレーションシステムの技術の提供。
【解決手段】レーザー光が対象物において反射されて生じた反射光から生成された点群に基づいて、LiDAR情報を生成するLiDAR処理部11と、超音波が対象物において反射されて生じた反射波と、カメラが対象物を含む範囲を撮像した画像と、の少なくとも一方に基づいて、センサ情報を生成するセンサ処理部12と、LiDAR情報を入力値とし、センサ情報を正解値とした、教師あり機械学習を実行済みの学習部14と、仮想の画像内に存在する物体の位置の情報である仮想環境情報を生成する仮想生成部15と、仮想環境情報を入力値として学習部から出力された物体の位置の情報である仮想センサ情報を用いて、車両の制御のためのシミュレーションを行うシミュレーション部16と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
シミュレーションシステム（１）であって、
ＬｉＤＡＲセンサ（ＬＳ）が照射したレーザー光が対象物において反射されて生じた反射光から生成された点群に基づいて、予め定められた位置を基準とする前記対象物の位置の情報であるＬｉＤＡＲ情報を生成するＬｉＤＡＲ処理部（１１）と、
前記ＬｉＤＡＲセンサの検出範囲の少なくとも一部と、検出範囲の少なくとも一部が重複するように超音波を発振する超音波センサ（ＵＳ）から発振された超音波が前記対象物において反射した反射波と、前記ＬｉＤＡＲセンサの検出範囲の少なくとも一部と検出範囲の少なくとも一部が重複するように撮像するカメラ（Ｃｍ）が前記対象物を含む範囲を撮像した画像と、の少なくとも一方に基づいて、前記予め定められた位置を基準とする、前記対象物の位置の情報であるセンサ情報を生成するセンサ処理部（１２）と、
前記ＬｉＤＡＲ情報を入力値とし、前記センサ情報を正解値とした、教師あり機械学習を実行済みの学習部（１４）と、
車両を基準とする、仮想の画像内に存在する物体の位置の情報である仮想環境情報を生成する仮想生成部（１５）と、
前記仮想環境情報を入力値として前記学習部から出力された前記物体の位置の情報である仮想センサ情報を用いて、前記車両の制御のためのシミュレーションを行うシミュレーション部（１６）と、を備える、シミュレーションシステム。
続きを表示（約 1,800 文字）【請求項２】
請求項１に記載のシミュレーションシステムであって、
前記教師あり機械学習は、教師ありディープニューラルネットワーク学習である、シミュレーションシステム。
【請求項３】
請求項１に記載のシミュレーションシステムであって、
前記車両の制御を実行する車両制御部の、前記仮想センサ情報に基づく制御のシミュレーションの結果に基づいて、前記車両制御部を評価する、シミュレーションシステム。
【請求項４】
請求項３に記載のシミュレーションシステムであって、
前記車両制御部の、前記車両の操舵の制御と、駆動の制御と、制動の制御と、の一つ以上の結果に基づいて、前記車両制御部を評価する、シミュレーションシステム。
【請求項５】
請求項１に記載のシミュレーションシステムであって、
前記ＬｉＤＡＲ処理部および前記センサ処理部は、さらに、前記対象物の、高さと、幅と、前記対象物の種別と、の情報と、それぞれの情報の信頼度と、のうち一つ以上を生成する、シミュレーションシステム。
【請求項６】
請求項３または請求項４に記載のシミュレーションシステムであって、
前記仮想センサ情報と、前記車両制御部の制御の結果と、前記評価と、の少なくとも一方を記憶する、記憶装置（１８）と、を備える、シミュレーションシステム。
【請求項７】
請求項１に記載のシミュレーションシステムであって、
前記仮想センサ情報は、
予め定められた秒速以上の風と、予め定められた数値以上の降水量と、凹凸または傾斜の少なくとも一方を有する路面と、の、一つ以上の外乱を想定して生成された、シミュレーションシステム。
【請求項８】
情報生成プログラムであって、コンピュータに、
ＬｉＤＡＲセンサが照射したレーザー光が対象物において反射されて生じた反射光から生成された点群に基づいて、予め定められた位置を基準とする前記対象物の位置の情報であるＬｉＤＡＲ情報を生成するＬｉＤＡＲ処理部と、
超音波センサから発振された超音波が前記対象物において反射した反射波と、カメラが前記対象物を含む範囲を撮像した画像と、の少なくとも一方に基づいて、前記予め定められた位置を基準とする、前記対象物の位置の情報であるセンサ情報を生成するセンサ処理部と、
前記ＬｉＤＡＲ情報を入力値とし、前記センサ情報を正解値とする、教師あり機械学習を実行する学習部と、
車両を基準とする、仮想の画像内に存在する物体の位置の情報である仮想環境情報を生成する仮想生成部と、
前記仮想環境情報を入力値として前記学習部から出力された前記物体の位置の情報である仮想センサ情報を用いて、前記車両の制御のためのシミュレーションを行うシミュレーション部として機能させる、情報生成プログラム。
【請求項９】
シミュレーション方法であって、
ＬｉＤＡＲセンサが照射したレーザー光が対象物において反射されて生じた反射光から生成された点群に基づいて、予め定められた位置を基準とする前記対象物の位置の情報であるＬｉＤＡＲ情報を生成し、
前記ＬｉＤＡＲセンサの検出範囲の少なくとも一部と、検出範囲の少なくとも一部が重複するように超音波を発振する超音波センサから発振された超音波が前記対象物において反射した反射波と、前記ＬｉＤＡＲセンサの検出範囲の少なくとも一部と検出範囲の少なくとも一部が重複するように撮像するカメラが前記対象物を含む範囲を撮像した画像と、の少なくとも一方に基づいて、前記予め定められた位置を基準とする、前記対象物の位置の情報であるセンサ情報を生成し、
前記ＬｉＤＡＲ情報を入力値とし、前記センサ情報を正解値とする、教師あり機械学習を実行し、
車両を基準とする、仮想の画像内に存在する物体の位置の情報である仮想環境情報を生成し、
前記教師あり機械学習を実行済みの学習部に、前記仮想環境情報を入力し、
前記学習部から出力された前記物体の位置の情報である仮想センサ情報を用いて、前記車両の制御のためのシミュレーションを行う、シミュレーション方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、シミュレーションシステム、情報生成プログラムおよびシミュレーション方法に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
特許文献１において、画像生成システムと、シミュレーションシステムと、が開示されている。画像生成システムは、近赤外線センサや、ＬｉＤＡＲセンサが出力した画像に相当する仮想画像を生成する。
【０００３】
特許文献１の画像生成システムは、道路や歩行者等の対象物が、どの位置に存在してどのような動きをするのかを定義されたシナリオを設定する。画像生成システムは、シナリオに従って、３Ｄモデリング部が仮想空間上における物体の形状を作成する。画像生成システムは、３Ｄモデリング部で生成された３Ｄ形状に基づいて、３ＤＣＧを生成する。画像生成システムは、３ＤＣＧに含まれるコンポーネントを、コンポーネント画像として抽出し、コンポーネント画像中における対象物の奥行が定義された深度画像を生成する。画像生成システムは、過酷な天候条件のような、再現が困難な条件下における実写の画像に類似した画像を、人工的に生成することができる。生成した人工的な画像は、自動運転で用いられているＡＩの認識技術に適用されることが可能である。
【０００４】
特許文献１のシミュレーションシステムは、画像生成システムが生成した画像の中から、特定の対象物を認識し、認識結果を用いて、車両の動作を制御する制御信号を生成する。シミュレーションは、制御信号に基づいて、自車両の位置情報を変更または修正する。
【先行技術文献】
【特許文献】
【０００５】
特開２０１８－６０５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年、対象物の情報をシミュレーションツールによって生成し、対象物の情報を、車両の制御を実行する車両制御部に入力することで、車両の制御を評価する手法が知られている。カメラと超音波センサは、それぞれ車両の構成として用いられることが多い。このため、車両の制御のために使用される対象物の情報は、カメラと超音波センサとのいずれか一方が取得したデータ、またはカメラと超音波センサとが取得したデータの組み合わせによって生成されたデータに基づいて生成されることが多い。そのため、シミュレーションツールにおいて、カメラと超音波センサと、の少なくとも一方が取得したデータに基づいて生成された対象物の情報を再現することが求められる場合がある。
【０００７】
ここで、超音波センサやカメラに基づいて生成された対象物の情報は、ＬｉＤＡＲセンサのような、レーザー光を照射するセンサに基づいて生成された対象物の情報と比較して、対象物の位置や種別等の認識の誤差を多く含むことが知られている。しかし、従来のシミュレーションシステムにおいては、対象物の位置や種別等の認識の誤差を含む情報は生成されない。そのため、認識の誤差を想定した上でのシミュレーションが実行されず、車両の制御の評価が限定的なものとなっていた。特許文献１の深度画像も、対象物の情報の認識の誤差を想定して生成されるものではない。そのため、対象物の情報の認識の誤差を想定した上で、車両の制御を評価することができるシミュレーションシステムが望まれる。
【課題を解決するための手段】
【０００８】
本開示は、以下の形態として実現することが可能である。
【０００９】
本開示の一形態によれば、シミュレーションシステム（１）が提供される。このシミュレーションシステムは、ＬｉＤＡＲセンサ（ＬＳ）が照射したレーザー光が対象物において反射されて生じた反射光から生成された点群に基づいて、予め定められた位置を基準とする前記対象物の位置の情報であるＬｉＤＡＲ情報を生成するＬｉＤＡＲ処理部（１１）と、前記ＬｉＤＡＲセンサの検出範囲の少なくとも一部と、検出範囲の少なくとも一部が重複するように超音波を発振する超音波センサ（ＵＳ）から発振された超音波が前記対象物において反射した反射波と、前記ＬｉＤＡＲセンサの検出範囲の少なくとも一部と検出範囲の少なくとも一部が重複するように撮像するカメラが前記対象物を含む範囲を撮像した画像と、の少なくとも一方に基づいて、前記予め定められた位置を基準とする、前記対象物の位置の情報であるセンサ情報を生成するセンサ処理部（１２）と、前記ＬｉＤＡＲ情報を入力値とし、前記センサ情報を正解値とした、教師あり機械学習を実行済みの学習部（１４）と、車両を基準とする、仮想の画像内に存在する物体の位置の情報である仮想環境情報を生成する仮想生成部（１５）と、前記仮想環境情報を入力値として前記学習部から出力された前記物体の位置の情報である仮想センサ情報を用いて、前記車両の制御のためのシミュレーションを行うシミュレーション部（１６）と、を備える。
【００１０】
超音波センサとカメラの少なくとも一方に基づいて生成されたセンサ情報は、レーザー光を照射するＬｉＤＡＲセンサに基づいて生成されたＬｉＤＡＲ情報と比較して、対象物の位置や種別等の認識の誤差や、未検出が生じやすいと考えられる。本実施形態のシミュレーションシステムによれば、学習部が、実際の対象物の情報と近いと考えられるＬｉＤＡＲ情報を入力値とし、実際の対象物の情報と認識の誤差が大きいと考えられるセンサ情報を正解値として、学習している。学習済みの学習部に対して、仮想の環境の情報である仮想環境情報が入力されると、仮想環境情報が、超音波センサとカメラの少なくとも一方に基づいて生成された物体の情報に近い情報である仮想センサ情報に変換される。つまり、人工的に生成された物体の情報を、認識の誤差や未検出が含まれる情報に変換することができる。さらに、生成した仮想センサ情報を用いて、車両の制御のためのシミュレーションを行うことができる。
（【００１１】以降は省略されています）

関連特許