特許ウォッチ

公開番号2025068381
公報種別公開特許公報(A)
公開日2025-04-28
出願番号2023178241
出願日2023-10-16
発明の名称情報処理装置、情報処理システム、および、情報処理方法
出願人トヨタ自動車株式会社
代理人弁理士法人明成国際特許事務所
主分類G06V 10/778 20220101AFI20250421BHJP(計算;計数)
要約【課題】対象領域の外観状態が変化した場合においても精度よく制御信号と制御信号を生成するときに用いられるパラメータとの少なくとも一方を取得できる技術を提供する。
できる技術を提供する。
【解決手段】情報処理装置は、変化情報を取得する変化情報取得部と、変化情報を用いて外観状態が変化したと判断された場合に、外観状態が変化した後の対象領域および移動体を含む訓練画像と、正解ラベルと、を対応付けた複数の教師データを用いて、機械学習モデルを学習させる学習部と、機械学習モデルを学習させるための学習要求情報を管理者に報知する報知制御部と、の少なくとも一方を備える。
【選択図】図1
特許請求の範囲【請求項１】
無人運転により移動可能な移動体を移動させるために用いられる情報処理装置であって、
前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域における外観状態の変化に関する変化情報を取得する変化情報取得部と、
前記変化情報を用いて前記外観状態が変化したと判断された場合に、
前記対象領域および前記移動体を前記外部カメラによって撮像することで取得される撮像画像が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する機械学習モデルを、前記外観状態が変化した後の前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けた複数の教師データを用いて学習させる学習部と、
前記機械学習モデルを学習させるための学習要求情報を管理者に報知する報知制御部と、の少なくとも一方と、
を備える、情報処理装置。
続きを表示（約 3,400 文字）【請求項２】
無人運転により移動可能な移動体を移動させるために用いられる情報処理装置であって、
前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域、および、前記移動体を、前記外部カメラによって撮像することで取得される撮像画像が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する機械学習モデルを学習させる学習部を備え、
前記対象領域は、外観の変化に応じて複数の外観状態に分類され、
前記学習部は、一の前記外観状態に分類される前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けたＭ個（Ｍは２以上の整数）の教師データと、残りの他の前記外観状態に分類される前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けたＮ個（Ｎは０以上Ｍ未満の整数）の教師データと、を用いて、前記外観状態ごとに前記機械学習モデルを学習させる、情報処理装置。
【請求項３】
無人運転により移動可能な移動体を移動させるために用いられる情報処理装置であって、
前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域、および、前記移動体を、前記外部カメラによって撮像することで取得される撮像画像と、前記対象領域の外観状態と、が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する機械学習モデルを学習させる学習部を備え、
前記対象領域は、外観の変化に応じて複数の前記外観状態に分類され、
前記学習部は、前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、前記訓練画像に含まれる前記対象領域の前記外観状態を示す付帯情報と、を対応付けた複数の教師データを用いて、前記機械学習モデルを学習させる、情報処理装置。
【請求項４】
無人運転により移動可能な移動体を移動させるために用いられる情報処理装置であって、
前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域における外観状態に関する状態情報を取得する状態情報取得部と、
前記対象領域および前記移動体を前記外部カメラによって撮像することで取得される撮像画像が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する学習済みの機械学習モデルに対して、前記撮像画像を入力することで、前記制御信号と前記パラメータとの少なくとも一方を取得する制御情報取得部と、を備え、
前記状態情報によって特定される前記外観状態が、前記機械学習モデルを学習したときの前記外観状態とは異なる場合に、前記制御情報取得部は、前記状態情報によって特定される前記外観状態の前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けた複数の教師データを用いて学習された前記機械学習モデルに前記撮像画像を入力する、情報処理装置。
【請求項５】
無人運転により移動可能な移動体を移動させるために用いられる情報処理装置であって、
前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域における外観状態に関する状態情報を取得する状態情報取得部と、
前記対象領域および前記移動体を前記外部カメラによって撮像することで取得される撮像画像が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する機械学習モデルを取得するモデル取得部と、
前記モデル取得部によって取得された前記機械学習モデルに、前記撮像画像を入力することで、前記制御信号と前記パラメータとの少なくとも一方を取得する制御情報取得部と、を備え、
前記対象領域は、外観の変化に応じて複数の前記外観状態に分類され、
前記機械学習モデルは、前記外観状態ごとに準備され、
前記外観状態ごとに準備された複数の前記機械学習モデルはそれぞれ、一の前記外観状態に分類される前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けたＭ個（Ｍは２以上の整数）の教師データと、残りの他の前記外観状態に分類される前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けたＮ個（Ｎは０以上Ｍ未満の整数）の教師データと、を用いて予め学習されており、
前記モデル取得部は、前記外観状態ごとに準備された複数の前記機械学習モデルの中から、前記外観状態に応じて選択された前記機械学習モデルを取得する、情報処理装置。
【請求項６】
無人運転により移動可能な移動体を移動させるために用いられる情報処理装置であって、
前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域における外観状態に関する状態情報を取得する状態情報取得部と、
前記対象領域および前記移動体を前記外部カメラによって撮像することで取得される撮像画像と、前記状態情報によって特定される前記外観状態と、が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する学習済みの機械学習モデルに対して、前記撮像画像と前記状態情報によって特定される前記外観状態とを入力することで、前記制御信号と前記パラメータとの少なくとも一方を取得する制御情報取得部と、を備え、
前記対象領域は、外観の変化に応じて複数の前記外観状態に分類され、
前記機械学習モデルは、前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、前記訓練画像に含まれる前記対象領域の前記外観状態を示す付帯情報と、を対応付けた複数の教師データを用いて予め学習されている、情報処理装置。
【請求項７】
請求項１から請求項６までのいずれか一項に記載の情報処理装置であって、
前記外観状態の変化に影響を及ぼす要素は、前記対象領域に生じる汚れと、前記対象領域に生じる凹凸と、前記対象領域において移動可能に配置される前記移動体とは異なる物体と、前記通路の路面色と、の少なくともいずれかである、情報処理装置。
【請求項８】
請求項１から請求項６までのいずれか一項に記載の情報処理装置であって、
前記機械学習モデルは、前記無人運転の制御を実行している期間に学習される、情報処理装置。
【請求項９】
請求項１から請求項６までのいずれか一項に記載の情報処理装置であって、
前記訓練画像は、前記外部カメラを用いて前記対象領域を撮像することで取得される実背景画像と、前記対象領域を仮想的に再現した仮想背景画像と、のいずれか一方の背景画像に、前記移動体を仮想的に再現した仮想移動体画像を合成することで生成される合成画像と、前記撮像画像と、の少なくとも一方である、情報処理装置。
【請求項１０】
無人運転により移動可能な移動体を移動させるために用いられる情報処理システムであって、
前記移動体と、
前記移動体とは異なる場所に設置された外部カメラと、
請求項１から請求項６までのいずれか一項に記載の情報処理装置と、を備える、情報処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、情報処理装置、情報処理システム、および、情報処理方法に関する。
続きを表示（約 13,000 文字）【背景技術】
【０００２】
従来、車両外部のカメラを用いて車両の走行を監視することで、遠隔制御によって車両を自動走行させる技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
特表２０１７－５３８６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両等の移動体を無人運転により移動させるために、移動体を含む画像を機械学習モデルに入力することで、画像から移動体を検出して、移動体の動作を規定する制御信号を生成するためのパラメータを取得する場合がある。しかし、移動体が移動する通路上に汚れが生じた場合等、通路と通路の周辺領域とを含む対象領域の外観状態が変化する場合がある。対象領域の外観状態が変化した場合において、外観状態が変化する前の画像を用いて学習させた機械学習モデルに対して、外観状態が変化した後の画像が入力された場合には、移動体の検出精度が低下する虞があることを、本願発明者らは見出した。
【課題を解決するための手段】
【０００５】
本開示は、以下の形態として実現することが可能である。
【０００６】
（１）本開示の第１形態によれば、情報処理装置が提供される無人運転により移動可能な移動体を移動させるために用いられる情報処理装置は、前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域における外観状態の変化に関する変化情報を取得する変化情報取得部と、前記変化情報を用いて前記外観状態が変化したと判断された場合に、前記対象領域および前記移動体を前記外部カメラによって撮像することで取得される撮像画像が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する機械学習モデルを、前記外観状態が変化した後の前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けた複数の教師データを用いて学習させる学習部と、前記機械学習モデルを学習させるための学習要求情報を管理者に報知する報知制御部と、の少なくとも一方と、を備える。この形態によれば、変化情報を用いて対象領域の外観状態が変化したと判断された場合に、情報処理装置は、以下の処理を実行することができる。この場合、情報処理装置は、移動体および外観状態が変化した後の対象領域を含む訓練画像と正解ラベルとを対応付けた複数の教師データを用いて、機械学習モデルを学習させることができる。このようにすると、対象領域の外観状態が変化した場合に、機械学習モデルから出力される制御信号、および、制御信号を生成するときに用いられるパラメータの精度が低下することを抑制できる。また、この形態によれば、変化情報を用いて対象領域の外観状態が変化したと判断された場合に、情報処理装置は、機械学習モデルを学習させるための学習要求情報を管理者に報知することができる。このようにすると、情報処理装置は、機械学習モデルを学習させる必要があると判断されたことを、管理者に知らせることができる。これにより、情報処理装置は、管理者に対して、機械学習モデルを学習させるための措置の実行を促すことができる。
（２）本開示の第２形態によれば、情報処理装置が提供される。無人運転により移動可能な移動体を移動させるために用いられる情報処理装置は、前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域、および、前記移動体を、前記外部カメラによって撮像することで取得される撮像画像が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する機械学習モデルを学習させる学習部を備え、前記対象領域は、外観の変化に応じて複数の外観状態に分類され、前記学習部は、一の前記外観状態に分類される前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けたＭ個（Ｍは２以上の整数）の教師データと、残りの他の前記外観状態に分類される前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けたＮ個（Ｎは０以上Ｍ未満の整数）の教師データと、を用いて、前記外観状態ごとに前記機械学習モデルを学習させる。この形態によれば、情報処理装置は、移動体および一の外観状態に分類される対象領域を含む訓練画像を、移動体および残りの他の外観状態に分類される対象領域を含む訓練画像よりも多く用いて、機械学習モデルを学習させることができる。これにより、情報処理装置は、移動体および一の外観状態に分類される対象領域を含む撮像画像を用いて、制御信号と制御信号を生成するときに用いられるパラメータとの少なくとも一方を取得する場合に適した機械学習モデルを準備することができる。
（３）本開示の第３形態によれば、情報処理装置が提供される。無人運転により移動可能な移動体を移動させるために用いられる情報処理装置は、前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域、および、前記移動体を、前記外部カメラによって撮像することで取得される撮像画像と、前記対象領域の外観状態と、が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する機械学習モデルを学習させる学習部を備え、前記対象領域は、外観の変化に応じて複数の前記外観状態に分類され、前記学習部は、前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、前記訓練画像に含まれる前記対象領域の前記外観状態を示す付帯情報と、を対応付けた複数の教師データを用いて、前記機械学習モデルを学習させる。この形態によれば、情報処理装置は、対象領域および移動体を含む訓練画像と、正解ラベルと、訓練画像に含まれる対象領域の外観状態を示す付帯情報と、を対応付けた複数の教師データを用いて、機械学習モデルを学習させることができる。これにより、情報処理装置は、対象領域の外観状態を関連付けて学習させた機械学習モデルを準備することができる。
（４）本開示の第４形態によれば、情報処理装置が提供される。無人運転により移動可能な移動体を移動させるために用いられる情報処理装置は、前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域における外観状態に関する状態情報を取得する状態情報取得部と、前記対象領域および前記移動体を前記外部カメラによって撮像することで取得される撮像画像が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する学習済みの機械学習モデルに対して、前記撮像画像を入力することで、前記制御信号と前記パラメータとの少なくとも一方を取得する制御情報取得部と、を備え、前記状態情報によって特定される前記外観状態が、前記機械学習モデルを学習したときの前記外観状態とは異なる場合に、前記制御情報取得部は、前記状態情報によって特定される前記外観状態の前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けた複数の教師データを用いて学習された前記機械学習モデルに前記撮像画像を入力する。この形態によれば、状態情報によって特定される対象領域の外観状態が、機械学習モデルを学習したときに用いられた訓練画像における対象領域の外観状態とは異なる場合に、情報処理装置は、以下の処理を実行することができる。この場合、情報処理装置は、移動体および状態情報によって特定される外観状態の対象領域を含む訓練画像と正解ラベルとを対応付けた複数の教師データを用いて学習された機械学習モデルに、撮像画像を入力することで、制御信号と制御信号を生成するときに用いられるパラメータとの少なくとも一方を取得することができる。このようにすると、状態情報によって特定される対象領域の外観状態が、機械学習モデルを学習したときに用いられた訓練画像における対象領域の外観状態とは異なる場合に、機械学習モデルから出力される制御信号、および、制御信号を生成するときに用いられるパラメータの精度が低下することを抑制できる。
（５）本開示の第５形態によれば、情報処理装置が提供される。無人運転により移動可能な移動体を移動させるために用いられる情報処理装置は、前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域における外観状態に関する状態情報を取得する状態情報取得部と、前記対象領域および前記移動体を前記外部カメラによって撮像することで取得される撮像画像が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する機械学習モデルを取得するモデル取得部と、前記モデル取得部によって取得された前記機械学習モデルに、前記撮像画像を入力することで、前記制御信号と前記パラメータとの少なくとも一方を取得する制御情報取得部と、を備え、前記対象領域は、外観の変化に応じて複数の前記外観状態に分類され、前記機械学習モデルは、前記外観状態ごとに準備され、前記外観状態ごとに準備された複数の前記機械学習モデルはそれぞれ、一の前記外観状態に分類される前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けたＭ個（Ｍは２以上の整数）の教師データと、残りの他の前記外観状態に分類される前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けたＮ個（Ｎは０以上Ｍ未満の整数）の教師データと、を用いて予め学習されており、前記モデル取得部は、前記外観状態ごとに準備された複数の前記機械学習モデルの中から、前記外観状態に応じて選択された前記機械学習モデルを取得する。この形態によれば、情報処理装置は、対象領域の外観状態ごとに準備された複数の機械学習モデルの中から、状態情報によって特定される外観状態に応じて選択された機械学習モデルを取得することができる。そして、情報処理装置は、撮像画像に含まれる対象領域の外観状態に応じた機械学習モデルに撮像画像を入力することで、制御信号と制御信号を生成するときに用いられるパラメータとの少なくとも一方を取得することができる。このようにすると、機械学習モデルから出力される制御信号、および、制御信号を生成するときに用いられるパラメータの精度が低下することを抑制できる。
（６）本開示の第６形態によれば、情報処理装置が提供される。無人運転により移動可能な移動体を移動させるために用いられる情報処理装置は、前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域における外観状態に関する状態情報を取得する状態情報取得部と、前記対象領域および前記移動体を前記外部カメラによって撮像することで取得される撮像画像と、前記状態情報によって特定される前記外観状態と、が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する学習済みの機械学習モデルに対して、前記撮像画像と前記状態情報によって特定される前記外観状態とを入力することで、前記制御信号と前記パラメータとの少なくとも一方を取得する制御情報取得部と、を備え、前記対象領域は、外観の変化に応じて複数の前記外観状態に分類され、前記機械学習モデルは、前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、前記訓練画像に含まれる前記対象領域の前記外観状態を示す付帯情報と、を対応付けた複数の教師データを用いて予め学習されている。この形態によれば、情報処理装置は、対象領域および移動体を含む訓練画像と、正解ラベルと、訓練画像に含まれる対象領域の外観状態を示す付帯情報と、を対応付けた複数の教師データを用いて予め学習されている機械学習モデルに対して、撮像画像と、状態情報によって特定される対象領域の外観状態と、を入力する。これにより、情報処理装置は、制御信号と、制御信号を生成するときに用いられるパラメータと、の少なくとも一方を取得することができる。このようにすると、機械学習モデルから出力される制御信号、および、制御信号を生成するときに用いられるパラメータの精度が低下することを抑制できる。
（７）上記形態であって、前記外観状態の変化に影響を及ぼす要素は、前記対象領域に生じる汚れと、前記対象領域に生じる凹凸と、前記対象領域において移動可能に配置される前記移動体とは異なる物体と、前記通路の路面色と、の少なくともいずれかであってもよい。この形態によれば、対象領域の外観状態の変化に影響を及ぼす要素が、対象領域に生じる汚れと、対象領域に生じる凹凸と、対象領域において移動可能に配置される物体と、通路の路面色と、の少なくともいずれかである場合に、以下を実現できる。この場合、機械学習モデルから出力される制御信号、および、制御信号を生成するときに用いられるパラメータの精度が低下することを抑制できる。
（８）上記形態であって、前記機械学習モデルは、前記無人運転の制御を実行している期間に学習されてもよい。この形態によれば、情報処理装置は、移動体が無人運転の制御を実行している期間に機械学習モデルを学習させることができる。
（９）上記形態であって、前記訓練画像は、前記外部カメラを用いて前記対象領域を撮像することで取得される実背景画像と、前記対象領域を仮想的に再現した仮想背景画像と、のいずれか一方の背景画像に、前記移動体を仮想的に再現した仮想移動体画像を合成することで生成される合成画像と、前記撮像画像と、の少なくとも一方であってもよい。この形態によれば、情報処理装置は、機械学習モデルの学習に用いられる訓練画像として、実背景画像と仮想背景画像とのいずれか一方の背景画像に、仮想移動体画像を合成することで生成される合成画像を用いることができる。
（１０）本開示の第７形態によれば、情報処理システムが提供される。無人運転により移動可能な移動体を移動させるために用いられる情報処理システムは、前記移動体と、前記移動体とは異なる場所に設置された外部カメラと、上記形態に記載の情報処理装置と、を備える。この形態によれば、情報処理システムは、制御信号と制御信号を生成するときに用いられるパラメータとの少なくとも一方を出力する機械学習モデルを学習したり、学習済みの機械学習モデルを用いて移動体を無人運転によって移動させたりすることができる。
（１１）本開示の第８形態によれば、情報処理方法が提供される。無人運転により移動可能な移動体を移動させるために用いられる情報処理方法は、前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域における外観状態の変化に関する変化情報を取得する変化情報取得工程と、前記変化情報を用いて前記外観状態が変化したと判断された場合に、前記対象領域および前記移動体を前記外部カメラによって撮像することで取得される撮像画像が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する機械学習モデルを、前記外観状態が変化した後の前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けた複数の教師データを用いて学習させる学習工程と、前記機械学習モデルを学習させるための学習要求情報を管理者に報知する報知工程と、の少なくとも一方と、を備える。この形態によれば、変化情報を用いて対象領域の外観状態が変化したと判断された場合に、以下の処理を実行することができる。この場合、移動体および外観状態が変化した後の対象領域を含む訓練画像と正解ラベルとを対応付けた複数の教師データを用いて、機械学習モデルを学習させることができる。このようにすると、対象領域の外観状態が変化した場合に、機械学習モデルから出力される制御信号、および、制御信号を生成するときに用いられるパラメータの精度が低下することを抑制できる。また、この形態によれば、変化情報を用いて対象領域の外観状態が変化したと判断された場合に、機械学習モデルを学習させるための学習要求情報を管理者に報知することができる。このようにすると、機械学習モデルを学習させる必要があると判断されたことを、管理者に知らせることができる。これにより、管理者に対して、機械学習モデルを学習させるための措置の実行を促すことができる。
（１２）本開示の第９形態によれば、情報処理方法が提供される。無人運転により移動可能な移動体を移動させるために用いられる情報処理方法は、前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域、および、前記移動体を含む複数の訓練画像を準備する準備工程と、前記対象領域および前記移動体を前記外部カメラによって撮像することで取得される撮像画像が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する機械学習モデルを学習させる学習工程と、を備え、前記対象領域は、外観の変化に応じて複数の外観状態に分類され、前記学習工程では、一の前記外観状態に分類される前記対象領域および前記移動体を含む前記訓練画像と、正解ラベルと、を対応付けたＭ個（Ｍは２以上の整数）の教師データと、残りの他の前記外観状態に分類される前記対象領域および前記移動体を含む前記訓練画像と、正解ラベルと、を対応付けたＮ個（Ｎは０以上Ｍ未満の整数）の教師データと、を用いて、前記外観状態ごとに前記機械学習モデルを学習させる。この形態によれば、移動体および一の外観状態に分類される対象領域を含む訓練画像を、移動体および残りの他の外観状態に分類される対象領域を含む訓練画像よりも多く用いて、機械学習モデルを学習させることができる。これにより、移動体および一外観の状態に分類される対象領域を含む撮像画像を用いて、制御信号と制御信号を生成するときに用いられるパラメータとの少なくとも一方を取得する場合に適した機械学習モデルを準備することができる。
（１３）本開示の第１０形態によれば、情報処理方法が提供される。無人運転により移動可能な移動体を移動させるために用いられる情報処理方法は、前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域、および、前記移動体を含む複数の訓練画像を準備する準備工程と、前記対象領域および前記移動体を前記外部カメラによって撮像することで取得される撮像画像と、前記対象領域の外観状態と、が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する機械学習モデルを学習させる学習工程と、を備え、前記対象領域は、外観の変化に応じて複数の前記外観状態に分類され、前記学習工程では、前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、前記訓練画像に含まれる前記対象領域の前記外観状態を示す付帯情報と、を対応付けた複数の教師データを用いて、前記機械学習モデルを学習させる。この形態によれば、対象領域および移動体を含む前記訓練画像と、正解ラベルと、訓練画像に含まれる対象領域の外観状態を示す付帯情報と、を対応付けた複数の教師データを用いて、機械学習モデルを学習させることができる。これにより、対象領域の外観状態を関連付けて学習させた機械学習モデルを準備することができる。
（１４）本開示の第１１形態によれば、情報処理方法が提供される。無人運転により移動可能な移動体を移動させるために用いられる情報処理方法は、前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域における外観状態に関する状態情報を取得する状態情報取得工程と、前記対象領域および前記移動体を前記外部カメラによって撮像することで取得される撮像画像が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する学習済みの機械学習モデルに対して、前記撮像画像を入力することで、前記制御信号と前記パラメータとの少なくとも一方を取得する制御情報取得工程と、を備え、前記状態情報によって特定される前記外観状態が、前記機械学習モデルを学習したときに入力された訓練画像における前記対象領域の前記外観状態とは異なる場合に、前記制御情報取得工程では、前記状態情報によって特定される前記外観状態の前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けた複数の教師データを用いて学習された前記機械学習モデルに前記撮像画像を入力する。この形態によれば、状態情報によって特定される対象領域の外観状態が、機械学習モデルを学習したときに用いられた訓練画像における対象領域の外観状態とは異なる場合に、以下の処理を実行することができる。この場合、移動体および状態情報によって特定される外観状態の対象領域を含む訓練画像と正解ラベルとを対応付けた複数の教師データを用いて学習された機械学習モデルに撮像画像を入力することで、制御信号と制御信号を生成するときに用いられるパラメータとの少なくとも一方を取得することができる。このようにすると、状態情報によって特定される対象領域の外観状態が、機械学習モデルを学習したときに用いられた訓練画像における対象領域の外観状態とは異なる場合に、機械学習モデルから出力される制御信号、および、制御信号を生成するときに用いられるパラメータの精度が低下することを抑制できる。
（１５）本開示の第１２形態によれば、情報処理方法が提供される。無人運転により移動可能な移動体を移動させるために用いられる情報処理方法は、前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域における外観状態に関する状態情報を取得する状態情報取得工程と、前記対象領域および前記移動体を前記外部カメラによって撮像することで取得される撮像画像が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する機械学習モデルを取得するモデル取得工程と、前記モデル取得工程において取得された前記機械学習モデルに、前記撮像画像を入力することで、前記制御信号と前記パラメータとの少なくとも一方を取得する制御情報取得工程と、を備え、前記対象領域は、外観の変化に応じて複数の前記外観状態に分類され、前記機械学習モデルは、前記外観状態ごとに準備され、前記外観状態ごとに準備された複数の前記機械学習モデルはそれぞれ、一の前記外観状態に分類される前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けたＭ個（Ｍは２以上の整数）の教師データと、残りの他の前記外観状態に分類される前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、を対応付けたＮ個（Ｎは０以上Ｍ未満の整数）の教師データと、を用いて予め学習されており、前記モデル取得工程では、前記外観状態ごとに準備された複数の前記機械学習モデルの中から、前記外観状態に応じて選択された前記機械学習モデルを取得する。この形態によれば、対象領域の外観状態ごとに準備された複数の機械学習モデルの中から、状態情報によって特定される外観状態に応じて選択された機械学習モデルを取得することができる。そして、撮像画像に含まれる対象領域の外観状態に応じた機械学習モデルに撮像画像を入力することで、制御信号と制御信号を生成するときに用いられるパラメータとの少なくとも一方を取得することができる。このようにすると、機械学習モデルから出力される制御信号、および、制御信号を生成するときに用いられるパラメータの精度が低下することを抑制できる。
（１６）本開示の第１３形態によれば、情報処理方法が提供される。無人運転により移動可能な移動体を移動させるために用いられる情報処理方法は、前記移動体とは異なる場所に設置された外部カメラの撮像領域に含まれる対象領域であって、前記移動体が移動する通路と前記通路の周辺領域とを含む対象領域における外観状態に関する状態情報を取得する状態情報取得工程と、前記対象領域および前記移動体を前記外部カメラによって撮像することで取得される撮像画像と、前記状態情報によって特定される前記外観状態と、が入力された場合に、前記無人運転により移動する前記移動体の動作を規定する制御信号と、前記制御信号を生成するときに用いられるパラメータと、の少なくとも一方を出力する学習済みの機械学習モデルに対して、前記撮像画像と前記状態情報によって特定される前記外観状態とを入力することで、前記制御信号と前記パラメータとの少なくとも一方を取得する制御情報取得工程と、を備え、前記対象領域は、外観の変化に応じて複数の前記外観状態に分類され、前記機械学習モデルは、前記対象領域および前記移動体を含む訓練画像と、正解ラベルと、前記訓練画像に含まれる前記対象領域の前記外観状態を示す付帯情報と、を対応付けた複数の教師データを用いて予め学習されている。この形態によれば、対象領域および移動体を含む訓練画像と、正解ラベルと、訓練画像に含まれる対象領域の外観状態を示す付帯情報と、を対応付けた複数の教師データを用いて予め学習されている機械学習モデルに対して、撮像画像と、状態情報によって特定される対象領域の外観状態と、を入力する。これにより、制御信号と、制御信号を生成するときに用いられるパラメータと、の少なくとも一方を取得することができる。このようにすると、機械学習モデルから出力される制御信号、および、制御信号を生成するときに用いられるパラメータの精度が低下することを抑制できる。
本開示は、上記の情報処理装置、情報処理システム、および、情報処理方法以外の種々の形態で実現することが可能である。例えば、情報処理装置、情報処理システム、および、移動体の製造方法、情報処理装置、情報処理システム、および、移動体の制御方法、その制御方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【０００７】
第１実施形態における情報処理システムの構成を示す図。
第１実施形態における車両の走行制御方法を示すフローチャート。
第１実施形態における第１学習モデルの再学習方法を示すフローチャート。
第１実施形態における形状データの取得方法を示すフローチャート。
車両の位置算出方法の一例を示すフローチャート。
図５に示す方法を実行したときの各種画像の例を示す模式図。
座標点算出工程の詳細を説明するための図。
ベース座標点の算出方法を説明するための図。
位置変換工程の詳細を説明するための第１図。
位置変換工程の詳細を説明するための第２図。
第２実施形態における情報処理システムの構成を示す図。
第３実施形態における情報処理システムの構成を示す図。
第３実施形態における第１学習モデルの再学習方法を示すフローチャート。
第４実施形態における情報処理システムの構成を示す図。
第２学習モデルの学習方法を示すフローチャート。
第２学習モデルを用いた形状データの取得方法を示すフローチャート。
第５実施形態における情報処理システムの構成を示す図。
第３学習モデルの学習方法を示すフローチャート。
第３学習モデルを用いた形状データの取得方法を示すフローチャート。
訓練画像の生成方法の一例を示す図。
第７実施形態における情報処理システムの構成を示す図。
矩形座標値を説明するための図。
第４学習モデルの再学習方法を示すフローチャート。
第４学習モデルを用いた矩形座標値の取得方法を示すフローチャート。
第８実施形態における情報処理システムの構成を示す図。
立体座標値を説明するための図。
第５学習モデルの再学習方法を示すフローチャート。
第５学習モデルを用いた立体座標値の取得方法を示すフローチャート。
第９実施形態における情報処理システムの構成を示す図。
第６学習モデルの再学習方法を示すフローチャート。
第６学習モデルを用いた車両位置情報の取得方法を示すフローチャート。
第１０実施形態における情報処理システムの構成を示す図。
第７学習モデルの再学習方法を示すフローチャート。
第７学習モデルを用いた走行制御信号の取得方法を示すフローチャート。
第１１実施形態における情報処理システムの構成を示す図。
第１学習モデルの転移学習方法を示すフローチャート。
第１１実施形態における形状データの取得方法を示すフローチャート。
第１２実施形態における情報処理システムの構成を示す図。
第１２実施形態における学習モデルの学習方法を示すフローチャート。
第１２実施形態における形状データの取得方法を示すフローチャート。
第１３実施形態における情報処理システムの構成を示す図。
第１３実施形態における車両の走行制御方法を示すフローチャート。
【発明を実施するための形態】
【０００８】
Ａ．第１実施形態：
Ａ－１．情報処理システムの構成：
図１は、第１実施形態における情報処理システム１の構成を示す図である。情報処理システム１は、移動体に搭乗した搭乗者の走行操作によることなく、移動体を移動させるためのシステムである。情報処理システム１は、１以上の移動体と、移動体とは異なる場所に設置された１以上の外部カメラ９と、情報処理装置５と、を備える。
【０００９】
「移動体」は、移動し得る物体を意味し、例えば、車両１０や電動垂直離着陸機（いわゆる空飛ぶ自動車）である。本実施形態では、移動体は、車両１０である。車両１０は、車輪によって走行する車両１０であっても無限軌道によって走行する車両１０であってもよく、例えば、乗用車、トラック、バス、二輪車、四輪車、戦車、工事用車両などである。車両１０は、電気自動車（BEV：Battery Electric Vehicle）、ガソリン自動車、ハイブリッド自動車、ならびに燃料電池自動車を含む。移動体が車両１０以外である場合には、本開示における「車両」「車」との表現を、適宜に「移動体」に置き換えることができ、「走行」との表現を、適宜に「移動」に置き換えることができる。
【００１０】
車両１０は、駆動装置１１と、操舵装置１２と、制動装置１３と、通信装置１４と、車両制御装置１５と、を備える。駆動装置１１は、車両１０を加速させる。駆動装置１１は、車輪と、車輪を回転させる駆動力源と、駆動力源に動力を供給する動力供給装置と、を備える。例えば、車両１０が電気自動車である場合、駆動力源は走行用モータであり、動力供給装置はリチウムイオン電池等のバッテリである。操舵装置１２は、車両１０の進行方向を変更する。制動装置１３は、車両１０を減速させる。通信装置１４は、無線通信等を用いて外部機器と通信する。外部機器は、自車両１０とは異なる場所に設けられた情報処理装置５等の装置、および、他車両１０である。通信装置１４は、例えば、無線通信装置である。
（【００１１】以降は省略されています）

関連特許