特許ウォッチ

公開番号2024093370
公報種別公開特許公報(A)
公開日2024-07-09
出願番号2022209700
出願日2022-12-27
発明の名称予測方法、表示方法、プログラム、予測システム、表示システム、及び学習済みモデル
出願人オムロン株式会社
代理人個人,個人
主分類G06T 7/20 20170101AFI20240702BHJP(計算;計数)
要約【課題】被写体の行動の予測の精度をより向上させることができる予測方法を提供する。
【解決手段】学習済みモデルは、空間を表す入力情報から得られる空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、対象物の行動についての第1予測結果と、複数の定量情報のうちの少なくとも一つについての第2予測結果と、を出力するように学習される。予測方法は、対象空間を表す対象入力情報から対象物の複数の定量情報を検出する。予測方法は、対象入力情報から検出された対象物の複数の定量情報を学習済みモデルに入力することによって、対象入力情報から検出された対象物の行動についての第1予測結果と、対象入力情報から検出された対象物の複数の定量情報のうちの少なくとも一つについての第2予測結果と、を出力する。
【選択図】図2
特許請求の範囲【請求項１】
学習済みモデルを記憶する記憶装置にアクセス可能な演算回路によって実行される予測方法であって、
前記学習済みモデルは、空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記予測方法は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する、
予測方法。
続きを表示（約 1,600 文字）【請求項２】
前記予測方法は、前記学習済みモデルから出力された前記第１予測結果と前記第２予測結果とを関連付けて記憶させる、請求項１に記載の予測方法。
【請求項３】
前記複数の定量情報は、前記対象物の位置又は移動に関する情報と、前記対象物の状態に関する情報とを含む、請求項１に記載の予測方法。
【請求項４】
前記複数の定量情報は、前記対象物の位置、前記対象物のバウンディングボックス、前記対象物の１又は複数の部位の位置、前記対象物の１又は複数の部位の向き、前記対象物の１又は複数の部位の画像、前記対象物の複数の部位の関連性に基づく情報、前記対象物の全体の画像、前記対象物の速度、及び前記対象物の軌跡のうちの少なくとも一つの情報を含む、請求項１に記載の予測方法。
【請求項５】
前記対象物の行動は、
前記対象物が前記対象空間を表す入力情報の中の他の物体を回避すること、
前記対象物が前記他の物体の通路を横断すること、
前記対象物が前記他の物体に接近すること、
前記対象物が前記他の物体に随行し、又は前記他の物体を追い抜くこと、
前記対象物が加速すること、
前記対象物が減速すること、
前記対象物が停止すること、又は停止中であること、
前記対象物が動き出すこと、及び
前記対象物が進行方向を変えること、
のうちの少なくとも一つを含む、
請求項１に記載の予測方法。
【請求項６】
前記第１予測結果は、前記対象物の行動が第１行動である確率と、前記対象物の行動が前記第１行動と異なる第２行動である確率とを含み、
前記第１行動及び第２行動は、それぞれ、
前記対象物が前記対象空間中の他の物体を回避すること、
前記対象物が前記他の物体の通路を横断すること、
前記対象物が前記他の物体に接近すること、
前記対象物が前記他の物体に随行し、又は前記他の物体を追い抜くこと、
前記対象物が加速すること、
前記対象物が減速すること、
前記対象物が停止すること、又は停止中であること、
前記対象物が動き出すこと、及び
前記対象物が進行方向を変えること、
のうちの少なくとも一つを含む、
請求項１に記載の予測方法。
【請求項７】
前記第１予測結果は、前記対象物の行動の危険の程度及び安全の程度のうちの少なくとも一方を示す指標を含む、請求項１に記載の予測方法。
【請求項８】
前記学習済みモデルは、
前記複数の定量情報から複数の特徴量を抽出する抽出処理と、
前記抽出処理で抽出された前記複数の特徴量から前記対象物の行動についての前記第１予測結果を決定する第１決定処理と、
前記抽出処理で抽出された前記複数の特徴量から前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果を決定する第２決定処理と、
を実行する、
請求項１に記載の予測方法。
【請求項９】
請求項１～８のいずれかに記載の予測方法を演算回路に実行させるためのプログラム。
【請求項１０】
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習された学習済みモデルから前記第１予測結果と前記第２予測結果とを取得し、
前記第１予測結果を示す情報と、前記第２予測結果を可視化した情報とを表示装置に表示させる、
表示方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、予測方法、表示方法、プログラム、予測システム、表示システム、及び学習済みモデルに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
非特許文献１は、ディープニューラルネットワークモデルを利用して歩行者の横断意図を予測するための技術を開示する。非特許文献１では、車両速度、歩行者のバウンディングボックス、及び、歩行者の姿勢のキーポイントから、非視覚ベースの特徴量を抽出し、画像の局所的なコンテキストと画像の全体的なコンテキストとから視覚ベースの特徴量を抽出し、非視覚ベースの特徴量と視覚ベースの特徴量を融合した特徴量により、歩行者の横断意図を予測する。
【先行技術文献】
【非特許文献】
【０００３】
Dongfang Yang，他４名，”Predicting Pedestrian Crossing Intention with Feature Fusion and Spatio-Temporal Attention”，［online］，２０２１年４月１２日，［２０２２年１１月２１日検索］，Cornell University，インターネット＜URL：https://arxiv.org/abs/2104.05485＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に開示された技術は、車両速度、歩行者のバウンディングボックス、歩行者の姿勢のキーポイント、画像の局所的なコンテキスト、及び、画像の全体的なコンテキスト等の情報を用いることで、歩行者の横断意図を予測し得る。
【０００５】
本開示は、被写体の行動についての予測の精度をより向上させることができる予測方法、表示方法、プログラム、予測システム、表示システム、及び学習済みモデルを提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る予測方法は、学習済みモデルを記憶する記憶装置にアクセス可能な演算回路によって実行される予測方法であって、
前記学習済みモデルは、空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記予測方法は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する。
【０００７】
本開示の一態様に係るプログラムは、上記の予測方法を演算回路に実行させるためのプログラムである。
【０００８】
本開示の一態様に係る表示方法は、
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習された学習済みモデルから前記第１予測結果と前記第２予測結果とを取得し、
前記第１予測結果を示す情報と、前記第２予測結果を可視化した情報とを表示装置に表示させる。
【０００９】
本開示の一態様に係るプログラムは、上記の表示方法を演算回路に実行させるためのプログラムである。
【００１０】
本開示の一態様に係る予測システムは、
学習済みモデルを記憶する記憶装置と、
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報を生成する生成装置と、
前記生成装置及び前記記憶装置にアクセス可能な演算回路と、
を備え、
前記学習済みモデルは、前記対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記演算回路は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する。
（【００１１】以降は省略されています）

関連特許