特許ウォッチ

公開番号2024059653
公報種別公開特許公報(A)
公開日2024-05-01
出願番号2024015106,2023022034
出願日2024-02-02,2023-02-15
発明の名称俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
出願人オムロン株式会社,国立大学法人京都大学
代理人弁理士法人太陽国際特許事務所
主分類G05D 1/243 20240101AFI20240423BHJP(制御;調整)
要約【課題】静的なランドマークが検出されない状況であっても、動的な環境において観測装置を搭載した観測移動体からの視点で観測された2次元観測情報から、観測移動体の地面上の移動軌跡、及び移動体の各々の地面上の移動軌跡を表す俯瞰データを生成することができる。
【解決手段】俯瞰データ生成装置は、動的な環境において観測装置を搭載した観測移動体からの視点で観測された少なくとも1つの移動体を表す2次元観測情報の時系列データを取得する取得部22と、前記観測移動体の地面上の動き、及び前記移動体の各々の地面上の動きを推定する学習済みモデルを用いて、前記2次元観測情報の時系列データから、前記観測移動体を俯瞰した位置から観測した場合に得られる、前記観測移動体の地面上の移動軌跡、及び前記移動体の各々の地面上の移動軌跡を表す俯瞰データを生成する生成部26と、を含む。
【選択図】図1
特許請求の範囲【請求項１】
動的な環境において観測装置を搭載した観測移動体からの視点で観測された少なくとも１つの移動体を表す２次元観測情報の時系列データを取得する取得部と、
前記観測移動体の地面上の動き、及び前記移動体の各々の地面上の動きを推定する学習済みモデルを用いて、
前記２次元観測情報の時系列データから、前記観測移動体を俯瞰した位置から観測した場合に得られる、前記観測移動体の地面上の移動軌跡、及び前記移動体の各々の地面上の移動軌跡を表す俯瞰データを生成する生成部と、
を含む俯瞰データ生成装置。
続きを表示（約 2,300 文字）【請求項２】
前記生成部は、
前記観測移動体の地面上の動き、及び前記移動体の各々の地面上の動きの分布を推定する学習済みモデルを用いて、
前記２次元観測情報の時系列データから、前記観測移動体を俯瞰した位置から観測した場合に得られる、前記観測移動体の地面上の移動軌跡、及び前記移動体の各々の地面上の位置分布を表す移動軌跡を表す俯瞰データを生成する請求項１記載の俯瞰データ生成装置。
【請求項３】
前記２次元観測情報の時系列データから、前記移動体の各々を追跡し、前記２次元観測情報上の前記移動体の各々の各時刻の位置及び大きさを取得する追跡部を更に含み、
前記生成部は、前記２次元観測情報上の前記移動体の各々の各時刻の位置及び大きさを入力として、前記観測移動体の地面上の動き、及び前記移動体の各々の地面上の動きを推定する前記学習済みモデルを用いて、前記俯瞰データを生成する請求項１記載の俯瞰データ生成装置。
【請求項４】
前記学習済みモデルは、
前記移動体の各々の対象時刻の位置及び大きさを入力とし、ベクトルを出力する第１エンコーダと、
一時刻前について得られた、前記観測移動体の地面上の動き、及び前記移動体の各々の地面上の動きを入力とし、ベクトルを出力する第２エンコーダと、
前記第１エンコーダによって出力された前記ベクトル、及び前記第２エンコーダによって出力された前記ベクトルを入力とし、前記対象時刻についての前記観測移動体の地面上の動き、及び前記移動体の各々の地面上の動きを出力するデコーダとを含む請求項３記載の俯瞰データ生成装置。
【請求項５】
動的な環境において観測装置を搭載した観測移動体からの視点で観測された少なくとも１つの移動体を表す２次元観測情報上の前記移動体の各々の各時刻の位置及び大きさの時系列データと、前記観測移動体の地面上の動き、及び前記移動体の各々の地面上の動きの時系列データとの組み合わせを教師データとして取得する取得部と、
前記教師データに基づいて、前記２次元観測情報上の前記移動体の各々の各時刻の位置及び大きさを入力として、前記観測移動体の地面上の動き、及び前記移動体の各々の地面上の動きを推定するモデルを学習する学習部と、
を含む学習装置。
【請求項６】
前記モデルは、
前記移動体の各々の対象時刻の位置及び大きさを入力とし、ベクトルを出力する第１エンコーダと、
一時刻前について得られた、前記観測移動体の地面上の動き、及び前記移動体の各々の地面上の動きを入力とし、ベクトルを出力する第２エンコーダと、
前記第１エンコーダによって出力された前記ベクトル、及び前記第２エンコーダによって出力された前記ベクトルを入力とし、対象時刻についての前記観測移動体の地面上の動き、及び前記移動体の各々の地面上の動きを出力するデコーダとを含む請求項５記載の学習装置。
【請求項７】
動的な環境において観測装置を搭載した観測移動体からの視点で観測された少なくとも１つの移動体を表す２次元観測情報の時系列データを取得する取得部と、
前記観測移動体の地面上の動き、及び前記移動体の各々の地面上の動きを予測する学習済みモデルを用いて、
前記２次元観測情報の時系列データから、前記観測移動体を俯瞰した位置から観測した場合に得られる、前記観測移動体の地面上の移動軌跡、及び前記移動体の各々の地面上の移動軌跡を表す俯瞰データの予測結果を生成する生成部と、
を含む俯瞰データ生成装置。
【請求項８】
前記生成部は、
前記観測移動体の地面上の動き、及び前記移動体の各々の地面上の動きの分布を予測する学習済みモデルを用いて、
前記２次元観測情報の時系列データから、前記観測移動体を俯瞰した位置から観測した場合に得られる、前記観測移動体の地面上の移動軌跡、及び前記移動体の各々の地面上の位置分布を表す移動軌跡を表す俯瞰データの予測結果を生成する請求項７記載の俯瞰データ生成装置。
【請求項９】
コンピュータに、
動的な環境において観測装置を搭載した観測移動体からの視点で観測された少なくとも１つの移動体を表す２次元観測情報の時系列データを取得する取得工程と、
前記観測移動体の地面上の動き、及び前記移動体の各々の地面上の動きを推定する学習済みモデルを用いて、
前記２次元観測情報の時系列データから、前記観測移動体を俯瞰した位置から観測した場合に得られる、前記観測移動体の地面上の移動軌跡、及び前記移動体の各々の地面上の移動軌跡を表す俯瞰データを生成する生成工程と、
を含む処理を実行させるための俯瞰データ生成プログラム。
【請求項１０】
コンピュータが、
動的な環境において観測装置を搭載した観測移動体からの視点で観測された少なくとも１つの移動体を表す２次元観測情報の時系列データを取得する取得工程と、
前記観測移動体の地面上の動き、及び前記移動体の各々の地面上の動きを推定する学習済みモデルを用いて、
前記２次元観測情報の時系列データから、前記観測移動体を俯瞰した位置から観測した場合に得られる、前記観測移動体の地面上の移動軌跡、及び前記移動体の各々の地面上の移動軌跡を表す俯瞰データを生成する生成工程と、
を含む処理を実行する俯瞰データ生成方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボットに関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
従来より、一人称視点で撮影された映像で観測した人物骨格に基づき、俯瞰視点での人物位置分布を推定する技術が知られている（非特許文献１）。
【０００３】
また、静的なランドマーク基準の自己位置推定（ＳｉｍｕｌｔａｎｅｏｕｓｌｙＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ：ＳＬＡＭ）の最適化対象に移動体を加えて逐次最適化を行う技術が知られている（非特許文献２）。
【０００４】
また、ＧＮＳＳ（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ）により位置を推定する技術が知られている（非特許文献３）。
【０００５】
また、俯瞰視点映像中における一人称映像の撮影位置を推定する技術が知られている（特許文献１）。この技術では、推定のために俯瞰視点及び一人称視点の両視点から抽出された動き特徴の照合を行っている。
【先行技術文献】
【非特許文献】
【０００６】
"ＭｏｎｏＬｏｃｏ：Ｍｏｎｏｃｕｌａｒ３ＤＰｅｄｅｓｔｒｉａｎＬｏｃａｌｉｚａｔｉｏｎａｎｄＵｎｃｅｒｔａｉｎｔｙＥｓｔｉｍａｔｉｏｎ"，インターネット検索＜ＵＲＬ：ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１９０６．０６０５９＞，Ｊｕｎ２０１９
"ＣｕｂｅＳＬＡＭ：Ｍｏｎｏｃｕｌａｒ３ＤＯｂｊｅｃｔＳＬＡＭ"，インターネット検索＜ＵＲＬ：ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８０６．００５５７＞，Ｊｕｎ２０１８
「フィールドロボティクスの現状と展望」、インターネット検索＜ＵＲＬ：ｈｔｔｐｓ：／／ｃｏｍｍｉｔｔｅｅｓ．ｊｓｃｅ．ｏｒ．ｊｐ／ｏｐｃｅｔ＿ｓｉｐ／ｓｙｓｔｅｍ／ｆｉｌｅｓ／０１３０＿０１．ｐｄｆ＞
【特許文献】
【０００７】
特開２０２１－７７２８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記非特許文献１記載の技術では、観測カメラの運動や周辺の移動体の移動軌跡を復元することはできない。
【０００９】
また、上記非特許文献２記載の技術は、移動体と共に静的なランドマークが安定して観測可能な環境でしか適用できない。また、移動体の動きモデルが単純な剛体運動に限られ、相互作用を考慮した移動体の動きに対応できない。
【００１０】
また、上記非特許文献３記載の技術では、ＧＮＳＳを搭載した装置自身の自己位置の復元のみを対象とし、周辺の移動体の位置を復元できない。また、高層ビルなどによる遮蔽が生じる環境では、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）電波の受信が不安定となり、位置復元結果が不正確となる。
（【００１１】以降は省略されています）

関連特許