特許ウォッチ

公開番号2025166462
公報種別公開特許公報(A)
公開日2025-11-06
出願番号2024070530
出願日2024-04-24
発明の名称移動体解析システム
出願人トヨタ自動車株式会社
代理人個人,個人
主分類G06T 7/20 20170101AFI20251029BHJP(計算;計数)
要約【課題】作業現場などにおける移動体の動的なデータの検出精度を向上させることが可能な移動体解析システムを提供する。
【解決手段】映像データに含まれている移動体を検出して移動体の動作に関するデータを解析する移動体解析システムであって、移動体を俯瞰で撮影した第1映像データを取得する第1カメラと、移動体に装着され、移動体から見た第2映像データを取得する第2カメラと、第1映像データに基づいて移動体の動作量を推定する動作量推定部と、第2映像データに基づいて移動体の動作内容を推定する動作推定部と、動作内容が移動中であると推定されたときの移動体の動作量に基づいて移動体の動作に関するデータを解析する動作解析部と、を備えている。
【選択図】図3
特許請求の範囲【請求項１】
映像データに含まれている移動体を検出して前記移動体の動作に関するデータを解析する移動体解析システムであって、
前記移動体を俯瞰で撮影した第１映像データを取得する第１カメラと、
前記移動体に装着され、前記移動体から見た第２映像データを取得する第２カメラと、
前記第１映像データに基づいて前記移動体の動作量を推定する動作量推定部と、
前記第２映像データに基づいて前記移動体の動作内容を推定する動作推定部と、
前記動作内容が移動中であると推定されたときの前記移動体の前記動作量に基づいて前記移動体の動作に関するデータを解析する動作解析部と、を備えている
ことを特徴とする移動体解析システム。
続きを表示（約 540 文字）【請求項２】
請求項１に記載の移動体解析システムであって、
前記移動体の前記動作量に基づいて定量的に表した前記移動体の移動量を求める移動量解析部をさらに備え、
前記動作推定部は、前記移動体について機械学習した学習モデルに基づいて前記移動体の移動時間を推定するように構成され、
前記動作解析部は、前記移動体の移動量および前記移動体の移動時間に基づき、前記移動体の移動速度を求めるように構成されている
ことを特徴とする移動体解析システム。
【請求項３】
請求項１または２に記載の移動体解析システムであって、
前記移動体の位置および向きならびに動作のうち少なくとも一つのパラメータに基づき、前記第１映像データから、前記第２カメラが装着された前記移動体を判別する特徴判定部をさらに備えている
ことを特徴とする移動体解析システム。
【請求項４】
請求項１または２に記載の移動体解析システムであって、
前記動作解析部は、前記第１映像データおよび前記第２映像データに基づき、前記移動体の移動に関する前記データを取得した地点を解析するように構成されている
ことを特徴とする移動体解析システム。

発明の詳細な説明【技術分野】
【０００１】
この発明は、映像データに含まれている移動体の状態を解析するシステムに関するものである。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
特許文献１には、複数の機械が配置され、ヒトが作業および移動を行う製造現場において、その製造現場のヒトやモノ、あるいは、装置を監視する監視システムが開示されている。特許文献１の監視システムは、ヒト、モノおよび装置のそれぞれを監視するカメラと、カメラにより得られた映像データを解析する解析サーバと、解析部による解析結果を表示する表示コンピュータとを備えている。特許文献１の監視システムでは、ヒトを監視するヒト監視カメラでヒトの体格、衣服の形状、動作の特性などの情報を格納している。そして、それらの情報と映像データとの対比により、映像データに含まれるヒトの画像を特定する。解析サーバは、特定されたヒトが行う作業の種類や作業を行った時間帯、移動時間、あるいは、撮影範囲外の位置にいたことなどを、学習されたデータに基づくヒトの有意な動作の変化点にしたがって解析するように構成されている。
【０００３】
特許文献２には、動作主の行動を精度良く推定することを目的とした行動認識装置が開示されている。特許文献２の行動認識装置は、天井や壁面等に配置され、監視対象エリアを撮像する第１のカメラと、人物の頭部に装着される第２のカメラとによって撮影された映像データを解析して人物の行動を認識するように構成されている。特許文献２の行動認識装置では、映像データから人物の行動と係わり度合いが大きい行動領域とそれ以外の周辺領域とに分類する。そして、行動領域と重なる位置における人物の実行可能な行動を表現する環境情報と、周辺領域と重なる位置における環境情報と、映像データから抽出された映像特徴情報とに基づき、行動ラベル分布を推定する。すなわち、特許文献２の行動認識装置では、人物の行動の候補を絞り込んで推定しているので、人物の行動を精度良く推定することができる、としている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２１－１９６９０９号公報
国際公開第２０２３／１００３３０号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１によれば、ヒト、モノおよび装置の動きをオペレータが監視したり、作業状態を入力したりすることなく、製造現場の監視を効率よく実行することができる。一方で、特許文献１の装置におけるヒト、モノおよび装置などの動きを監視するカメラは、作業現場に取り付けられた固定カメラである。そのため、例えばヒトのカメラからの距離やカメラに対する向きによっては、ヒトの動作を正確に判別することができない可能性がある。例えば、ヒトがヒト監視カメラに背を向けている場合には、ヒトが作業をしているのか歩行をしているのか正確に判別することができないおそれがある。このように、特許文献１の監視システムでは、ヒト監視カメラとヒトとの位置関係によっては監視の精度が低下してしまい、ヒトの作業についてのデータを正しく取得することができない可能性がある。
【０００６】
特許文献２には、人物を含む監視対象エリアを撮像する第１のカメラと、人物が見ている方向を撮像する第２のカメラとによって撮影された映像データを解析して人物の行動を認識することが記載されている。第２のカメラであれば、人物の見ている方向が撮影されているので、ヒトが作業しているか否かを比較的正確に判別することができる。しかしながら、特許文献２の装置では、第１のカメラと第２のカメラとによって撮影された映像データのそれぞれを解析して人物の行動を認識するように構成されている。そのため、例えば、人物の歩行に関するデータを解析する場合に、第２のカメラでは、人物が歩行していることを判別することができたとしても、その人物が歩行によって移動した距離については精度良く推定することができないおそれがある。このように、特許文献２の装置であっても、映像データにおける人物の行動を認識することはできるものの、その認識された人物の動的なデータについては精度良く推定あるいは解析することができない可能性がある。
【０００７】
この発明は、上記の技術的課題に着目してなされたものであって、作業現場などにおける移動体の動的なデータの推定精度を向上させることが可能な移動体解析システムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
この発明は、上記の目的を達成するために、映像データに含まれている移動体を検出して前記移動体の動作に関するデータを解析する移動体解析システムであって、前記移動体を俯瞰で撮影した第１映像データを取得する第１カメラと、前記移動体に装着され、前記移動体から見た第２映像データを取得する第２カメラと、前記第１映像データに基づいて前記移動体の動作量を推定する動作量推定部と、前記第２映像データに基づいて前記移動体の動作内容を推定する動作推定部と、前記動作内容が移動中であると推定されたときの前記移動体の前記動作量に基づいて前記移動体の動作に関するデータを解析する動作解析部と、を備えていることを特徴とするものである。
【０００９】
また、この発明においては、前記移動体の前記動作量に基づいて定量的に表した前記移動体の移動量を求める移動量解析部をさらに備え、前記動作推定部は、前記移動体について機械学習した学習モデルに基づいて前記移動体の移動時間を推定するように構成され、前記動作解析部は、前記移動体の移動量および前記移動体の移動時間に基づき、前記移動体の移動速度を求めるように構成されていてよい。
【００１０】
また、この発明においては、前記移動体の位置および向きならびに動作のうち少なくとも一つのパラメータに基づき、前記第１映像データから、前記第２カメラが装着された前記移動体を判別する特徴判定部をさらに備えていてよい。
（【００１１】以降は省略されています）

関連特許