特許ウォッチ

公開番号2025166433
公報種別公開特許公報(A)
公開日2025-11-06
出願番号2024070473
出願日2024-04-24
発明の名称行動推定システム
出願人トヨタ自動車株式会社
代理人個人,個人
主分類G06T 7/20 20170101AFI20251029BHJP(計算;計数)
要約【課題】作業現場などにおける移動体の作業や動作の推定精度を向上させることが可能な行動推定システムを提供する。
【解決手段】移動体に関するデータに基づいて移動体の行動を推定する行動推定システム1であって、移動体を俯瞰で撮影した映像データを取得するカメラ6と、移動体に装着され、移動体の動作データを検出する動作検出装置7,8,9と、映像データおよび動作データを解析する情報処理装置10と、を備え、情報処理装置10は、映像データに基づいて移動体の行動を推定する第1行動推定部11と、動作検出装置7,8,9によって検出された移動体の動作データに基づいて移動体の行動を推定する第2行動推定部11,12,13,14と、第1行動推定部11と第2行動推定部11,12,13,14とによって推定された結果を統合し、移動体の行動を推定する行動認識部16と、を有している。
【選択図】図2
特許請求の範囲【請求項１】
移動体に関するデータに基づいて前記移動体の行動を推定する行動推定システムであって、
前記移動体を俯瞰で撮影した映像データを取得するカメラと、
前記移動体に装着され、前記移動体の動作データを検出する動作検出装置と、
前記映像データおよび前記動作データを解析する情報処理装置と、を備え、
前記情報処理装置は、
前記映像データに基づいて前記移動体の行動を推定する第１行動推定部と、
前記動作検出装置によって検出された前記移動体の前記動作データに基づいて前記移動体の行動を推定する第２行動推定部と、
前記第１行動推定部と前記第２行動推定部とによって推定された結果を統合し、前記移動体の行動を推定する行動認識部と、を有している
ことを特徴とする行動推定システム。

発明の詳細な説明【技術分野】
【０００１】
この発明は、映像データに含まれている移動体が実行している作業あるいは動作などの行動を推定するシステムに関するものである。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
特許文献１には、作業現場で作業者の標準作業の所要時間を自動的に計測することを目的とした行動認識装置が開示されている。特許文献１の装置では、作業現場を撮影した動画に基づき、作業者の標準作業を要素行動に分解する。特許文献１における要素行動は、例えば、商品を商品棚に入れる標準作業の場合、対象商品を入れた箱を仮置きする、対象商品を探して取り出す、対象商品を商品棚に入れる、などのように分解したものである。特許文献１の装置では、動画を構成する連続した画像フレームにおける変化点、つまり時空間の特徴点を検出することにより要素行動を認識する。具体的には、画像フレームを分割した複数のブロックにおける時空間の変化量の大きさを検出することにより作業者の要素行動を認識する。そして、各要素行動の時間を計測することにより、標準作業全体の作業時間を計算するように構成されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－１７５２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１によれば、作業現場で作業者の姿勢変化に応じて標準作業の所用時間を自動的に計測することができる、としている。一方で、特許文献１の装置では、作業現場に設置され、作業者を俯瞰で撮影するカメラによって標準作業の所用時間を計測している。そのような作業現場全体を写した動画においては、作業者が移動して周辺機器や他の作業者と重なったり、作業者がカメラに対して背を向けたりしたする可能性がある。その場合には、作業者が行っている作業や作業者の動作に関するデータを正確に推定することができない可能性がある。
【０００５】
この発明は、上記の技術的課題に着目してなされたものであって、作業現場などにおける移動体の作業や動作の推定精度を向上させることが可能な行動推定システムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
この発明は、上記の目的を達成するために、移動体に関するデータに基づいて前記移動体の行動を推定する行動推定システムであって、前記移動体を俯瞰で撮影した映像データを取得するカメラと、前記移動体に装着され、前記移動体の動作データを検出する動作検出装置と、前記映像データおよび前記動作データを解析する情報処理装置と、を備え、前記情報処理装置は、前記映像データに基づいて前記移動体の行動を推定する第１行動推定部と、前記動作検出装置によって検出された前記移動体の前記動作データに基づいて前記移動体の行動を推定する第２行動推定部と、前記第１行動推定部と前記第２行動推定部とによって推定された結果を統合し、前記移動体の行動を推定する行動認識部と、を有していることを特徴とするものである。
【発明の効果】
【０００７】
この発明における行動推定システムでは、移動体を俯瞰で撮影した映像データを取得するカメラの他に、移動体の動作データを検出するために移動体に装着される動作検出装置を備えている。行動推定システムでは、映像データから推定された移動体の行動と、動作検出装置によって検出された移動体の動作データに基づいて推定された移動体の行動とを統合して移動体の行動を推定するように構成されている。すなわち、行動推定システムでは、カメラと動作検出装置との複数の情報源に基づいて移動体の行動を推定するので、移動体を俯瞰で撮影したカメラのみで移動体の行動を推定する場合と比較して、移動体の行動を精度高く推定することができる。また、移動体に装着する動作検出装置によって移動体の動きを直接的に検出した動作データに基づいて行動を推定しているので、移動体の行動をより確実に推定することができる。したがって、作業現場における、いわゆるムリ、ムダ、ムラなどの改善点を精度良く見つけることができ、それによって作業現場における作業効率の向上などに活用することができる。
【図面の簡単な説明】
【０００８】
この発明の実施形態における行動推定システムの全体構成を説明するための図であって、（ａ）は、作業現場で作業している作業者のデータを取得している状態を示す全体図であり、（ｂ）は、作業者に装着される動作検出装置の一例であるグローブ型デバイスを示す正面図である。
この発明の実施形態における行動推定システムの機能的な構成を説明するためのブロック図である。
この発明の実施形態における行動推定システムによって実行される制御の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
つぎに、この発明を図に示す実施形態に基づいて説明する。なお、以下に説明する実施形態はこの発明を具体化した場合の一例に過ぎないのであって、この発明を限定するものではない。
【００１０】
この発明の実施形態における行動推定システム１では、ライン作業などが行われる作業現場２において、作業者（移動体）３が作業や移動を行っている様子を撮影し、その撮影された映像データを解析して作業者３の作業や行動を解析する。また、この発明の実施形態における行動推定システム１では、作業者３の動きを直接的に検出することにより、作業者３の行動を解析する。図１（ａ）には、この発明の実施形態において対象とする作業現場２の一例を模式的に示してある。
（【００１１】以降は省略されています）

関連特許