特許ウォッチ

公開番号2024176801
公報種別公開特許公報(A)
公開日2024-12-19
出願番号2023095607
出願日2023-06-09
発明の名称行動認識方法
出願人トヨタ自動車株式会社
代理人個人,個人
主分類G06T 7/20 20170101AFI20241212BHJP(計算;計数)
要約【課題】行動認識の対象とする作業者の行動を適切に認識する。
【解決手段】行動認識方法では、コンピュータが、映像データから作業者の骨格情報を時系列で取得する(S12)。コンピュータが、取得した骨格情報に含まれる作業者の各部位の位置座標を取得する(S21)。コンピュータが、複数の作業者の骨格情報を取得した場合に、作業者毎の位置座標に基づいて、行動認識の対象とする作業者を特定する(S24)。コンピュータが、特定した作業者の骨格情報の時系列に基づいて、作業者の行動を認識する(S43)。なお、行動認識方法では、機械学習により予め学習された学習済みモデルを用いることにより、作業者の行動を認識してもよい。
【選択図】図2
特許請求の範囲【請求項１】
コンピュータが、
映像データから作業者の骨格情報を時系列で取得することと、
取得した前記骨格情報に含まれる前記作業者の各部位の位置座標を取得することと、
複数の前記作業者の前記骨格情報を取得した場合に、前記作業者毎の前記位置座標に基づいて、行動認識の対象とする前記作業者を特定することと、
特定した前記作業者の前記骨格情報の時系列に基づいて、前記作業者の行動を認識することと、
を実行する
行動認識方法。
続きを表示（約 880 文字）【請求項２】
前記コンピュータが、
複数の前記作業者の前記骨格情報を取得した場合に、前記作業者毎の前記位置座標の時系列に基づいて、当該作業者の移動速度である作業者速度を前記作業者毎に算出することと、
算出した前記作業者速度が予め定められた規定作業者速度よりも高い前記作業者を除いた上で、対象とする前記作業者を特定することと、
を実行する
請求項１に記載の行動認識方法。
【請求項３】
前記コンピュータが、
複数の前記作業者の前記骨格情報を取得した場合に、取得した前記骨格情報に含まれる右肩の前記位置座標と、取得した前記骨格情報に含まれる左肩の前記位置座標との位置関係に基づいて、対象とする前記作業者を特定することと、
を実行する
請求項１又は請求項２に記載の行動認識方法。
【請求項４】
前記コンピュータが、
特定した前記作業者の前記骨格情報の時系列に基づいて、前記骨格情報に含まれる予め定められた特定部位の移動速度である特定部位速度を算出することと、
前記特定部位の前記位置座標の時系列のうち、算出した前記特定部位速度が予め定められた規定部位速度よりも高い前記特定部位の前記位置座標をノイズデータとしたとき、
特定した前記作業者の前記骨格情報の時系列から前記ノイズデータを除いた認識対象情報を生成することと、
特定した前記作業者の前記認識対象情報に基づいて、前記作業者が行う行動を認識することと、
を実行する
請求項１又は請求項２に記載の行動認識方法。
【請求項５】
前記コンピュータが、
算出した前記特定部位速度が前記規定部位速度以下である前記特定部位の前記位置座標を、代替データとして生成することと、
前記ノイズデータを除いた上で、当該ノイズデータに代えて前記代替データを付加した情報を、前記認識対象情報として生成することと、
を実行する
請求項４に記載の行動認識方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、行動認識方法に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
特許文献１の行動認識システムは、行動認識装置と、カメラとを備えている。行動認識装置は、カメラから映像データを取得する。また、行動認識装置は、映像データから作業者の骨格情報を時系列で取得する。そして、行動認識装置は、取得した骨格情報の時系列に基づいて、作業者の行動を認識する。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－００３４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のような行動認識システムでは、カメラから取得した映像データに複数の作業者が映り込むことがある。この場合、行動認識装置は、複数の作業者の骨格情報を取得することがある。特許文献１のような行動認識装置は、上記のように複数の作業者の骨格情報を取得する場合について着目していないため、行動認識の対象とするべき作業者の行動を、期待どおりに認識できないおそれがある。
【課題を解決するための手段】
【０００５】
上記課題を解決するための行動認識方法は、コンピュータが、映像データから作業者の骨格情報を時系列で取得することと、取得した前記骨格情報に含まれる前記作業者の各部位の位置座標を取得することと、複数の前記作業者の前記骨格情報を取得した場合に、前記作業者毎の前記位置座標に基づいて、行動認識の対象とする前記作業者を特定することと、特定した前記作業者の前記骨格情報の時系列に基づいて、前記作業者の行動を認識することと、を実行する。
【発明の効果】
【０００６】
上記構成によれば、複数の作業者の骨格情報を取得した場合には、行動認識の対象とする作業者が特定される。そして、特定された作業者の骨格情報の時系列に基づくことで、対象とする作業者の行動を適切に認識できる。すなわち、行動認識の対象外である作業者の行動が、行動認識の対象である行動者に対する行動の認識に影響を及ぼすことを低減できる。
【図面の簡単な説明】
【０００７】
図１は、行動認識システムの概略構成図である。
図２は、認識制御を示すフローチャートである。
図３は、作業者の骨格情報に関する説明図である。
【発明を実施するための形態】
【０００８】
＜行動認識システムの概略構成＞
以下、本発明の一実施形態を図１～図３にしたがって説明する。先ず、行動認識システム１０の概略構成について説明する。
【０００９】
図１に示すように、行動認識システム１０は、コンピュータ２０、入力デバイス３０、カメラ４０、及びディスプレイ５０を備えている。
入力デバイス３０は、例えば、キーボード、及びポインティングデバイスを含んでいる。カメラ４０は、被写体の映像である映像データＤＰを検出する。本実施形態において、カメラ４０は、行動認識の対象とする作業者が作業する場所の近傍に位置している。また、カメラ４０は、行動認識の対象とする作業者の様子を、当該作業者の正面から撮影可能な場所に位置している。さらに、カメラ４０は、行動認識の対象とする作業者が作業する場所を向いている。なお、行動認識の対象とする作業者の一例は、自動車の部品の組み立て作業を行う作業者である。ディスプレイ５０は、各種の情報を表示可能である。
【００１０】
コンピュータ２０は、実行装置２１、及び記憶装置２２を備えている。実行装置２１の一例は、ＣＰＵである。記憶装置２２は、読み出しのみが可能なＲＯＭと、読み出し及び書き込みが可能な揮発性のＲＡＭと、読み出し及び書き込みが可能な不揮発性のストレージとを含んでいる。記憶装置２２は、各種のプログラム及び各種のデータを予め記憶している。また、記憶装置２２は、各種のプログラムの一つとして行動認識プログラム２２Ａを予め記憶している。さらに、記憶装置２２は、各種のデータの一つとして写像データ２２Ｂを予め記憶している。写像データ２２Ｂは、所定の入力変数と、作業者の行動を示す出力変数との関係性である写像が、実行装置２１が実行可能な形式で記述されたものである。写像データ２２Ｂで記述された写像は、機械学習により予め学習されたものである。なお、写像データ２２Ｂについての具体的な説明は後述する。実行装置２１は、記憶装置２２に記憶された行動認識プログラム２２Ａを実行することにより、行動認識方法における各種の処理を実現する。コンピュータ２０の一例は、いわゆるパーソナルコンピュータである。
（【００１１】以降は省略されています）

関連特許