特許ウォッチ

公開番号2024144287
公報種別公開特許公報(A)
公開日2024-10-11
出願番号2024048169
出願日2024-03-25
発明の名称動作認識装置と方法及び電子機器
出願人富士通株式会社
代理人個人,個人
主分類G06T 7/00 20170101AFI20241003BHJP(計算;計数)
要約【課題】本発明は、動作認識装置と方法及び電子機器を提供する。
【解決手段】かかる方法は、ニューラルネットワークにより画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得し;及び、取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定することを含み、前記肘部キーポイント及び前記手首部キーポイントは同じ側に所在する。
【選択図】図1
特許請求の範囲【請求項１】
動作を認識する装置であって、
ニューラルネットワークにより画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得する取得ユニット；及び
取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定する確定ユニットであって、前記肘部キーポイント及び前記手首部キーポイントは同じ側に所在する、確定ユニットを含む、装置。
続きを表示（約 1,600 文字）【請求項２】
請求項１に記載の装置であって、
前記夾角は、
前記対象の正面を面し、かつ右手首キーポイントが右肘キーポイントよりも低い位置にある場合に、右肘キーポイントと右手首キーポイントとの間の前記第二接続線と、前記第一接続線との間の時計回り方向の第一夾角；及び／又は
前記対象の正面を面し、かつ左手首キーポイントが左肘キーポイント低い位置にある位置にある場合に、左肘キーポイントと左手首キーポイントとの間の前記第二接続線と、前記第一接続線との間の反時計回り方向の第二夾角；及び／又は
前記対象の正面を面し、かつ右手首キーポイントが右肘キーポイントよりも高い位置にある場合に、右肘キーポイントと右手首キーポイントとの間の前記第二接続線と、前記第一接続線との間の反時計回り方向の第一夾角；及び／又は
前記対象の正面を面し、かつ左手首キーポイントが左肘キーポイントよりも高い位置にある場合に、左肘キーポイントと左手首キーポイントとの間の前記第二接続線と、前記第一接続線との間の時計回り方向の第二夾角を含む、装置。
【請求項３】
請求項２に記載の装置であって、
前記確定ユニットは、前記第一夾角及び第一所定閾値に基づいて、及び／又は、前記第二夾角及び第二所定閾値に基づいて、前記対象の指す方向を確定する、装置。
【請求項４】
請求項３に記載の装置であって、
前記第一所定閾値及び／又は前記第二所定閾値は、前記画像を得る画像取得装置と、前記対象の左肩及び右肩との間の相対位置関係に基づいて確定される、装置。
【請求項５】
請求項４に記載の装置であって、
前記相対位置関係は、前記画像取得装置と、前記右肩及び前記左肩との間の距離、及び前記画像取得装置の、前記右肩及び前記左肩に対する上下方向の位置を含む、装置。
【請求項６】
請求項１に記載の装置であって、
前記確定ユニットは、前記第一接続線、前記第二接続線、及び、肩部キーポイントと前記肘部キーポイントとの間の第三接続線の間の夾角に基づいて、前記対象の指す方向を確定し、
前記肩部キーポイント、前記肘部キーポイント及び前記手首部キーポイントは同じ側に
所在する、装置。
【請求項７】
請求項１に記載の装置であって、
所定条件が満足された場合に、前記確定ユニットは前記対象の指す方向を確定し、
前記所定条件は、取得された前記対象のキーポイントの数は所定値よりも大きく、かつ、前記対象のキーポイントは２つの肩部及び少なくとも１つの腕のキーポイントを含むことを含む、装置。
【請求項８】
請求項１に記載の装置であって、
前記画像は変形画像であり、
前記装置はさら、前記変形画像の歪みを修正して修正画像を生成する修正ユニットを含み、
前記取得ユニットは前記修正画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得する、装置。
【請求項９】
動作を認識する方法であって、
ニューラルネットワークにより画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得し；及び
取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定することを含み、
前記肘部キーポイント及び前記手首部キーポイントは同じ側に所在する、方法。
【請求項１０】
記憶器と、前記記憶器に接続される処理器と、を含む電子機器であって、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は前記コンピュータプログラムを実行して請求項９に記載の方法を実現するように構成される、電子機器。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理の技術分野に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
コンピュータ技術の継続的な発展に伴い、キーポイントに基づく動作認識（識別）はインテリジェントな監視、動作分析、人間とコンピュータのインタラクションなどの分野で広く使用されている。例えば、画像取得装置により取得された交通手段（例えば、車両）の運転者の画像について、該画像内の運転者の人体キーポイントに基づいて運転者の指す方向を決定することで、この方向に基づいて、運転者の運転計画、又は運転者の動作が動作規範（仕様）に準拠しているかなどを確認することができる。これは安全な生産や運用保守などに有利である。
【０００３】
なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、発明者は、画像内の対象（オブジェクト）の指す方向を確定する従来の方法には一定の制限があることを発見した。例えば、対象の指す方向の認識結果の正確さ（精度）が低く、誤判定が起こりやすい。
【０００５】
上述の問題点のうちの少なくとも１つに鑑み、本発明の実施例は、動作認識結果の正確さを向上させることができる動作認識装置と方法及び電子機器の提供を課題とする。
【課題を解決するための手段】
【０００６】
本発明の実施例の１つの側面によれば、動作認識装置が提供され、それは、
取得ユニットであって、ニューラルネットワークにより画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得する、もの；及び
取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定する確定ユニットであって、前記肘部キーポイント及び前記手首部キーポイントは同じ側に所在する、ものを含む。
【０００７】
本発明の実施例のもう１つの側面によれば、動作認識方法が提供され、それは、
ニューラルネットワークにより画像内の対象に対してキーポイントの認識を行い、前記対象のキーポイントを取得し；及び
取得された前記キーポイントのうち、左肩キーポイントと右肩キーポイントとの第一接続線と、肘部キーポイントと手首部キーポイントとの第二接続線との間の夾角に基づいて、前記対象の指す方向を確定し、そのうち、前記肘部キーポイント及び前記手首部キーポイントは同じ側に所在することを含む。
【０００８】
本発明の実施例の他の側面によれば、記憶器及び処理器を含む電子機器が提供され、前記記憶器にはコンピュータプログラムが記憶されており、前記処理器は前記コンピュータプログラムを実行して前述の動作認識方法を実現するように構成される。
【発明の効果】
【０００９】
対象の２つの肩部キーポイントの第一接続線と、肘部キーポイントと手首部キーポイントとの間の第二接続線との間の夾角を用いて対象の指す方向を確定することで、動作認識結果の正確さを向上させることができる。
【図面の簡単な説明】
【００１０】
本発明の実施例における動作認識方法を示す図である。
本発明の実施例における変形画像を示す図である。
本発明の実施例における変形画像を示すもう１つの図である。
本発明の実施例におけるキーポイントを示す図である。
本発明の実施例における夾角を示す図である。
本発明の実施例における夾角を示すもう１つの図である。
本発明の実施例における対象の指す方向を示す図である。
本発明の実施例における対象の指す方向を示す図である。
本発明の実施例における対象の指す方向を示す図である。
本発明の実施例における対象の指す方向を示す図である。
本発明の実施例における対象の指す方向を示す図である。
本発明の実施例における対象の指す方向を示す図である。
本発明の実施例における夾角を示すもう１つの図である。
本発明の実施例における夾角を示すもう１つの図である。
本発明の実施例における動作認識装置を示す図である。
本発明の実施例における電子機器を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許