特許ウォッチ

公開番号2024144286
公報種別公開特許公報(A)
公開日2024-10-11
出願番号2024048157
出願日2024-03-25
発明の名称動作認識装置と方法及び電子機器
出願人富士通株式会社
代理人個人,個人
主分類G06T 7/70 20170101AFI20241003BHJP(計算;計数)
要約【課題】本発明は、動作認識装置と方法及び電子機器を提供する。
【解決手段】前記方法は、ニューラルネットワークにより、画像における対象のキーポイントを認識し、前記対象のキーポイントを取得し;及び、取得された前記キーポイントのうちの、鼻キーポイントと左肩キーポイントとの間の第一距離、前記鼻キーポイントと右肩キーポイントとの間の第二距離、及び前記左肩キーポイントと前記右肩キーポイントとの間の第三距離に基づいて、前記対象の視線方向を確定することを含む。
【選択図】図1
特許請求の範囲【請求項１】
動作を認識する装置であって、
ニューラルネットワークにより、画像における対象のキーポイントを認識し、前記対象のキーポイントを取得する取得ユニット；及び
取得された前記キーポイントのうちの、鼻キーポイントと左肩キーポイントとの間の第一距離、前記鼻キーポイントと右肩キーポイントとの間の第二距離、及び前記左肩キーポイントと前記右肩キーポイントとの間の第三距離に基づいて、前記対象の視線方向を確定する確定ユニットを含む、装置。
続きを表示（約 1,400 文字）【請求項２】
請求項１に記載の装置であって、
前記確定ユニットは、前記第一距離、前記第二距離及び前記第三距離に基づいて、前記第一距離と前記第二距離との間の差と、前記第三距離との比を確定し、前記比及び所定閾値に基づいて前記対象の視線方向を確定する、装置。
【請求項３】
請求項２に記載の装置であって、
前記比が前記第一距離から前記第二距離を減算した結果と、前記第三距離との比である場合に、
前記比が第一閾値よりも小さいときに、前記対象の視線方向は左側であり、前記比が第二閾値よりも大きいときに、前記対象の視線方向は右側であり、前記第一閾値は前記第二閾値以下である、装置。
【請求項４】
請求項２に記載の装置であって、
前記比が前記第二距離から前記第一距離を減算した結果と、前記第三距離との比である場合に、
前記比が第三閾値よりも小さいときに、前記対象の視線方向は右側であり、前記比が第四閾値よりも大きいときに、前記対象の視線方向は左側であり、前記第三閾値は前記第四閾値以下である、装置。
【請求項５】
請求項２に記載の装置であって、
前記対象のキーポイントが首キーポイントを含む場合に、前記確定ユニットは、前記首キーポイントと前記左肩キーポイントとの間の第四距離及び前記首キーポイントと前記右肩キーポイントとの間の第五距離に基づいて修正量を確定し、前記修正量に基づいて前記比を修正し、修正後の前記比及び前記所定閾値に基づいて前記対象の視線方向を確定する、装置。
【請求項６】
請求項５に記載の装置であって、
前記修正量は、前記第四距離と前記第五距離との差と、前記第三距離との比を含む、装置。
【請求項７】
請求項１に記載の装置であって、
所定条件が満足された場合に、前記確定ユニットは前記視線方向を決定し、
前記所定条件は、取得された前記対象のキーポイントの数が所定値よりも大きく、かつ、前記対象のキーポイントが前記左肩キーポイント、前記右肩キーポイント及び前記鼻キーポイントを含むことを含む、装置。
【請求項８】
請求項１に記載の装置であって、
前記画像は変形画像であり、
前記装置は、前記変形画像の歪みを修正して修正画像を生成する修正ユニットをさらに含み、
前記取得ユニットは、前記修正画像における対象に対してキーポイント認識を行うことで、前記対象のキーポイントを取得する、装置。
【請求項９】
動作を認識する方法であって、
ニューラルネットワークにより、画像における対象のキーポイントを認識し、前記対象のキーポイントを取得し；及び
取得された前記キーポイントのうちの、鼻キーポイントと左肩キーポイントとの間の第一距離、前記鼻キーポイントと右肩キーポイントとの間の第二距離、及び前記左肩キーポイントと前記右肩キーポイントとの間の第三距離に基づいて、前記対象の視線方向を確定することを含む、方法。
【請求項１０】
記憶器及び前記記憶器に接続される処理器を含む電子機器であって、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は前記コンピュータプログラムを実行して請求項９に記載の方法を実現するように構成される、電子機器。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理の技術分野に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
コンピュータ技術の継続的な発展に伴い、キーポイントに基づく動作認識（識別）はインテリジェントな監視、動作分析、人間とコンピュータのインタラクションなどの分野で広く使用されている。例えば、画像取得装置により取得された交通手段（例えば、車両）の運転者の画像について、該画像内の運転者の人体キーポイントに基づいて運転者の視線方向（注視する方向（注視））を決定することで、該視線方向に基づいて、運転者の運転計画、又は運転者の動作が動作規範（仕様）に準拠しているかなどを確認することができる。そのため、安全な生産や運用保守に有利である。
【０００３】
なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、発明者は、画像内の対象（オブジェクト）の視線方向を確定する従来の方法には一定の制限があることを発見した。例えば、視線方向の認識結果の正確さ（精度）が低く、誤判定が起こりやすい。
【０００５】
上述の問題点のうちの少なくとも１つに鑑み、本発明の実施例は、動作認識の結果の正確さを向上させることができる動作認識装置と方法及び電子機器の提供を課題とする。
【課題を解決するための手段】
【０００６】
本発明の実施例の１つの側面によれば、動作認識装置が提供され、それは、
取得ユニットであって、其ニューラルネットワークにより、画像内の対象のキーポイントを認識し、前記対象のキーポイントを取得する、もの；及び
確定ユニットであって、取得された前記キーポイントのうちの、鼻キーポイントと左肩キーポイントとの間の第一距離、前記鼻キーポイントと右肩キーポイントとの間の第二距離、及び前記左肩キーポイントと前記右肩キーポイントとの間の第三距離に基づいて、前記対象の視線方向を確定する、ものを含む。
【０００７】
本発明の実施例のもう１つの側面によれば、動作認識方法が提供され、それは、
ニューラルネットワークにより、画像内の対象のキーポイントを認識し、前記対象のキーポイントを取得し；及び
取得された前記キーポイントのうちの、鼻キーポイントと左肩キーポイントとの間の第一距離、前記鼻キーポイントと右肩キーポイントとの間の第二距離、及び前記左肩キーポイントと前記右肩キーポイントとの間の第三距離に基づいて、前記対象の視線方向を確定することを含む。
【０００８】
本発明の実施例のまたもう１つの側面によれば、電子機器が提供され、それは記憶器及び前記記憶器に接続される処理器を含み、前記記憶器にはコンピュータプログラムが記憶されており、前記処理器は前記コンピュータプログラムを実行することで前述のような動作認識方法を実現するように構成される。
【発明の効果】
【０００９】
対象の鼻キーポイントと左肩キーポイントとの間の第一距離、鼻キーポイントと右肩キーポイントとの間の第二距離、及び左肩キーポイントと右肩キーポイントとの間の第三距離を用いて対象の視線方向を決定することにより、動作認識の結果の正確さ（精度）を向上させることができる。
【図面の簡単な説明】
【００１０】
本発明の実施例における動作認識方法を示す図である。
本発明の実施例における変形画像を示す図である。
本発明の実施例におけるもう１つの変形画像を示す図である。
本発明の実施例におけるキーポイントを示す図である。
本発明の実施例における距離を示す図である。
本発明の実施例におけるステップ１０２のフローを示す図である。
本発明の実施例における視線方向を示す図である。
本発明の実施例における視線方向を示す図である。
本発明の実施例における視線方向を示す図である。
本発明の実施例における視線方向を示す図である。
本発明の実施例における動作認識装置を示す図である。
本発明の実施例における電子機器を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許