特許ウォッチ

公開番号2024028184
公報種別公開特許公報(A)
公開日2024-03-01
出願番号2023131597
出願日2023-08-10
発明の名称動作認識装置と方法及び電子機器
出願人富士通株式会社
代理人個人,個人
主分類G06T 7/00 20170101AFI20240222BHJP(計算;計数)
要約【課題】本発明は、動作認識装置と方法及び電子機器を提供する。
【解決手段】前記方法は、対象の骨格図において前記骨格図内のキーポイント及びキーポイントレベルに基づいて探索の開始キーポイントを確定し;前記開始キーポイントを中心とする関心領域内の部分アフィニティフィールドに基づいて探索方向を確定し;前記探索方向に沿って探索終了点を確定し;前記探索終了点の周囲の関心領域内で信頼度マップのピーク値が最大となる位置を欠落キーポイントの位置として選択し;前記欠落キーポイントを前記骨格図に追加して前記対象の修正骨格図を生成し;及び、前記修正骨格図に基づいて前記対象の動作認識を行うことを含む。
【選択図】図1
特許請求の範囲【請求項１】
動作を認識する装置であって、
対象の骨格図において前記骨格図内のキーポイント及びキーポイントレベルに基づいて探索の開始キーポイントを確定する第一確定ユニット；
前記開始キーポイントを中心とする関心領域内の部分アフィニティフィールドに基づいて探索方向を確定する第二確定ユニット；
前記探索方向に沿って探索終了点を確定する探索ユニット；
前記探索終了点の周囲の関心領域内で信頼度マップのピーク値が最大となる位置を欠落キーポイントの位置として選択する選択ユニット；
前記欠落キーポイントを前記骨格図に追加して前記対象の修正骨格図を生成する修正ユニット；及び
前記修正骨格図に基づいて前記対象の動作認識を行う認識ユニットを含む、装置。
続きを表示（約 1,300 文字）【請求項２】
請求項1に記載の装置であって、
所定条件が満足された場合に前記対象の修正骨格図を生成する、装置。
【請求項３】
請求項2に記載の装置であって、
前記所定条件は、
前記骨格図に首の類型のキーポイントが存在し；かつ
前記骨格図内のキーポイント数が第一閾値よりも大きいことを含む、装置。
【請求項４】
請求項1に記載の装置であって、
前記第一確定ユニットは、前記骨格図において、首の類型のキーポイントから開始し、前記キーポイントレベルに従って、前記骨格図内の欠落キーポイントを確定し、欠落キーポイントの1つ前のレベルのキーポイントを前記開始キーポイントとして確定する、装置。
【請求項５】
請求項1に記載の装置であって、
前記骨格図において、前記キーポイントレベルは第一レベル、第二レベル及び第三レベルを含み、
首、鼻、左肩、右肩、左腰及び右腰というキーポイントが前記第一レベルに属し、
左目、右目、左肘、右肘、左膝及び右膝というキーポイントが前記第二レベルに属し、
左耳、右耳、左手首、右手首、左足首及び右足首というキーポイントが前記第三レベルに属する、装置。
【請求項６】
請求項1に記載の装置であって、
前記第二確定ユニットは、前記開始キーポイントを中心とする関心領域内の前記部分アフィニティフィールドに対して加算を行って第一ベクトルを生成し、前記第一ベクトルの方向を前記探索方向とする、装置。
【請求項７】
請求項1に記載の装置であって、
前記探索ユニットは前記探索方向に沿って検出位置と前記開始キーポイントとの間の距離が第二閾値よりも大きく又は第三閾値よりも小さい場合に、前記検出位置を前記探索終了点とする、装置。
【請求項８】
請求項1に記載の装置であって、
前記骨格図において、前記修正ユニットは前記欠落キーポイントの位置に前記欠落キーポイントを追加する、装置。
【請求項９】
動作を認識する方法であって、
対象の骨格図において前記骨格図内のキーポイント及びキーポイントレベルに基づいて探索の開始キーポイントを確定し；
前記開始キーポイントを中心とする関心領域内の部分アフィニティフィールドに基づいて探索方向を確定し；
前記探索方向に沿って探索終了点を確定し；
前記探索終了点の周囲の関心領域内で信頼度マップのピーク値が最大となる位置を欠落キーポイントの位置として選択し；
前記欠落キーポイントを前記骨格図に追加して前記対象の修正骨格図を生成し；及び
前記修正骨格図に基づいて前記対象の動作認識を行うことを含む、方法。
【請求項１０】
記憶器と、
前記記憶器に接続される処理器と、を含む電子機器であって、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は前記コンピュータプログラムを実行することで請求項9に記載の方法を実現するように構成される、電子機器。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ビデオ検出の技術分野に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
今のところ、ビデオフレーム内の1つ又は複数の対象（object）に対しての動作認識（姿勢推定ともいう）は、「上から下へ」と「下から上へ」の2つのスキームを採用できる。「上から下へ」のスキームでは、まず、対象（例えば、人体）を検出し、次に、検出した各画像領域で各対象の姿勢を独立して推定し、「下から上へ」のスキームでは、まず、複数のキーポイント（又はキー部分）の情報を検出し、次に、これらのキーポイントを接続して接続候補を生成し、そして、接続候補に基づいて対象の骨格図を生成し、骨格図に基づいて各対象の姿勢を推定する。
【０００３】
なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、発明者が次のようなことを発見した。即ち、今のところ、「下から上へ」のスキームでは、画像品質、オクルージョン、対象の姿勢角度などの要因により、対象の骨格図に1つ又は複数のキーポイントが欠落する問題が存在する可能性があり、該骨格図に基づいて動作推定を行うときに、信頼性の低い動作認識結果が発生しやすくなる。
【０００５】
上述の問題点のうちの少なくとも1つに鑑み、本発明の実施例は、「下から上へ」のスキームにおける動作認識結果の正確さを向上させることができる動作認識装置と方法及び電子機器の提供を課題とする。
【課題を解決するための手段】
【０００６】
本発明の実施例の1つの側面によれば、動作認識装置が提供され、それは、
対象の骨格図において前記骨格図内のキーポイント及びキーポイントレベルに基づいて探索の開始キーポイントを確定する第一確定ユニット；
前記開始キーポイントを中心とする関心領域内の部分アフィニティフィールドに基づいて探索方向を確定する第二確定ユニット；
前記探索方向に沿って探索終了点を確定する探索ユニット；
前記探索終了点の周囲の関心領域内で信頼度マップのピーク値が最大となる位置を、欠落するキーポイント（欠落キーポイントともいう）の位置として選択する選択ユニット；
前記欠落するキーポイントを前記骨格図に追加して前記対象の修正骨格図を生成する修正ユニット；及び
前記修正骨格図に基づいて前記対象の動作認識を行う認識ユニットを含む。
【０００７】
本発明の実施例のもう１つの側面によれば、動作認識方法が提供され、それは、
対象の骨格図において前記骨格図内のキーポイント及びキーポイントレベルに基づいて探索の開始キーポイントを確定し；
前記開始キーポイントを中心とする関心領域内の部分アフィニティフィールドに基づいて探索方向を確定し；
前記探索方向に沿って探索終了点を確定し；
前記探索終了点の周囲の関心領域内で信頼度マップのピーク値が最大となる位置を、欠落するキーポイントの位置として選択し；及び
前記欠落するキーポイントを前記骨格図に追加して前記対象の修正骨格図を生成し；及び
前記修正骨格図に基づいて前記対象の動作認識を行うことを含む。
【０００８】
本発明の実施例のもう１つの側面によれば、電子機器が提供され、それは記憶器及び処理器を含み、前記記憶器にはコンピュータプログラムが記憶されており、前記処理器は前記コンピュータプログラムを実行して前述のような動作認識方法を実現するように構成される。
【発明の効果】
【０００９】
本発明の実施例の有利な効果の少なくとも1つが次のとおりであり、即ち、対象の骨格図において開始キーポイントの周囲の関心領域内の部分アフィニティフィールドに基づいて探索方向を確定し、探索方向に沿って探索終了点を確定し、探索終了点の周囲の関心領域内の、信頼度マップのピーク値が最大となる位置を、欠落するキーポイントの位置とし、欠落するキーポイントを骨格図に追加して修正骨格図を取得する。このようにして、より多くのキーポイントを含む修正骨格図に基づいて動作認識を行うことで、「下から上へ」のスキームにおける動作認識結果の正確さを向上させることができる。
【００１０】
なお、「含む/有する」のような用語は、本明細書に使用されるときに、特徴、要素、ステップ、又はアセンブルの存在を指すが、１つ又は複数の他の特徴、要素、ステップ、又はアセンブリの存在若しくは付加を排除しないということも指す。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許