TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024028184
公報種別公開特許公報(A)
公開日2024-03-01
出願番号2023131597
出願日2023-08-10
発明の名称動作認識装置と方法及び電子機器
出願人富士通株式会社
代理人個人,個人
主分類G06T 7/00 20170101AFI20240222BHJP(計算;計数)
要約【課題】本発明は、動作認識装置と方法及び電子機器を提供する。
【解決手段】前記方法は、対象の骨格図において前記骨格図内のキーポイント及びキーポイントレベルに基づいて探索の開始キーポイントを確定し;前記開始キーポイントを中心とする関心領域内の部分アフィニティフィールドに基づいて探索方向を確定し;前記探索方向に沿って探索終了点を確定し;前記探索終了点の周囲の関心領域内で信頼度マップのピーク値が最大となる位置を欠落キーポイントの位置として選択し;前記欠落キーポイントを前記骨格図に追加して前記対象の修正骨格図を生成し;及び、前記修正骨格図に基づいて前記対象の動作認識を行うことを含む。
【選択図】図1
特許請求の範囲【請求項1】
動作を認識する装置であって、
対象の骨格図において前記骨格図内のキーポイント及びキーポイントレベルに基づいて探索の開始キーポイントを確定する第一確定ユニット;
前記開始キーポイントを中心とする関心領域内の部分アフィニティフィールドに基づいて探索方向を確定する第二確定ユニット;
前記探索方向に沿って探索終了点を確定する探索ユニット;
前記探索終了点の周囲の関心領域内で信頼度マップのピーク値が最大となる位置を欠落キーポイントの位置として選択する選択ユニット;
前記欠落キーポイントを前記骨格図に追加して前記対象の修正骨格図を生成する修正ユニット;及び
前記修正骨格図に基づいて前記対象の動作認識を行う認識ユニットを含む、装置。
続きを表示(約 1,300 文字)【請求項2】
請求項1に記載の装置であって、
所定条件が満足された場合に前記対象の修正骨格図を生成する、装置。
【請求項3】
請求項2に記載の装置であって、
前記所定条件は、
前記骨格図に首の類型のキーポイントが存在し;かつ
前記骨格図内のキーポイント数が第一閾値よりも大きいことを含む、装置。
【請求項4】
請求項1に記載の装置であって、
前記第一確定ユニットは、前記骨格図において、首の類型のキーポイントから開始し、前記キーポイントレベルに従って、前記骨格図内の欠落キーポイントを確定し、欠落キーポイントの1つ前のレベルのキーポイントを前記開始キーポイントとして確定する、装置。
【請求項5】
請求項1に記載の装置であって、
前記骨格図において、前記キーポイントレベルは第一レベル、第二レベル及び第三レベルを含み、
首、鼻、左肩、右肩、左腰及び右腰というキーポイントが前記第一レベルに属し、
左目、右目、左肘、右肘、左膝及び右膝というキーポイントが前記第二レベルに属し、
左耳、右耳、左手首、右手首、左足首及び右足首というキーポイントが前記第三レベルに属する、装置。
【請求項6】
請求項1に記載の装置であって、
前記第二確定ユニットは、前記開始キーポイントを中心とする関心領域内の前記部分アフィニティフィールドに対して加算を行って第一ベクトルを生成し、前記第一ベクトルの方向を前記探索方向とする、装置。
【請求項7】
請求項1に記載の装置であって、
前記探索ユニットは前記探索方向に沿って検出位置と前記開始キーポイントとの間の距離が第二閾値よりも大きく又は第三閾値よりも小さい場合に、前記検出位置を前記探索終了点とする、装置。
【請求項8】
請求項1に記載の装置であって、
前記骨格図において、前記修正ユニットは前記欠落キーポイントの位置に前記欠落キーポイントを追加する、装置。
【請求項9】
動作を認識する方法であって、
対象の骨格図において前記骨格図内のキーポイント及びキーポイントレベルに基づいて探索の開始キーポイントを確定し;
前記開始キーポイントを中心とする関心領域内の部分アフィニティフィールドに基づいて探索方向を確定し;
前記探索方向に沿って探索終了点を確定し;
前記探索終了点の周囲の関心領域内で信頼度マップのピーク値が最大となる位置を欠落キーポイントの位置として選択し;
前記欠落キーポイントを前記骨格図に追加して前記対象の修正骨格図を生成し;及び
前記修正骨格図に基づいて前記対象の動作認識を行うことを含む、方法。
【請求項10】
記憶器と、
前記記憶器に接続される処理器と、を含む電子機器であって、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は前記コンピュータプログラムを実行することで請求項9に記載の方法を実現するように構成される、電子機器。

発明の詳細な説明【技術分野】
【0001】
本発明は、ビデオ検出の技術分野に関する。
続きを表示(約 2,000 文字)【背景技術】
【0002】
今のところ、ビデオフレーム内の1つ又は複数の対象(object)に対しての動作認識(姿勢推定ともいう)は、「上から下へ」と「下から上へ」の2つのスキームを採用できる。「上から下へ」のスキームでは、まず、対象(例えば、人体)を検出し、次に、検出した各画像領域で各対象の姿勢を独立して推定し、「下から上へ」のスキームでは、まず、複数のキーポイント(又はキー部分)の情報を検出し、次に、これらのキーポイントを接続して接続候補を生成し、そして、接続候補に基づいて対象の骨格図を生成し、骨格図に基づいて各対象の姿勢を推定する。
【0003】
なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、発明者が次のようなことを発見した。即ち、今のところ、「下から上へ」のスキームでは、画像品質、オクルージョン、対象の姿勢角度などの要因により、対象の骨格図に1つ又は複数のキーポイントが欠落する問題が存在する可能性があり、該骨格図に基づいて動作推定を行うときに、信頼性の低い動作認識結果が発生しやすくなる。
【0005】
上述の問題点のうちの少なくとも1つに鑑み、本発明の実施例は、「下から上へ」のスキームにおける動作認識結果の正確さを向上させることができる動作認識装置と方法及び電子機器の提供を課題とする。
【課題を解決するための手段】
【0006】
本発明の実施例の1つの側面によれば、動作認識装置が提供され、それは、
対象の骨格図において前記骨格図内のキーポイント及びキーポイントレベルに基づいて探索の開始キーポイントを確定する第一確定ユニット;
前記開始キーポイントを中心とする関心領域内の部分アフィニティフィールドに基づいて探索方向を確定する第二確定ユニット;
前記探索方向に沿って探索終了点を確定する探索ユニット;
前記探索終了点の周囲の関心領域内で信頼度マップのピーク値が最大となる位置を、欠落するキーポイント(欠落キーポイントともいう)の位置として選択する選択ユニット;
前記欠落するキーポイントを前記骨格図に追加して前記対象の修正骨格図を生成する修正ユニット;及び
前記修正骨格図に基づいて前記対象の動作認識を行う認識ユニットを含む。
【0007】
本発明の実施例のもう1つの側面によれば、動作認識方法が提供され、それは、
対象の骨格図において前記骨格図内のキーポイント及びキーポイントレベルに基づいて探索の開始キーポイントを確定し;
前記開始キーポイントを中心とする関心領域内の部分アフィニティフィールドに基づいて探索方向を確定し;
前記探索方向に沿って探索終了点を確定し;
前記探索終了点の周囲の関心領域内で信頼度マップのピーク値が最大となる位置を、欠落するキーポイントの位置として選択し;及び
前記欠落するキーポイントを前記骨格図に追加して前記対象の修正骨格図を生成し;及び
前記修正骨格図に基づいて前記対象の動作認識を行うことを含む。
【0008】
本発明の実施例のもう1つの側面によれば、電子機器が提供され、それは記憶器及び処理器を含み、前記記憶器にはコンピュータプログラムが記憶されており、前記処理器は前記コンピュータプログラムを実行して前述のような動作認識方法を実現するように構成される。
【発明の効果】
【0009】
本発明の実施例の有利な効果の少なくとも1つが次のとおりであり、即ち、対象の骨格図において開始キーポイントの周囲の関心領域内の部分アフィニティフィールドに基づいて探索方向を確定し、探索方向に沿って探索終了点を確定し、探索終了点の周囲の関心領域内の、信頼度マップのピーク値が最大となる位置を、欠落するキーポイントの位置とし、欠落するキーポイントを骨格図に追加して修正骨格図を取得する。このようにして、より多くのキーポイントを含む修正骨格図に基づいて動作認識を行うことで、「下から上へ」のスキームにおける動作認識結果の正確さを向上させることができる。
【0010】
なお、「含む/有する」のような用語は、本明細書に使用されるときに、特徴、要素、ステップ、又はアセンブルの存在を指すが、1つ又は複数の他の特徴、要素、ステップ、又はアセンブリの存在若しくは付加を排除しないということも指す。
【図面の簡単な説明】
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

富士通株式会社
情報処理プログラム、情報処理方法及び情報処理装置
4日前
富士通株式会社
機械学習プログラム、情報処理装置および機械学習方法
4日前
個人
乗降調査装置
6日前
個人
自動販売機
13日前
日本精機株式会社
投影装置
6日前
個人
リユース統合システム
26日前
個人
コメント配信システム
1か月前
個人
広告提供方法
1か月前
日本精機株式会社
投影システム
7日前
個人
モノづくり知識情報システム
1か月前
個人
情報処理装置及びプログラム
1か月前
個人
釣PAID降水確率ポイント
1か月前
株式会社SUBARU
車両
1か月前
株式会社SUBARU
車両
14日前
小林クリエイト株式会社
RFタグ
13日前
個人
チラシ掲載位置表示システム
24日前
17LIVE株式会社
サーバ
6日前
株式会社協同印刷
防災・災害マウス
19日前
太陽誘電株式会社
触覚生成装置
17日前
株式会社ゼロボード
価格決定システム
5日前
株式会社カクシン
管理装置
1か月前
株式会社アジラ
姿勢推定システム
4日前
株式会社フォーバル
仕訳システム
25日前
株式会社カネカ
異常推定システム
25日前
中国電力株式会社
ゲームシステム
1か月前
株式会社イトーキ
分析装置
17日前
小林クリエイト株式会社
あて先表示システム
13日前
日本信号株式会社
自転車貸出システム
7日前
個人
ブロックチェーンと既存網との接続方法
26日前
日本電気株式会社
勤務管理装置
12日前
個人
防災訓練オフ会
14日前
個人
集配システムと保管システム
7日前
NVデバイス株式会社
視線検出システム
25日前
株式会社日立製作所
演算装置
26日前
NISSHA株式会社
指装着型コントローラー
12日前
原田産業株式会社
衣服の注文方法
28日前
続きを見る