特許ウォッチ

公開番号2025000436
公報種別公開特許公報(A)
公開日2025-01-07
出願番号2023100289
出願日2023-06-19
発明の名称行動認識装置、行動認識方法、および行動認識プログラム
出願人株式会社日立製作所
代理人藤央弁理士法人
主分類G06V 10/62 20220101AFI20241224BHJP(計算;計数)
要約【課題】認識対象の時系列な行動を高精度に認識すること。
【解決手段】行動認識装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する行動認識装置であって、認識対象の時系列な行動認識結果と、前記時系列な行動認識結果間の時間間隔と、に基づいて、前記行動認識結果の周波数を検出する周波数検出処理と、前記周波数検出処理による検出周波数に基づいて、前記時系列な前記行動認識結果を時間方向に正規化するリサンプリング処理と、前記リサンプリング処理によるリサンプリング済みの時系列な行動認識結果に、時系列な信号列で行動を規定した参照時系列行動が存在するか否かを判定し、判定結果を出力する判定処理と、を実行する。
【選択図】図4
特許請求の範囲【請求項１】
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する行動認識装置であって、
認識対象の時系列な行動認識結果と、前記時系列な行動認識結果間の時間間隔と、に基づいて、前記行動認識結果の周波数を検出する周波数検出処理と、
前記周波数検出処理による検出周波数に基づいて、前記時系列な前記行動認識結果を時間方向に正規化するリサンプリング処理と、
前記リサンプリング処理によるリサンプリング済みの時系列な行動認識結果に、時系列な信号列で行動を規定した参照時系列行動が存在するか否かを判定し、判定結果を出力する判定処理と、
を実行することを特徴とする行動認識装置。
続きを表示（約 1,700 文字）【請求項２】
請求項１に記載の行動認識装置であって、
前記プロセッサは、
前記時系列な前記行動認識結果のノイズを除去するノイズ除去処理を実行し、
前記リサンプリング処理では、前記プロセッサは、前記検出周波数に基づいて、前記ノイズ除去処理によるノイズ除去済みの前記時系列な前記行動認識結果を時間方向に正規化する、
することを特徴とする行動認識装置。
【請求項３】
請求項２に記載の行動認識装置であって、
前記ノイズ除去処理では、前記プロセッサは、非線形フィルタを用いて、
前記時系列な前記行動認識結果のノイズを除去する、
ことを特徴とする行動認識装置。
【請求項４】
請求項１に記載の行動認識装置であって、
前記リサンプリング処理では、前記プロセッサは、前記検出周波数と目標周波数とを比較することにより、前記時系列な前記行動認識結果のアップサンプリングおよびダウンサンプリングのうちいずれか一方を実行する、
ことを特徴とする行動認識装置。
【請求項５】
請求項４に記載の行動認識装置であって、
前記リサンプリング処理では、前記プロセッサは、前記検出周波数が前記目標周波数以上である場合、前記時系列な前記行動認識結果の前記ダウンサンプリングを実行する、
ことを特徴とする行動認識装置。
【請求項６】
請求項４に記載の行動認識装置であって、
前記リサンプリング処理では、前記プロセッサは、前記検出周波数が前記目標周波数以上でない場合、前記時系列な前記行動認識結果の前記アップサンプリングを実行する、
ことを特徴とする行動認識装置。
【請求項７】
請求項１に記載の行動認識装置であって、
前記判定処理では、前記プロセッサは、前記リサンプリング済みの時系列な行動認識結果に、前記参照時系列行動に一致する行動が存在するか否かを判定し、判定結果を出力する、
ことを特徴とする行動認識装置。
【請求項８】
請求項１に記載の行動認識装置であって、
前記判定処理では、前記プロセッサは、前記リサンプリング済みの時系列な行動認識結果に、前記参照時系列行動の一部に一致する行動が存在するか否かを判定し、判定結果を出力する、
ことを特徴とする行動認識装置。
【請求項９】
請求項１に記載の行動認識装置であって、
学習対象の骨格形状を示す骨格情報から前記学習対象の行動を分類するように学習された行動分類モデルにアクセス可能であり、
前記プロセッサは、
解析対象データから前記認識対象の骨格情報を検出する骨格検出処理と、
前記骨格検出処理によって検出された前記認識対象の骨格情報を前記行動分類モデルに入力することにより、前記認識対象の行動を示す前記行動認識結果を出力する行動認識処理と、を実行し、
前記周波数検出処理では、前記プロセッサは、前記行動認識処理による前記認識対象の時系列な前記行動認識結果と、時系列な前記解析対象データ間の時間間隔と、に基づいて、前記行動認識結果の周波数を検出する、
ことを特徴とする行動認識装置。
【請求項１０】
請求項９に記載の行動認識装置であって、
前記行動分類モデルは、前記学習対象の骨格形状を示す骨格情報および前記学習対象の関節の角度から前記学習対象の行動を分類するように学習されたモデルであり、
前記骨格検出処理では、前記プロセッサは、前記骨格情報の大きさを正規化し、正規化後の骨格情報に基づいて、前記認識対象の関節の角度を算出し、
前記行動認識処理では、前記プロセッサは、前記認識対象の骨格情報および前記認識対象の関節の角度を前記行動分類モデルに入力することにより、前記認識対象の行動を示す前記行動認識結果を出力する、
ことを特徴とする行動認識装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、行動認識装置、行動認識方法、および行動認識プログラムに関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
本技術分野の背景技術として、特許文献１は、特徴量の判定結果からアウトライヤを除去して認識姿勢パラメータを推定する情報処理装置を開示する。この情報処理装置は、入力動画に、登録されているアクションが含まれているか否かを認識する情報処理装置において、前記アクションを認識するためのモデルを含むモデル動画を画像平面および時間の３次元とした場合における、特徴点であるモデル特徴点と、前記モデル特徴点における特徴量であるモデル特徴量の情報を記憶する記憶手段と、前記入力動画を取得する第１の取得手段と、前記第１の取得手段により取得された前記入力動画を画像平面および時間の３次元として、前記入力動画から前記アクションを認識するための特徴点である入力特徴点を抽出する第１の特徴点抽出手段と、前記第１の特徴点抽出手段により抽出された前記入力特徴点における特徴量である入力特徴量を抽出する第１の特徴量抽出手段と、前記第１の特徴量抽出手段により抽出された前記入力特徴量と、前記記憶手段により記憶された前記モデル特徴量とを比較し、類似する特徴量を有する特徴点の組としての候補対応特徴点ペアを生成する特徴量比較手段と、前記特徴量比較手段による比較の結果得られた前記候補対応特徴点ペアから、アウトライヤを除去し、前記入力動画上での前記モデルの姿勢を推定するとともに、前記モデルの姿勢に対応する認識対応特徴点ペア群を求める姿勢推定手段と、前記姿勢推定手段により得られる前記モデルの姿勢の推定結果、および、前記認識対応特徴点ペア群に基づいて、認識結果を生成する認識結果生成手段と、を備えることにより、認識姿勢パラメータを推定する。
【先行技術文献】
【特許文献】
【０００３】
特開２００９－１４０００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１は、入力動画を画像平面および時間の３次元として特徴量を抽出しており、入力動画の時間方向の周波数変動を考えれば認識対応特徴点ペア群の数が膨大になる。したがって、限られた認識対応特徴点ペア群で一時的に認識対応特徴点ペア群を増減して認識精度を高める点については考慮されていない。
【０００５】
本発明は、認識対象の時系列な行動を高精度に認識することを目的とする。
【課題を解決するための手段】
【０００６】
本願において開示される発明の一側面となる行動認識装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する行動認識装置であって、認識対象の時系列な行動認識結果と、前記時系列な行動認識結果間の時間間隔と、に基づいて、前記行動認識結果の周波数を検出する周波数検出処理と、前記周波数検出処理による検出周波数に基づいて、前記時系列な前記行動認識結果を時間方向に正規化するリサンプリング処理と、前記リサンプリング処理によるリサンプリング済みの時系列な行動認識結果に、時系列な信号列で行動を規定した参照時系列行動が存在するか否かを判定し、判定結果を出力する判定処理と、を実行することを特徴とする。
【発明の効果】
【０００７】
本発明の代表的な実施の形態によれば、認識対象の時系列な行動を高精度に認識することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【０００８】
図１は、実施例１にかかる行動認識システムのシステム構成例を示す説明図である。
図２は、コンピュータのハードウェア構成例を示すブロック図である。
図３は、学習データの一例を示す説明図である。
図４は、実施例１にかかる行動認識システムの機能的構成例を示すブロック図である。
図５は、骨格情報処理部の詳細な機能的構成例を示すブロック図である。
図６は、関節角度算出部が実行する関節角度の詳細な算出方法を示す説明図である。
図７は、移動量算出部が実行するフレーム間の移動量の詳細な算出方法の例を示す説明図である。
図８は、正規化部が実行する骨格情報の正規化の詳細な手法を示す説明図である。
図９は、教師信号ＤＢが保持する教師信号の詳細な例を示す説明図である。
図１０は、フレーム単位行動認識結果テーブルの一例を示す説明図である。
図１１は、時系列行動認識結果グラフの一例を示す説明図である。
図１２は、修正前後の時系列行動認識結果を示す説明図である。
図１３は、判定部の詳細な処理例を示す説明図である。
図１４は、実施例１にかかるサーバ（学習装置）による学習処理の詳細な処理手順例を示すフローチャートである。
図１５は、実施例１にかかる骨格情報処理の詳細な処理手順例を示すフローチャートである。
図１６は、実施例１にかかるクライアント（行動認識装置）による行動認識処理手順例を示すフローチャートである。
図１７は、実施例２にかかる行動認識システムの機能的構成例を示すブロック図である。
図１８は、実施例２にかかるクライアント（行動認識装置）による行動認識処理手順例を示すフローチャートである。
図１９は、実施例３にかかる行動認識システムの機能的構成例を示すブロック図である。
図２０は、実施例３にかかるサーバ（学習装置）による学習処理の詳細な処理手順例を示すフローチャートである。
図２１は、実施例３にかかるクライアント（行動認識装置）による行動認識処理手順例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明に係る実施の形態を図面に基づいて説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。
【００１０】
本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
（【００１１】以降は省略されています）

関連特許