特許ウォッチ

公開番号2025022417
公報種別公開特許公報(A)
公開日2025-02-14
出願番号2023126961
出願日2023-08-03
発明の名称動作識別学習装置、動作識別装置、学習方法及びプログラム
出願人日本電信電話株式会社
代理人弁理士法人志賀国際特許事務所
主分類G06N 3/094 20230101AFI20250206BHJP(計算;計数)
要約【課題】偏りのあるデータセットを用いて多様な人物に汎化する動作識別モデルを学習する。
【解決手段】動作識別部は、人物動作データから得られた動作入力データの推定動作クラス帰属確率を、人物識別部は、人物入力データから得られた人物入力データの推定人物クラス帰属確率を求める。敵対的識別部は、動作入力データが各人物クラスに帰属する推定の確率を示す敵対的人物クラス帰属確率と、人物入力データが各動作クラスへ帰属する推定の確率である敵対的動作クラス帰属確率とを算出する。損失評価部は、推定動作クラス帰属確率、推定人物クラス帰属確率、敵対的動作クラス帰属確率、敵対的人物クラス帰属確率、所与の教師動作クラス帰属確率及び所与の教師人物クラス帰属確率に基づいて損失評価値を算出する。学習部は、損失評価値に基づいて、動作識別部、人物識別部及び敵対的識別部それぞれの処理に用いられるパラメータの値を学習する。
【選択図】図1
特許請求の範囲【請求項１】
人物の動作を表すデータである人物動作データから動作に関する特徴を表す動作入力データを生成する動作入力前処理部と、
前記人物動作データから人物に関する特徴を表す人物入力データを生成する人物入力前処理部と、
前記動作入力データが一つ以上の動作クラスそれぞれに帰属する推定の確率である推定動作クラス帰属確率を算出する動作識別部と、
前記人物入力データが一つ以上の人物クラスそれぞれに帰属する推定の確率である推定人物クラス帰属確率を算出する人物識別部と、
前記動作入力データが一つ以上の人物クラスそれぞれに帰属する推定の確率である敵対的人物クラス帰属確率と、前記人物入力データが動作クラスへ帰属する推定の確率である敵対的動作クラス帰属確率とを算出する敵対的識別部と、
前記推定動作クラス帰属確率と、前記推定人物クラス帰属確率と、前記敵対的動作クラス帰属確率と、前記敵対的人物クラス帰属確率と、前記人物動作データが前記動作クラスそれぞれに帰属する確率を示す所与の教師動作クラス帰属確率と、前記人物動作データが前記人物クラスそれぞれに帰属する確率を示す所与の教師人物クラス帰属確率とに基づいて推定の誤差を表す損失評価値を求める損失評価部と、
前記損失評価値に基づいて、前記動作識別部が前記動作入力データの生成処理に用いる第一のパラメータの値と、前記人物識別部が前記人物入力データの生成処理に用いる第二のパラメータの値と、前記敵対的識別部が前記敵対的人物クラス帰属確率の算出処理に用いる第三のパラメータの値と、前記敵対的識別部が前記敵対的動作クラス帰属確率の算出処理に用いる第四のパラメータの値とを学習する学習部と、
を備える動作識別学習装置。
続きを表示（約 2,300 文字）【請求項２】
前記動作入力前処理部は、前記人物動作データに対して、人物を識別する情報を喪失させる処理を施すことにより、前記動作入力データを生成し、
前記人物入力前処理部は、前記人物動作データに対して、動作を識別する情報を喪失させる処理を施すことにより、前記人物入力データを生成する、
請求項１に記載の動作識別学習装置。
【請求項３】
前記動作識別部は、
前記動作入力データから動作特徴量を抽出する動作特徴抽出器と、
前記動作特徴量から前記推定動作クラス帰属確率を出力する動作識別器とを備え、
前記人物識別部は、
前記動作入力データから人物特徴量を抽出する人物特徴抽出器と、
前記人物特徴量から前記推定人物クラス帰属確率を出力する人物識別器とを備え、
前記敵対的識別部は、前記動作特徴抽出器が抽出した前記動作特徴量に基づいて前記敵対的人物クラス帰属確率を算出し、前記人物特徴抽出器が抽出した前記人物特徴量に基づいて前記敵対的動作クラス帰属確率を算出する、
請求項１に記載の動作識別学習装置。
【請求項４】
前記敵対的識別部は、
前記動作特徴量及び前記人物特徴量に対して、動作の識別及び人物の識別に不要な情報を取り除く処理を行う共有処理器と、
前記共有処理器により処理が行われた前記動作特徴量に基づいて敵対的人物クラス帰属確率を算出する敵対的人物識別器と、
前記共有処理器により処理が行われた前記人物特徴量に基づいて敵対的動作クラス帰属確率を算出する敵対的動作識別器とを備える、
請求項３に記載の動作識別学習装置。
【請求項５】
前記損失評価部は、
前記推定動作クラス帰属確率と前記教師動作クラス帰属確率との類似度が高いほど小さい値となる動作クラス識別損失評価値と、
前記推定人物クラス帰属確率と前記教師人物クラス帰属確率との類似度が高いほど小さい値となる人物クラス識別損失評価値と、
前記敵対的動作クラス帰属確率と前記教師動作クラス帰属確率との類似度が高いほど小さい値となる敵対的動作クラス識別損失評価値と、
前記敵対的人物クラス帰属確率と前記教師人物クラス帰属確率との類似度が高いほど小さい値となる敵対的人物クラス識別損失評価値と、
前記敵対的動作クラス帰属確率の曖昧さを示す第一のエントロピーの値と、
前記敵対的人物クラス帰属確率の曖昧さを示す第二のエントロピーの値とを算出し、
前記学習部は、
前記動作クラス識別損失評価値を小さく、かつ、前記敵対的人物クラス識別損失評価値及び前記第一のエントロピーの値を大きくするように前記第一のパラメータの値を学習し、
前記人物クラス識別損失評価値を小さく、かつ、前記敵対的動作クラス識別損失評価値及び前記第二のエントロピーの値を大きくするように前記第二のパラメータの値を学習し、
前記敵対的動作クラス識別損失評価値及び前記敵対的人物クラス識別損失評価値を小さくするように前記第三のパラメータ及び前記第四のパラメータの値を学習する、
請求項１に記載の動作識別学習装置。
【請求項６】
請求項１から請求項５のいずれか一項に記載の動作識別学習装置において学習された前記第一のパラメータの値を用いて、人物動作データの動作クラスへの帰属確率を算出する動作識別部、
を備える動作識別装置。
【請求項７】
人物の動作を表すデータである人物動作データから動作に関する特徴を表す動作入力データを生成する動作入力前処理ステップと、
前記人物動作データから人物に関する特徴を表す人物入力データを生成する人物入力前処理ステップと、
前記動作入力データが一つ以上の動作クラスそれぞれに帰属する推定の確率である推定動作クラス帰属確率を算出する動作識別ステップと、
前記人物入力データが一つ以上の人物クラスそれぞれに帰属する推定の確率である推定人物クラス帰属確率を算出する人物識別ステップと、
前記動作入力データが一つ以上の人物クラスそれぞれに帰属する推定の確率である敵対的人物クラス帰属確率と、前記人物入力データが動作クラスへ帰属する推定の確率である敵対的動作クラス帰属確率とを算出する敵対的識別ステップと、
前記推定動作クラス帰属確率と、前記推定人物クラス帰属確率と、前記敵対的動作クラス帰属確率と、前記敵対的人物クラス帰属確率と、前記人物動作データが前記動作クラスそれぞれに帰属する確率を示す所与の教師動作クラス帰属確率と、前記人物動作データが前記人物クラスそれぞれに帰属する確率を示す所与の教師人物クラス帰属確率とに基づいて推定の誤差を表す損失評価値を求める損失評価ステップと、
前記損失評価値に基づいて、前記動作識別ステップにおいて前記動作入力データの生成処理に用いられる第一のパラメータの値と、前記人物識別ステップにおいて前記人物入力データの生成処理に用いられる第二のパラメータの値と、前記敵対的識別ステップにおいて前記敵対的人物クラス帰属確率の算出処理に用いられる第三のパラメータの値と、前記敵対的識別ステップにおいて前記敵対的動作クラス帰属確率の算出処理に用いられる第四のパラメータの値とを学習する学習ステップと、
を有する学習方法。
【請求項８】
コンピュータを、
請求項１から請求項５のいずれか一項に記載の動作識別学習装置として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、動作識別学習装置、動作識別装置、学習方法及びプログラムに関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
近年、モーションキャプチャー装置やウェアラブルデバイスなどのセンサ機器の普及や、画像認識技術の向上に伴って、人物の動作をセンシングすることが容易になってきた。これらのセンサで記録可能なデータとして、スマートフォンやウェアラブルウォッチに搭載された加速度・ジャイロセンサーで記録される多チャンネル時系列信号データや、赤外線センサや身体に取り付けられたマーカーによって記録される人物の骨格時系列データなどが挙げられる。これらのデータを用いた人物の動作識別は、例えば、人物認証やライフログアプリケーション、ＶＲ(仮想現実)／ＡＲ(拡張現実)アプリケーション、自動監視システムなどの様々な応用先が存在する重要な技術である。
【０００３】
センシングされたデータを用いた人物の動作識別には、機械学習を用いた予測モデルにより実現されることが多い。ヒューリスティックな方法と比較して、機械学習を用いた方法は汎用性が高くなる利点がある。一方で、この方法は学習に用いた人物以外のデータに対して動作識別精度が低くなるという問題が存在する。これは、各人物の動作には個人差があり、同一の動作であってもデータのうえでは大きく異なることがあるためである。例えば、歩くという動作を考えてみた場合、歩く速さや腕の振りの大きさなどによってデータが大きく異なることがあり、その結果、別の人物の歩く動作をうまく認識できなくなるということが起こりうる。
【０００４】
このような問題を解決すべく、様々な技術が開示されている。例えば、対象人物ごとに予測モデルを個別に用意することにより、個人差による認識劣化問題を回避する技術がある（例えば、非特許文献１参照）。また、蓄積された多数の人物の動作データの中で、対象人物と類似する人物を検出し、その人物のデータで訓練された予測モデルを用いる方法がある（例えば、特許文献１参照）。また、対象人物用の予測モデルの学習に必要なデータが部分的に欠落している場合に、ほかの人物のデータで訓練された生成モデルを用いてデータを補完する技術がある（例えば、非特許文献２参照）。また、能動学習や転移学習によって、予測モデルを学習事例に含まれる人物以外に対して適応させる方法がある（例えば、非特許文献３及び非特許文献４参照）。
【先行技術文献】
【特許文献】
【０００５】
特開２０１２－２４８０１７号公報
【非特許文献】
【０００６】
Gary M. Weiss and Jeffrey W. Lockhart, "The impact of personalization on smartphone-based activity recognition," In Workshops at the Twenty-Sixth AAAI Conference on Artificial Intelligence.
N. Suzuki, Y. Watanabe, and A. Nakazawa. 2020. GAN-based Style Transformation to Improve Gesture-recognition Accuracy. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 4, 4, Article 154 (December 2020), 20 pages.
R. Fallahzadeh and H. Ghasemzadeh. 2017. Personalization without User Interruption: Boosting Activity Recognition in New Subjects Using Unlabeled Data. In 2017 ACM/IEEE 8th International Conference on Cyber-Physical Systems (ICCPS). 293-302.
Seyed Ali Rokni, Marjan Nourollahi, and Hassan Ghasemzadeh. 2018. Personalized Human Activity Recognition Using Convolutional Neural Networks. In Thirty-Second AAAI Conference on Artificial Intelligence.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
個人差の影響を受けず、多様な人物に汎化する高精度な動作識別を実現するために、上記様々な技術が提案されてきたが、これらの技術には、必要となる高品質な訓練データセットが必要とされる。
【０００８】
まず、特許文献１、非特許文献１、非特許文献３、非特許文献４の技術ではいずれも、訓練データセット中の各人物のデータには、まんべんなくすべての動作クラスのデータが含まれており、データが欠損している動作クラス（以下、「欠損動作クラス」という。）が存在しないことが求められる。
【０００９】
非特許文献２は、対象人物の動作識別モデルを学習する際に、対象人物のデータに欠損動作クラスがある場合にも、生成モデルにより欠損動作クラスのデータを生成し補完する技術を開示している。しかしながら、補完するための生成モデルの学習には、対象人物以外の各人物に欠損動作クラスが存在しない訓練データセットを準備する必要がある。
【００１０】
以上概観した通り、現在開示されている技術は、高品質な訓練データセットを必要とするものである。ことろが、認識モデルの開発コストなどの制約により、各人物のデータとして、欠損動作クラスが存在するような偏りのある、低品質なデータセットしか用意できない場合も多くある。このような場合、現在開示されている技術では、多様な人物に汎化する高精度な動作識別を実現することはできない。
（【００１１】以降は省略されています）

関連特許