特許ウォッチ

公開番号2024117861
公報種別公開特許公報(A)
公開日2024-08-30
出願番号2023023919
出願日2023-02-20
発明の名称動作データ生成装置、動作データ生成方法、およびプログラム
出願人日本電気株式会社
代理人個人,個人
主分類G06T 7/20 20170101AFI20240823BHJP(計算;計数)
要約【課題】時間軸方向にデータ拡張された動作データを生成できる動作データ生成装置等を提供する。
【解決手段】データ変換対象である複数の動作データを取得する取得部と、データ拡張の対象動作である動作クラスごとに、複数の動作データをグループ化する変換データ選定部と、動作クラスごとにグループ化された動作データのうち少なくとも1つを基準データに設定し、グループ化された動作データのうち基準データとは異なる少なくとも1つの動作データを変換対象データに設定し、基準データの動作タイミングを基準として変換対象データを同期させた拡張動作データを生成するデータ変換部と、生成された拡張動作データを出力する出力部と、を備える動作データ生成装置とする。
【選択図】図1
特許請求の範囲【請求項１】
データ変換対象である複数の動作データを取得する取得部と、
データ拡張の対象動作である動作クラスごとに、複数の前記動作データをグループ化する変換データ選定部と、
前記動作クラスごとにグループ化された前記動作データのうち少なくとも１つを基準データに設定し、グループ化された前記動作データのうち前記基準データとは異なる少なくとも１つの前記動作データを変換対象データに設定し、前記基準データの動作タイミングを基準として前記変換対象データを同期させた拡張動作データを生成するデータ変換部と、
生成された前記拡張動作データを出力する出力部と、を備える動作データ生成装置。
続きを表示（約 2,300 文字）【請求項２】
前記データ変換部は、
前記動作クラスごとにグループ化された前記動作データの全てを前記基準データに設定し、
グループ化された前記動作データのうち前記基準データとは異なる全ての前記動作データを前記変換対象データに設定し、
全ての前記基準データの動作タイミングを基準として、前記基準データに対して設定された全ての前記変換対象データを同期させた前記拡張動作データを生成する請求項１に記載の動作データ生成装置。
【請求項３】
予め設定された数のサンプルを複数の前記動作データから抽出し、抽出された前記サンプルに関してサンプル間の関係を表す指標値を計算する指標値計算部を備え、
前記変換データ選定部は、
前記指標値計算部によって算出された前記指標値に応じて、変換対象の前記動作データをペアリングし、
前記データ変換部は、
ペアリングされた前記動作データを互いに同期させた前記拡張動作データを生成する請求項１に記載の動作データ生成装置。
【請求項４】
前記指標値計算部は、
前記指標値として、サンプル間の類似度を計算し、
前記変換データ選定部は、
予め設定された類似度閾値よりも類似度が小さい２つの前記動作データをペアリングする請求項３に記載の動作データ生成装置。
【請求項５】
前記指標値計算部は、
前記指標値として、サンプル間の距離を計算し、
前記変換データ選定部は、
予め設定された距離閾値よりも距離が大きい２つの前記動作データをペアリングする請求項３に記載の動作データ生成装置。
【請求項６】
所定のクラスタリング法よって、複数の前記動作データを複数のクラスタにグループ分けするクラスタリング部と、
前記クラスタに含まれる前記動作データの数に応じて、グループ分けされた複数の前記クラスタに含まれる２つの前記クラスタをペアリングするペア選択部と、を備え、
前記変換データ選定部は、
ペアリングされた２つの前記クラスタからの各々から少なくとも１つずつの前記動作データをランダムに抽出し、
２つの前記クラスタからの各々から抽出された前記動作データをペアリングし、
前記データ変換部は、
ペアリングされた前記動作データを互いに同期させた前記拡張動作データを生成する請求項１に記載の動作データ生成装置。
【請求項７】
前記ペア選択部は、
複数の前記クラスタに含まれる前記動作データの数の割合から逆比を計算し、
算出された逆比の値が最大である前記クラスタと、逆比の値が最大ではないいずれかの前記クラスタとをペアリングする請求項６に記載の動作データ生成装置。
【請求項８】
前記データ変換部は、
グラフ畳み込みネットワークを含むエンコーダを有し、対象動作を含む動作データを構成するフレームごとに推定された姿勢データを角度表現に正規化し、角度表現に正規化された前記姿勢データを前記エンコーダに入力して埋め込み空間における特徴量を計算する特徴量計算部と、
前記基準データを構成するフレームごとに算出された特徴量と、同期対象データを構成するフレームごとに算出された特徴量との距離を計算する距離計算部と、
算出された距離に基づいてフレームごとの最適経路を計算し、前記最適経路で結ばれたフレームのタイミングを揃えることによって、前記同期対象データを前記基準データに同期させる同期処理部と、を有し、
前記エンコーダは、
角度表現に正規化された前記姿勢データをグラフ畳み込みによって畳み込み、
埋め込み空間における埋め込みを特徴量として出力し、
前記距離計算部は、
前記基準データを構成するフレームに関する特徴量と、前記同期対象データを構成するフレームに関する特徴量との間の距離を総当たりで計算する請求項１乃至７のいずれか一項に記載の動作データ生成装置。
【請求項９】
コンピュータが、
データ変換対象である複数の動作データを取得し、
データ拡張の対象動作である動作クラスごとに、複数の前記動作データをグループ化し、
前記動作クラスごとにグループ化された前記動作データのうち少なくとも１つを基準データに設定し、
グループ化された前記動作データのうち前記基準データとは異なる少なくとも１つの前記動作データを変換対象データに設定し、
前記基準データの動作タイミングを基準として前記変換対象データを同期させた拡張動作データを生成し、
生成された前記拡張動作データを出力する動作データ生成方法。
【請求項１０】
データ変換対象である複数の動作データを取得する処理と、
データ拡張の対象動作である動作クラスごとに、複数の前記動作データをグループ化する処理と、
前記動作クラスごとにグループ化された前記動作データのうち少なくとも１つを基準データに設定する処理と、
グループ化された前記動作データのうち前記基準データとは異なる少なくとも１つの前記動作データを変換対象データに設定する処理と、
前記基準データの動作タイミングを基準として前記変換対象データを同期させた拡張動作データを生成する処理と、
生成された前記拡張動作データを出力する処理と、をコンピュータに実行させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、動作データを生成する動作データ生成装置等に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
人間の動作に関するデジタルツインの技術を用いて動作データを拡張すれば、一般的な学習よりも少量の実測データで、大量のデータを用いた場合と同等以上の精度の動作認識モデルを構築できる。データ拡張で用いられる敵対的生成モデル（ＧＡＮ：Generative Adversarial Network）の学習を安定させるためには、データを効果的に正規化することが重要である。例えば、動作データに含まれる共通の動作を、異なる動作データとの間で正規化できれば、敵対的生成モデルの学習を安定化できる。すなわち、異なる動作データの間で、動作データに含まれる共通の動作を同期できれば、敵対的生成モデルの学習を安定化できる。
【０００３】
非特許文献１には、映像間の時間的整合のタスクに基づく自己教師あり表現学習手法について開示されている。非特許文献１の手法では、時間的サイクル整合性（ＴＣＣ：Temporal Cycle-Consistency）を用いて、ネットワークを訓練する。非特許文献１の手法では、学習された埋め込み空間における最近傍のフレームを対応付けることによって、異なる動画に含まれる共通の動作を同期させる。
【０００４】
非特許文献２には、スケルトンベースのアクション認識問題に対する画像分類ベースのアプローチが開示されている。非特許文献２は、データセットに依存しない変換スケールの不変画像マッピング法を開示している。非特許文献２の不変画像マッピング法では、スケルトン画像と呼ばれるスケルトンビデオをカラー画像に変換する。また、非特許文献２は、マルチスケールの深層畳み込みニューラルネットワークＣＮＮ（Convolutional Neural Network）アーキテクチャを開示している。非特許文献２の手法では、データ拡張において、以下の３つを活用している。１つ目は、３次元座標のランダムな回転である。２つ目は、ガウシアンノイズの付加である。３つ目は、一連の動作シーケンスのランダムな位置でのクロップである。
【０００５】
特許文献１には、利用者が使用する利用者端末と、この利用者端末に対し通信ネットワークを介して接続可能な運動支援装置と、を具備する運動支援システムについて開示されている。特許文献１には、利用者の運動画像データと、指導者の運動画像データとを時間的に同期させて、ディスプレイに表示させる例が開示されている。
【先行技術文献】
【特許文献】
【０００６】
特開２００６－３０２１２２号公報
【非特許文献】
【０００７】
D. Dwibedi, et al., “Temporal Cycle-Consistency Learning”, IEEE Conf. on Computer Vision and Pattern Recognition (2019).
Bo Li, Mingyi He, Xuelian Cheng, Yucheng Chen, Yuchao Dai, “Skeleton Based Action Recognition Using Translation-Scale Invariant Image Mapping And Multi-Scale Deep CNN”, 2017 IEEE International Conference on Multimedia & Expo Workshops (ICMEW), 2017, pp.601-604.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
非特許文献１の手法では、動画データに対してエンコーダモデルを学習し、埋め込み空間における最近傍のフレームを対応付けることによって、２つの動画データを同期する。非特許文献１の手法では、２つの動画データを同期する際に、動画に含まれる背景の影響が及ぶ。そのため、非特許文献１の手法では、異なる動画において背景が大きく異なる場合、同期の精度が低下することがあった。また、非特許文献１の手法は、動画形式ではないデータに対しては、適用できなかった。
【０００９】
非特許文献２の手法では、座標回転やガウシアンノイズ付与、ランダムクロップなどの空間的なアプローチによって、データを拡張する。このようなアプローチによれば、ノイズやデータ取得環境に左右されにくいモデルの学習を実現できる。しかし、非特許文献２の手法は、時間的なアプローチを含まないため、動作のタイミングや速度が異なるデータの拡張には適用できなかった。特に、非特許文献２の手法は、学習データが数１０個程度と少ない場合、多様なテストデータに対応するためのデータ拡張にはなりえなかった。
【００１０】
特許文献１の手法では、利用者の運動画像データと、指導者の運動画像データとを時間的に同期させる。特許文献１の手法は、運動画像データの同期には適用できるが、運動画像データの拡張には適用できなかった。
（【００１１】以降は省略されています）

関連特許