TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024072180
公報種別公開特許公報(A)
公開日2024-05-27
出願番号2022182896
出願日2022-11-15
発明の名称訓練データ生成プログラム、情報処理装置および訓練データ生成方法
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06V 40/20 20220101AFI20240520BHJP(計算;計数)
要約【課題】訓練データを生成する際に、動画中の所定の行動を行っている開始・終了フレームを、手間をかけず正確に指定する。
【解決手段】情報処理装置1は、所定の行動が撮像された2つの訓練データに対して、予め設定された所定の境界フレームを含む所定フレーム数分の前後フレームの特徴量ベクトル列を抽出し、該抽出した2つの特徴量ベクトル列を用いて特徴量ベクトル列間の類似度行列を算出し、該算出した類似度行列を用いたDTW(Dynamic Time Warping)によりフレーム間の対応関係を算出し、該算出した対応関係に基づいて、新たな境界フレームを設定された訓練データを生成する。例えば、所定の行動を行っている開始・終了フレームを指定した訓練データの生成に適用できる。
【選択図】図1
特許請求の範囲【請求項1】
所定の行動が撮像された2つの訓練データに対して、予め設定された所定の境界フレームを含む所定フレーム数分の前後フレームの特徴量ベクトル列を抽出し、
該抽出した2つの特徴量ベクトル列を用いて特徴量ベクトル列間の類似度行列を算出し、
該算出した類似度行列を用いたDTW(Dynamic Time Warping)によりフレーム間の対応関係を算出し、
該算出した対応関係に基づいて、新たな境界フレームを設定された訓練データを生成する
処理をコンピュータに実行させる訓練データ生成プログラム。
続きを表示(約 1,400 文字)【請求項2】
該生成する処理は、第1の訓練データと第2の訓練データとを示す2つの訓練データに対するそれぞれの前記予め設定された境界フレームから開始し、前記対応関係に基づいて、前記第1の訓練データにおけるフレームと、前記第2の訓練データにおけるフレームに対応する、前記第1の訓練データにおけるフレームとを比較し、予め定められた前か後かを示す時間方向のフレームを前記第1の訓練データにおける境界フレームの候補とする第1の処理と、
前記対応関係に基づいて、前記第2の訓練データにおけるフレームと、前記第1の訓練データにおける前記境界フレームの候補に対応する、前記第2の訓練データにおけるフレームとを比較し、前記時間方向のフレームを前記第2の訓練データにおける境界フレームの候補とする第2の処理と、
前記対応関係に基づいて、前記第1の訓練データにおけるフレームが前記第2の訓練データにおけるフレームに対応する、前記第1の訓練データにおけるフレームと一致しない場合には、前記第1の処理および前記第2の処理とを繰り返し、
前記第1の訓練データにおけるフレームが前記第2の訓練データにおけるフレームに対応する、前記第1の訓練データにおけるフレームと一致する場合には、前記第1の訓練データにおける境界フレームの候補を新たな境界フレームとした前記第1の訓練データを生成し、前記第2の訓練データにおける境界フレームの候補を新たな境界フレームとした前記第2の訓練データを生成する
ことを特徴とする請求項1に記載の訓練データ生成プログラム。
【請求項3】
さらに、新たな境界フレームを設定された訓練データを入力することで、前記所定の行動の発生を判定する機械学習モデルを学習する
ことを特徴とする請求項1に記載の訓練データ生成プログラム。
【請求項4】
前記特徴量ベクトル列は、フレームごとの骨格情報から生成される
ことを特徴とする請求項1に記載の訓練データ生成プログラム。
【請求項5】
所定の行動が撮像された2つの訓練データに対して、予め設定された所定の境界フレームを含む所定フレーム数分の前後フレームの特徴量ベクトル列を抽出する抽出部と、
前記抽出部によって抽出された2つの特徴量ベクトル列を用いて特徴量ベクトル列間の類似度行列を算出する第1の算出部と、
前記第1の算出部によって算出された類似度行列を用いたDTW(Dynamic Time Warping)によりフレーム間の対応関係を算出する第2の算出部と、
前記第2の算出部によって算出された対応関係に基づいて、新たな境界フレームを設定された訓練データを生成する生成部と、
を有することを特徴とする情報処理装置。
【請求項6】
所定の行動が撮像された2つの訓練データに対して、予め設定された所定の境界フレームを含む所定フレーム数分の前後フレームの特徴量ベクトル列を抽出し、
該抽出した2つの特徴量ベクトル列を用いて特徴量ベクトル列間の類似度行列を算出し、
該算出した類似度行列を用いたDTW(Dynamic Time Warping)によりフレーム間の対応関係を算出し、
該算出した対応関係に基づいて、新たな境界フレームを設定された訓練データを生成する
処理をコンピュータが実行する訓練データ生成方法。

発明の詳細な説明【技術分野】
【0001】
本発明は、訓練データ生成プログラムなどに関する。
続きを表示(約 1,200 文字)【背景技術】
【0002】
動画中に所定の行動を行っている開始・終了フレームを指定した訓練データを用いた機械学習により、所定の行動の発生を判定する分類器を生成する技術がある。訓練データとして指定される開始・終了フレームは、例えば、人手によって指定される。
【0003】
開始・終了フレームを指定しなくても、所定の行動(ジェスチャ動作)を検出することが可能なジェスチャ検出装置の技術が開示されている(特許文献1参照)。かかる技術では、ジェスチャ検出装置は、撮像データから操作者の手が存在する手領域を特定し、全体画像から手領域を切り取った手領域画像の特徴量と全体画像の特徴量とに基づいてジェスチャ動作が行われているジェスチャ区間を抽出し、ジェスチャ動作を検出する。
【0004】
また、セグメント数が異なるモーションキャプチャデータに対して、DTW(Dynamic Time Warping)による対応関係に基づき、セグメント数が同一になるようにセグメント境界を修正する技術が開示されている(特許文献2参照)。
【先行技術文献】
【特許文献】
【0005】
特開2021-072059号公報
特開2014-215678号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、訓練データを生成する際に、動画中の所定の行動を行っている開始・終了フレームを、手間をかけず正確に指定するのは難しいという問題がある。
【0007】
例えば、訓練データとして開始・終了フレームが人手によって指定される場合には、1フレームごとに開始・終了フレームをチェックすることが必要であるので、手間がかかる。
【0008】
また、開始・終了フレームを指定しないで、所定の行動を検出する技術では、そもそも開始・終了フレームを指定する技術ではない。
【0009】
また、セグメント境界を修正する技術では、セグメント数が同一になるようにセグメント境界を修正するが、開始・終了フレームを正確に指定する技術ではない。
【0010】
なお、動画中の所定の行動を行っている開始・終了フレームを曖昧に指定した訓練データを用いて学習を行うと、適切な分類器が作成できない。例えば、ほとんど同じ特徴量を持った複数のフレームに対して異なる分類ラベルが付与された場合、分類器はこれら複数のフレームを区別するための情報として対象の行動とは全く関係のない些細な違いを採用してしまう。この結果、新規データでは適切な分類ができない分類器が作成されてしまう。つまり、ほとんど同じ特徴量を持つ、換言すれば非常に類似するフレームは同じ分類ラベルが付与されているような訓練データが、適切な分析器を生成するための重要な条件の一つであるといえる。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

富士通株式会社
画像処理方法
2日前
富士通株式会社
基板連結構造
17日前
富士通株式会社
アバター制御
21日前
富士通株式会社
光信号パワー利得
13日前
富士通株式会社
キャッシュメモリ
28日前
富士通株式会社
増幅装置及び増幅方法
3日前
富士通株式会社
演算装置および演算方法
7日前
富士通株式会社
電子装置及び改竄検知方法
今日
富士通株式会社
物体検出システム及び方法
8日前
富士通株式会社
演算回路及び演算処理方法
3日前
富士通株式会社
生成プログラムおよび生成方法
27日前
富士通株式会社
情報処理装置および情報処理方法
24日前
富士通株式会社
光伝送システムでの異常の位置特定
20日前
富士通株式会社
半導体装置及び半導体装置の製造方法
17日前
富士通株式会社
情報処理方法および情報処理プログラム
2日前
富士通株式会社
移相量調整装置、及び、移相量調整方法
10日前
富士通株式会社
病変検出方法および病変検出プログラム
3日前
富士通株式会社
スイッチング電源、増幅装置及び通信装置
2日前
富士通株式会社
車両経路選択問題及びその変形例の経路生成
今日
富士通株式会社
制御プログラム,制御方法及び情報処理装置
28日前
富士通株式会社
クエリ実行方法およびクエリ実行プログラム
10日前
富士通株式会社
3次元人体動的着装モデル推定装置及び方法
21日前
富士通株式会社
物品数量を検出する装置と方法及び電子機器
7日前
富士通株式会社
物品数量を検出する装置と方法及び電子機器
7日前
富士通株式会社
働きかけ表示方法、働きかけ表示プログラム
3日前
富士通株式会社
自動化されたカスタム特徴エンジニアリング
17日前
富士通株式会社
生成プログラム、生成方法および情報処理装置
27日前
富士通株式会社
探索プログラム、探索システム、及び探索方法
27日前
富士通株式会社
予測プログラム、情報処理装置および予測方法
27日前
富士通株式会社
生成プログラム、生成方法および情報処理装置
27日前
富士通株式会社
データ処理装置、プログラム及びデータ処理方法
6日前
富士通株式会社
データ処理装置、プログラム及びデータ処理方法
3日前
富士通株式会社
カスタム特徴量エンジニアリングのための単位予測
16日前
富士通株式会社
光ノード装置、光通信システム、及び波長変換回路
3日前
富士通株式会社
情報処理プログラム、情報処理方法及び情報処理装置
27日前
富士通株式会社
情報処理プログラム、情報処理方法及び情報処理装置
6日前
続きを見る