特許ウォッチ

公開番号2024072180
公報種別公開特許公報(A)
公開日2024-05-27
出願番号2022182896
出願日2022-11-15
発明の名称訓練データ生成プログラム、情報処理装置および訓練データ生成方法
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06V 40/20 20220101AFI20240520BHJP(計算;計数)
要約【課題】訓練データを生成する際に、動画中の所定の行動を行っている開始・終了フレームを、手間をかけず正確に指定する。
【解決手段】情報処理装置1は、所定の行動が撮像された2つの訓練データに対して、予め設定された所定の境界フレームを含む所定フレーム数分の前後フレームの特徴量ベクトル列を抽出し、該抽出した2つの特徴量ベクトル列を用いて特徴量ベクトル列間の類似度行列を算出し、該算出した類似度行列を用いたDTW(Dynamic Time Warping)によりフレーム間の対応関係を算出し、該算出した対応関係に基づいて、新たな境界フレームを設定された訓練データを生成する。例えば、所定の行動を行っている開始・終了フレームを指定した訓練データの生成に適用できる。
【選択図】図1
特許請求の範囲【請求項１】
所定の行動が撮像された２つの訓練データに対して、予め設定された所定の境界フレームを含む所定フレーム数分の前後フレームの特徴量ベクトル列を抽出し、
該抽出した２つの特徴量ベクトル列を用いて特徴量ベクトル列間の類似度行列を算出し、
該算出した類似度行列を用いたＤＴＷ（Dynamic Time Warping）によりフレーム間の対応関係を算出し、
該算出した対応関係に基づいて、新たな境界フレームを設定された訓練データを生成する
処理をコンピュータに実行させる訓練データ生成プログラム。
続きを表示（約 1,400 文字）【請求項２】
該生成する処理は、第１の訓練データと第２の訓練データとを示す２つの訓練データに対するそれぞれの前記予め設定された境界フレームから開始し、前記対応関係に基づいて、前記第１の訓練データにおけるフレームと、前記第２の訓練データにおけるフレームに対応する、前記第１の訓練データにおけるフレームとを比較し、予め定められた前か後かを示す時間方向のフレームを前記第１の訓練データにおける境界フレームの候補とする第１の処理と、
前記対応関係に基づいて、前記第２の訓練データにおけるフレームと、前記第１の訓練データにおける前記境界フレームの候補に対応する、前記第２の訓練データにおけるフレームとを比較し、前記時間方向のフレームを前記第２の訓練データにおける境界フレームの候補とする第２の処理と、
前記対応関係に基づいて、前記第１の訓練データにおけるフレームが前記第２の訓練データにおけるフレームに対応する、前記第１の訓練データにおけるフレームと一致しない場合には、前記第１の処理および前記第２の処理とを繰り返し、
前記第１の訓練データにおけるフレームが前記第２の訓練データにおけるフレームに対応する、前記第１の訓練データにおけるフレームと一致する場合には、前記第１の訓練データにおける境界フレームの候補を新たな境界フレームとした前記第１の訓練データを生成し、前記第２の訓練データにおける境界フレームの候補を新たな境界フレームとした前記第２の訓練データを生成する
ことを特徴とする請求項１に記載の訓練データ生成プログラム。
【請求項３】
さらに、新たな境界フレームを設定された訓練データを入力することで、前記所定の行動の発生を判定する機械学習モデルを学習する
ことを特徴とする請求項１に記載の訓練データ生成プログラム。
【請求項４】
前記特徴量ベクトル列は、フレームごとの骨格情報から生成される
ことを特徴とする請求項１に記載の訓練データ生成プログラム。
【請求項５】
所定の行動が撮像された２つの訓練データに対して、予め設定された所定の境界フレームを含む所定フレーム数分の前後フレームの特徴量ベクトル列を抽出する抽出部と、
前記抽出部によって抽出された２つの特徴量ベクトル列を用いて特徴量ベクトル列間の類似度行列を算出する第１の算出部と、
前記第１の算出部によって算出された類似度行列を用いたＤＴＷ（Dynamic Time Warping）によりフレーム間の対応関係を算出する第２の算出部と、
前記第２の算出部によって算出された対応関係に基づいて、新たな境界フレームを設定された訓練データを生成する生成部と、
を有することを特徴とする情報処理装置。
【請求項６】
所定の行動が撮像された２つの訓練データに対して、予め設定された所定の境界フレームを含む所定フレーム数分の前後フレームの特徴量ベクトル列を抽出し、
該抽出した２つの特徴量ベクトル列を用いて特徴量ベクトル列間の類似度行列を算出し、
該算出した類似度行列を用いたＤＴＷ（Dynamic Time Warping）によりフレーム間の対応関係を算出し、
該算出した対応関係に基づいて、新たな境界フレームを設定された訓練データを生成する
処理をコンピュータが実行する訓練データ生成方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、訓練データ生成プログラムなどに関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
動画中に所定の行動を行っている開始・終了フレームを指定した訓練データを用いた機械学習により、所定の行動の発生を判定する分類器を生成する技術がある。訓練データとして指定される開始・終了フレームは、例えば、人手によって指定される。
【０００３】
開始・終了フレームを指定しなくても、所定の行動（ジェスチャ動作）を検出することが可能なジェスチャ検出装置の技術が開示されている（特許文献１参照）。かかる技術では、ジェスチャ検出装置は、撮像データから操作者の手が存在する手領域を特定し、全体画像から手領域を切り取った手領域画像の特徴量と全体画像の特徴量とに基づいてジェスチャ動作が行われているジェスチャ区間を抽出し、ジェスチャ動作を検出する。
【０００４】
また、セグメント数が異なるモーションキャプチャデータに対して、ＤＴＷ（Dynamic Time Warping）による対応関係に基づき、セグメント数が同一になるようにセグメント境界を修正する技術が開示されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
特開２０２１－０７２０５９号公報
特開２０１４－２１５６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、訓練データを生成する際に、動画中の所定の行動を行っている開始・終了フレームを、手間をかけず正確に指定するのは難しいという問題がある。
【０００７】
例えば、訓練データとして開始・終了フレームが人手によって指定される場合には、１フレームごとに開始・終了フレームをチェックすることが必要であるので、手間がかかる。
【０００８】
また、開始・終了フレームを指定しないで、所定の行動を検出する技術では、そもそも開始・終了フレームを指定する技術ではない。
【０００９】
また、セグメント境界を修正する技術では、セグメント数が同一になるようにセグメント境界を修正するが、開始・終了フレームを正確に指定する技術ではない。
【００１０】
なお、動画中の所定の行動を行っている開始・終了フレームを曖昧に指定した訓練データを用いて学習を行うと、適切な分類器が作成できない。例えば、ほとんど同じ特徴量を持った複数のフレームに対して異なる分類ラベルが付与された場合、分類器はこれら複数のフレームを区別するための情報として対象の行動とは全く関係のない些細な違いを採用してしまう。この結果、新規データでは適切な分類ができない分類器が作成されてしまう。つまり、ほとんど同じ特徴量を持つ、換言すれば非常に類似するフレームは同じ分類ラベルが付与されているような訓練データが、適切な分析器を生成するための重要な条件の一つであるといえる。
（【００１１】以降は省略されています）

関連特許