特許ウォッチ

公開番号2025112399
公報種別公開特許公報(A)
公開日2025-08-01
出願番号2024006595
出願日2024-01-19
発明の名称プログラム、情報処理装置および情報処理方法
出願人株式会社東芝
代理人弁理士法人酒井国際特許事務所
主分類G06N 5/04 20230101AFI20250725BHJP(計算;計数)
要約【課題】機械学習モデルを用いた処理の精度を向上させつつ、計算量の増加を抑制する。
【解決手段】取得、算出、選択および学習推論の各ステップをコンピュータに実行させるためのプログラムである。取得ステップは、相互に種類が異なる1つ以上の第1時系列データと、第1時系列データと種類が異なりかつ相互に種類が異なる1つ以上の第2時系列データとを取得する。算出ステップは、第1時系列データに含まれる複数の第1フレームそれぞれについて、第1時系列データを入力する第1モデルによる推論で注目される度合いを表す注目度を算出する。選択ステップは、注目度を用いて、第2時系列データからN個の第2フレームを選択する。学習推論ステップは、第1時系列データに基づく情報と、選択されたN個の第2フレームに基づく情報と、を用いて、推論を実行する第2モデルの学習または推論を実行する。
【選択図】図1
特許請求の範囲【請求項１】
コンピュータに、
相互に種類が異なる１つ以上の第１時系列データと、前記第１時系列データと種類が異なり、かつ、相互に種類が異なる１つ以上の第２時系列データと、を取得する取得ステップと、
前記第１時系列データに含まれる複数の第１フレームそれぞれについて、前記第１時系列データを入力して推論を実行する第１モデルによる前記推論で注目される度合いを表す注目度を算出する算出ステップと、
前記注目度を用いて、前記第２時系列データから、Ｎ個（Ｎは１以上の整数）の第２フレームを選択する選択ステップと、
前記第１時系列データに基づく情報と、選択されたＮ個の前記第２フレームに基づく情報と、を用いて、前記推論を実行する第２モデルの学習または前記推論を実行する学習推論ステップと、
を実行させるためのプログラム。
続きを表示（約 1,200 文字）【請求項２】
前記第１モデルは、前記第１時系列データを入力して、前記第１時系列データの特徴を表す第１特徴量を前記推論の結果として出力し、
前記第２モデルは、前記第１特徴量と、Ｎ個の前記第２フレームの特徴を表す第２特徴量と、を入力して、前記推論の結果を出力する、
請求項１に記載のプログラム。
【請求項３】
前記第２モデルは、前記第１モデルが出力する前記推論の結果である第１推論結果と、選択されたＮ個の前記第２フレームを入力して前記推論を実行する第３モデルによる前記推論の結果である第２推論結果と、を入力して、前記推論の結果を出力する、
請求項１に記載のプログラム。
【請求項４】
前記第１時系列データと、前記第２時系列データとは、開始時刻および終了時刻が一致する、
請求項１に記載のプログラム。
【請求項５】
前記第１モデルは、複数の前記第１フレームそれぞれについて、時間方向の注目度を含む前記推論の結果を出力するモデルであり、
前記算出ステップは、前記第１モデルを用いて前記時間方向の注目度を算出する、
請求項１に記載のプログラム。
【請求項６】
前記学習推論ステップは、前記第２モデルの学習とともに、前記第１モデルの学習を実行し、
前記算出ステップは、前記学習推論ステップにより学習が実行される場合、前記第２モデルとともに学習中の前記第１モデルを用いて前記時間方向の注目度を算出する、
請求項５に記載のプログラム。
【請求項７】
前記第２時系列データは、前記第２時系列データよりデータ量が大きい、
請求項１に記載のプログラム。
【請求項８】
前記選択ステップは、複数の前記第１フレームのうち前記注目度が最大である前記第１フレームと同じ時刻の前記第２フレームを選択する、
請求項１に記載のプログラム。
【請求項９】
前記取得ステップは、２つ以上の前記第２時系列データを取得し、
前記選択ステップは、２つ以上の前記第２時系列データそれぞれから、Ｎ個の前記第２フレームを選択する、
請求項１に記載のプログラム。
【請求項１０】
前記取得ステップは、２つ以上の前記第１時系列データを取得し、
前記算出ステップは、２つ以上の前記第１時系列データそれぞれについて、前記注目度を算出し、
前記選択ステップは、
２つ以上の前記第１時系列データについて算出された２つ以上の前記注目度のうち値が大きい前記注目度に対応する前記第１フレームと同じ時刻の前記第２フレームを選択する、
または、
２つ以上の前記第１時系列データについて算出された２つ以上の前記注目度に基づいて算出される統合注目度が最大である前記第１フレームと同じ時刻の前記第２フレームを選択する、
請求項１に記載のプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、プログラム、情報処理装置および情報処理方法に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
機械学習モデルに対して時系列データ（シーケンスデータ）を入力し、各種の推論を実行する技術が提案されている。機械学習モデルは、例えば、深層学習モデル（ディープラーニングモデル）である。例えば、人物などの移動体を撮像した映像データ、または、映像データを解析して得られる骨格シーケンスデータなどを入力し、移動体の動作（人物の行動など）を推論するモデルが提案されている。
【０００３】
複数の種類の時系列データを用いて推論を実行すれば、推論の精度が向上することが期待される。一方、時系列データは複数の時刻のデータ（フレーム）を含むデータであるため、複数の時系列データを用いる構成では、機械学習モデルによる推論および学習などの処理の計算量が増加するおそれがある。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－１６８６３２号公報
【非特許文献】
【０００５】
Bruce et al.，“Skeleton Focused Human Activity Recognition in RGB Video”, in arXiv: 29 Apr 2020．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、機械学習モデルを用いた処理の精度を向上させつつ、計算量の増加を抑制することができるプログラム、情報処理装置および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態のプログラムは、取得、算出、選択および学習推論の各ステップをコンピュータに実行させるためのプログラムである。取得ステップは、相互に種類が異なる１つ以上の第１時系列データと、第１時系列データと種類が異なりかつ相互に種類が異なる１つ以上の第２時系列データとを取得する。算出ステップは、第１時系列データに含まれる複数の第１フレームそれぞれについて、第１時系列データを入力する第１モデルによる推論で注目される度合いを表す注目度を算出する。選択ステップは、注目度を用いて、第２時系列データからＮ個の第２フレームを選択する。学習推論ステップは、第１時系列データに基づく情報と、選択されたＮ個の第２フレームに基づく情報と、を用いて、推論を実行する第２モデルの学習または推論を実行する。
【図面の簡単な説明】
【０００８】
第１の実施形態の情報処理装置のブロック図。
取得される時系列データの例を示す図。
注目度が最大となるフレームが１つの場合の例を示す図。
選択方法を適用する例を示す図。
選択方法を適用する例を示す図。
第１の実施形態の学習推論部のブロック図。
第１の実施形態における情報処理のフローチャート。
出力制御部による推論結果の出力例を示す図。
第２の実施形態の情報処理装置のブロック図。
第２の実施形態の学習推論部のブロック図。
第３の実施形態の情報処理装置のブロック図。
第３の実施形態の学習推論部のブロック図。
第１から第３の実施形態の情報処理装置のハードウェア構成図。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、この発明にかかる情報処理装置の好適な実施形態を詳細に説明する。
【００１０】
以下では、複数の種類の時系列データ（シーケンスデータ）を入力して、人物の行動を推定（推論）するモデルを用いる構成の例を主に説明する。以下の実施形態が適用可能な推論は、このような人物の行動推定に限られず、時系列データを用いたどのような推論であってもよい。例えば、動物およびロボットなどの人物以外の移動体の動作を推定する構成であってもよい。
（【００１１】以降は省略されています）

関連特許