特許ウォッチ

公開番号2025068411
公報種別公開特許公報(A)
公開日2025-04-28
出願番号2023178303
出願日2023-10-16
発明の名称学習装置、操作情報変換装置及び学習方法
出願人オムロン株式会社,国立大学法人奈良先端科学技術大学院大学
代理人弁理士法人酒井国際特許事務所
主分類G06F 3/01 20060101AFI20250421BHJP(計算;計数)
要約【課題】姿勢入力部位とは異なる構造を有する操作対象でも、ユーザの直感的な操作が可能な操作方法を提供すること。
【解決手段】学習装置は、ユーザの入力姿勢を、ユーザの姿勢入力部位の構造とは異なる構造を有する操作対象の出力姿勢に変換する処理を機械学習する学習装置であって、入力姿勢の時系列変化である入力モーションデータと、入力モーションデータに対応する動作を表す出力姿勢の時系列変化である出力モーションデータとを含む教師データを取得するデータ取得部と、入力モーションデータ及び出力モーションデータのうち、互いに対応する時点の入力姿勢と出力姿勢とのペアデータを用いて学習処理を行い、入力姿勢を入力とし、対応する出力姿勢を出力とする学習済みモデルを生成する学習処理部と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
ユーザの入力姿勢を、前記ユーザの姿勢入力部位の構造とは異なる構造を有する操作対象の出力姿勢に変換する処理を機械学習する学習装置であって、
前記入力姿勢の時系列変化である入力モーションデータと、前記入力モーションデータに対応する動作を表す前記出力姿勢の時系列変化である出力モーションデータとを含む教師データを取得するデータ取得部と、
前記入力モーションデータ及び前記出力モーションデータのうち、互いに対応する時点の前記入力姿勢と前記出力姿勢とのペアデータを用いて学習処理を行い、前記入力姿勢を入力とし、対応する前記出力姿勢を出力とする学習済みモデルを生成する学習処理部と、を備える、
学習装置。
続きを表示（約 1,200 文字）【請求項２】
前記入力姿勢は、前記ユーザの関節の位置情報を含み、
前記出力姿勢は、前記操作対象の関節の位置情報を含み、
前記学習処理部は、前記入力姿勢の関節と、前記出力姿勢の関節とを対応付けて変換する学習済みモデルを生成する、
請求項１に記載の学習装置。
【請求項３】
前記データ取得部は、前記出力モーションデータにより実現された前記操作対象の定義済み動作の提示に対して、前記定義済み動作に対応する動作を表す前記入力姿勢の時系列変化を計測することにより生成された前記入力モーションデータを取得する、
請求項１に記載の学習装置。
【請求項４】
前記入力モーションデータと前記出力モーションデータとの時間ずれを調整する前処理部をさらに備え、
前記学習処理部は、前記前処理部による時間ずれ調整済みの前記ペアデータを用いて前記学習処理を行う、
請求項３に記載の学習装置。
【請求項５】
前記入力姿勢は、前記ユーザの関節である第１関節の位置情報を含み、
前記出力姿勢は、前記操作対象の関節である第２関節の位置情報を含み、
前記前処理部は、前記第１関節及び前記第２関節の関節速度の最大値に基づいて、前記入力モーションデータ及び前記出力モーションデータの時間ずれを調整する処理を行う、
請求項４に記載の学習装置。
【請求項６】
前記学習済みモデルは、前記入力姿勢を前記出力姿勢に変換する変換部と、前記入力姿勢と共に変換処理に供される調整入力データを生成する調整部と、を含み、
前記変換部は、学習処理により決定される固定パラメータを有し、
前記調整部は、学習処理による前記学習済みモデルの生成後に、前記調整入力データを生成するための追加学習が可能な可変パラメータを有する、
請求項１から５のいずれか１項に記載の学習装置。
【請求項７】
前記調整部は、個別の前記ユーザごとに、当該ユーザの前記入力姿勢と前記操作対象の前記出力姿勢とに基づいて、前記可変パラメータを追加学習する、
請求項６に記載の学習装置。
【請求項８】
前記調整部は、個別の操作対象ごとに、当該操作対象の前記出力姿勢と前記ユーザの前記入力姿勢とに基づいて、前記可変パラメータを追加学習する、
請求項６に記載の学習装置。
【請求項９】
前記学習済みモデルは、前記入力姿勢に基づいて変換した前記出力姿勢を出力する出力層を含み、構造の異なる複数種の前記操作対象に応じて複数の前記出力層を切替可能である、
請求項１から５のいずれか１項に記載の学習装置。
【請求項１０】
前記入力モーションデータは、前記ユーザの手の動作であるハンドモーションのデータを含む、
請求項１から５のいずれか１項に記載の学習装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、学習装置、操作情報変換装置及び学習方法に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
ユーザのモーションによって操作対象を操作する技術が知られている。操作対象には、例えば、ゲームやＶＲ（Virtual Reality）の仮想空間におけるキャラクターや、実空間で遠隔操作されるロボットなどが挙げられる。ユーザの姿勢を経時的に計測し、計測した姿勢を操作対象に反映させることで、操作対象が操作される。モーションによる操作対象は、通常、ユーザの姿勢入力部位の構造と類似した構造を有する。例えば、ユーザの全身の姿勢を入力として、人型キャラクターの全身を操作したり、ユーザの手の姿勢を入力として、人型キャラクターの手を操作したりする。姿勢入力部位とは関節の数、配置及び可動範囲などの構造が異なる操作対象を、モーションによって操作することは困難である。入力されるユーザのモーションと、出力としての操作対象のモーションとの対応関係（入力と出力とのマッピング）を適切に決定することが難しいためである。姿勢入力部位とは異なる構造を有する操作対象は、例えば、人間とは構造が異なる動物など非人型構造を有する操作対象である。
【０００３】
非人型構造を有する操作対象を操作する方法として、例えば非特許文献１には、ゾウなどの動物の３次元モデル（アバタ）を操作対象とし、ユーザの両手の各ハンド入力姿勢によって操作対象の操作を行うための操作方法が記載されている。非特許文献１では、右手及び左手の各姿勢と、アバタの関節とを、著者らが手動で対応付けた上で、バイオメカニクスの観点から手の動きやすさを表現した数式に基づいて、対応関係の最適化を図る手法が提案されている。
【先行技術文献】
【非特許文献】
【０００４】
Y. Jiang, Z. Li, M. He, D. Lindlbauer, and Y. Yan, “HandAvatar: Embodying Non-Humanoid Virtual Avatars through Hands”, Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, USA, Association for Computing Machinery, Apr.2023, p.1－17. [online]＜URL:https://doi.org/10.1145/3544548.3581027＞,[令和5年9月21日検索]
【発明の概要】
【発明が解決しようとする課題】
【０００５】
モーションによる操作性の観点では、ユーザが想定している入力出力の対応関係と、操作システムが実際に演算に用いている対応関係との間で、差異が小さいことが重要となる。上記非特許文献１による対応関係の決定手法では、ユーザが想定する対応関係、すなわちユーザの直感的な操作イメージを考慮することができない。直感的な操作イメージと異なる操作方法をユーザが利用する場合、その操作方法の習得に要する時間や作業量が増大する。そのため、姿勢入力部位とは異なる構造を有する操作対象でも、ユーザの直感的な操作が可能な操作方法を提供することが望まれる。
【０００６】
本発明は、上記に鑑みてなされたものであり、姿勢入力部位とは異なる構造を有する操作対象でも、ユーザの直感的な操作が可能な操作方法を提供することが可能な学習装置、操作情報変換装置及び学習方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る学習装置は、ユーザの入力姿勢を、ユーザの姿勢入力部位の構造とは異なる構造を有する操作対象の出力姿勢に変換する処理を機械学習する学習装置であって、入力姿勢の時系列変化である入力モーションデータと、入力モーションデータに対応する動作を表す出力姿勢の時系列変化である出力モーションデータとを含む教師データを取得するデータ取得部と、入力モーションデータ及び出力モーションデータのうち、互いに対応する時点の入力姿勢と出力姿勢とのペアデータを用いて学習処理を行い、入力姿勢を入力とし、対応する出力姿勢を出力とする学習済みモデルを生成する学習処理部と、を備える。
【０００８】
本発明に係る操作情報変換装置は、ユーザの入力姿勢を、ユーザの姿勢入力部位の構造とは異なる構造を有する操作対象の出力姿勢に変換する操作情報変換装置であって、ユーザの入力姿勢を取得する入力部と、入力姿勢の時系列変化である入力モーションデータと、入力モーションデータに対応する動作を表す出力姿勢の時系列変化である出力モーションデータとのうち、互いに対応する時点の入力姿勢と出力姿勢とのペアデータを用いて、入力姿勢を入力とし、対応する出力姿勢を出力とする処理を学習した学習済みモデルを用いて、入力部に入力された入力姿勢から出力姿勢を生成する操作情報生成部と、生成した出力姿勢を出力する出力部と、を備える。
【０００９】
本発明に係る学習方法は、ユーザの入力姿勢を、ユーザの姿勢入力部位の構造とは異なる構造を有する操作対象の出力姿勢に変換する処理を機械学習する学習方法であって、入力姿勢の時系列変化である入力モーションデータと、入力モーションデータに対応する動作を表す出力姿勢の時系列変化である出力モーションデータとを含む教師データを取得するステップと、入力モーションデータ及び出力モーションデータのうち、互いに対応する時点の入力姿勢と出力姿勢とのペアデータを用いて学習処理を行い、入力姿勢を入力とし、対応する出力姿勢を出力とする学習済みモデルを生成するステップと、を備える。
【発明の効果】
【００１０】
本発明によれば、姿勢入力部位とは異なる構造を有する操作対象でも、ユーザの直感的な操作が可能な操作方法を提供することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許