特許ウォッチ

公開番号2025012742
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023115813
出願日2023-07-14
発明の名称動作生成装置、動作生成モデル学習装置、及びプログラム
出願人日本電信電話株式会社,国立大学法人東京大学
代理人弁理士法人志賀国際特許事務所
主分類G06N 3/0455 20230101AFI20250117BHJP(計算;計数)
要約【課題】本発明は、フレームレベルでイベントに応じた動作生成が可能となる動作生成装置、動作生成モデル学習装置、及びプログラムを提供することを目的としている。
【解決手段】動作生成装置は、潜在変数を求めるエンコーダと、潜在変数から動作を生成するデコーダと、を備え、潜在変数は、フレームレベルのイベント編集を実現するため、イベントごとに遷移するように制約が与えられている。
【選択図】図1
特許請求の範囲【請求項１】
潜在変数を求めるエンコーダと、
前記潜在変数から動作を生成するデコーダと、を備え、
前記潜在変数は、フレームレベルのイベント編集を実現するため、イベントごとに遷移するように制約が与えられている、動作生成装置。
続きを表示（約 1,300 文字）【請求項２】
前記エンコーダは、テキストから前記潜在変数を求め、
前記テキストから動作を生成する、請求項１に記載の動作生成装置。
【請求項３】
前記エンコーダは、動作から前記潜在変数を求め、
前記動作から動作を再構成する、請求項１に記載の動作生成装置。
【請求項４】
前記潜在変数の時間方向の長さを調整することで前記イベントのフレーム数を変え、
または、前記潜在変数の値を変えることで前記イベントの特性を変え、
あるいは、第１の前記潜在変数と第２の前記潜在変数の間に新たな潜在変数を挿入することで新たなイベントの挿入を行うことで生成対象を編集できる、請求項１に記載の動作生成装置。
【請求項５】
学習データは、テキストと動作のペアデータであり、
前記動作から第１の潜在変数を推定する動作エンコーダと、
推定された前記第１の潜在変数から動作を再構成するデコーダと、
前記テキストから第２の潜在変数を推定するテキストエンコーダと、
学習部と、を備え、
前記学習部は、
前記第１の潜在変数から動作を再構成した時に、前記動作エンコーダの入力動作と前記デコーダの出力動作が近づくようにする学習と、
前記第２の潜在変数を推定した時に、前記第１の潜在変数と前記第２の潜在変数が近づくようにする学習と、を同時に行うことによって前記第１の潜在変数と前記第２の潜在変数を最適化する、
動作生成モデル学習装置。
【請求項６】
前記学習部は、
前記潜在変数の学習の際に、前記潜在変数の切り替えに対して、切り替えが必要な時のみ遷移を許容される制約を課しながら学習する、請求項５に記載の動作生成モデル学習装置。
【請求項７】
前記学習部は、
前記第１の潜在変数に関する第１の損失関数と、
前記デコーダの再構成に関する第２の損失関数と、
前記動作エンコーダが求めた第１の潜在変数と、前記テキストエンコーダが求めた前記第２の潜在変数との差異を表す第３の損失関数と、
前記潜在変数の事前分布と事後分布の分布間距離を表す第４の損失関数と、
前記動作のフレーム長を予測するための第５の損失関数と、
前記第１の潜在変数の系列と、前記第２の潜在変数の系列に対して、前記動作と前記テキストが対応するデータから得られたものの場合は近づくようにし、前記動作と前記テキストが対応しないデータから得られたものの場合は離れるようにする第６の損失関数と、
のうち少なくとも１つの前記損失関数を最小化するように最適化を行い、前記第１の潜在変数と前記第２の潜在変数を最適化する、請求項５に記載の動作生成モデル学習装置。
【請求項８】
動作生成装置のコンピュータに、
潜在変数を求めさせ、
前記潜在変数から動作を生成させ、
前記潜在変数は、フレームレベルのイベント編集を実現するため、イベントごとに遷移するように制約が与えられている、
プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、動作生成装置、動作生成モデル学習装置、及びプログラムの技術に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
入力テキストに応じて動作を生成する技術がある（例えば非特許文献１参照）。非特許文献１に記載の技術では、テキストと動作のペアデータから構成された学習データを用いてテキストと動作の関係を学習することで、入力されたテキストに対応した動作を生成する。これにより、非特許文献１に記載の技術では、複数動作を含む時系列データ（例えば「ある人が歩いていた。彼は，突然止まって、物を拾い上げた。」など）をテキストに基づき生成できる。
【先行技術文献】
【非特許文献】
【０００３】
Chuan Guo, Shihao Zou, Xinxin Zuo, et al., “Generating Diverse and Natural 3D Human Motions from Text”, in Proc. CVPR, 2022
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、個々のイベントをフレームレベルで個別に編集するということは考慮されておらず、フレームレベルのイベントに応じた動作生成への対応が簡単ではないという問題があった。
【０００５】
上記事情に鑑み、本発明は、フレームレベルでイベントに応じた動作生成が可能となる動作生成装置、動作生成モデル学習装置、及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、潜在変数を求めるエンコーダと、前記潜在変数から動作を生成するデコーダと、を備え、前記潜在変数は、フレームレベルのイベント編集を実現するため、イベントごとに遷移するように制約が与えられている、動作生成装置である。
【０００７】
本発明の一態様は、学習データは、テキストと動作のペアデータであり、前記動作から第１の潜在変数を推定する動作エンコーダと、推定された前記第１の潜在変数から動作を再構成するデコーダと、前記テキストから第２の潜在変数を推定するテキストエンコーダと、学習部と、を備え、前記学習部は、前記第１の潜在変数から動作を再構成した時に、前記動作エンコーダの入力動作と前記デコーダの出力動作が近づくようにする学習と、前記第２の潜在変数を推定した時に、前記第１の潜在変数と前記第２の潜在変数が近づくようにする学習と、を同時に行うことによって前記第１の潜在変数と前記第２の潜在変数を最適化する、動作生成モデル学習装置である。
【０００８】
本発明の一態様は、動作生成装置のコンピュータに、潜在変数を求めさせ、前記潜在変数から動作を生成させ、前記潜在変数は、フレームレベルのイベント編集を実現するため、イベントごとに遷移するように制約が与えられている、プログラムである。
【発明の効果】
【０００９】
本発明により、フレームレベルでイベントに応じた動作生成が可能となる。
【図面の簡単な説明】
【００１０】
実施形態の動作生成装置の構成例を示す図である。
イベント表現を示す図である。
実施形態における動作生成モデルの学習方法例の概要を示す図である。
実施形態における動作生成モデルの学習方法例を示す図である。
ｃ
ｄ
１：Ｌ
とｃ’
ｄ
１：Ｌ
の概念的なイメージ図である。
実施形態における学習済み動作生成モデルを用いた動作の生成方法の手順を示す図である。
実施形態におけるテキストからの動作生成の処理手順を示す図である。
実施形態における動作から動作の再構成の処理手順を示す図である。
実施形態の方法でテキストから作成した動作例を示す図である。
テキストｃ
ｐｒｉ
１：Ｌ’
から推定されたイベント表現列から得られる[ｃ
ｐｒｉ
１
，ｃ
ｐｒｉ
１
，…，ｃ
ｐｒｉ
Ｌ’－１
，ｃ
ｐｒｉ
Ｌ’－１
，ｃ
ｐｒｉ
Ｌ’
]を用いて実施形態の方法で編集された動作を示す図である。
オリジナルの動作を示す図である。
図１１のオリジナル動作の５５～６８番目のフレームのセグメントを、５５～１１０番目のフレームに拡張した図である。
「イベントの特性の編集」方法で、イベントの特性の編集を行った結果を示す図である。
追加されるイベント表現が１つだけのモーションセグメントを示す図である。
「新規イベントの挿入」方法で、図１１の１４６番目のフレームに図１４のイベントを挿入した結果を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許