TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024070829
公報種別公開特許公報(A)
公開日2024-05-23
出願番号2023188138
出願日2023-11-02
発明の名称アバター制御
出願人富士通株式会社,カーネギー-メロン ユニバーシティ,CARNEGIE-MELLON UNIVERSITY
代理人個人,個人
主分類G06T 7/00 20170101AFI20240516BHJP(計算;計数)
要約【課題】 アバター制御の方法及びシステムを提供する。
【解決手段】 一例において、方法は、データソースから、各々人間の顔を含む複数のフレームを含む第1データを取得することを含んでよい。方法は、複数のフレームの各々において、1つ以上の顔のランドマーク及び人間の顔に関連する1つ以上のアクションユニット(AU)を自動的に検出することを含んでよい。方法はまた、少なくとも1つ以上の顔のランドマークに基づいて、1つ以上の意味マスク、すなわち人間の顔に個別に対応する1つ以上の意味マスクを自動的に生成することを含んでよい。方法はさらに、少なくとも第1データ、1つ以上のAU、及び意味マスクを使用して、顔ハイパースペースを得ることを含んでよい。方法はまた、複数のフレームの第1フレーム、及び1つ以上のAUに個別に関連付けられた1つ以上のAU強度を使用して、人間の顔の合成画像を生成することを含んでよい。
【選択図】 図1
特許請求の範囲【請求項1】
データソースから、各々が人間の顔を含む複数のフレームを含む第1データを取得するステップと、
前記複数のフレームの各々において、1つ以上の顔のランドマーク及び前記人間の顔に関連付けられた1つ以上のアクションユニット(AU)を自動的に検出するステップと、
少なくとも前記1つ以上の顔のランドマークに基づいて、1つ以上の意味マスクを自動的に生成するステップであって、前記1つ以上の意味マスクは前記人間の顔に個別に対応する、ステップと、
少なくとも前記第1データ、前記1つ以上のAU、及び前記意味マスクを使用して、顔ハイパースペースを構築するステップと、
前記複数のフレームのうちの第1フレームと、前記1つ以上のAUに個別に関連付けられた1つ以上のAU強度とを使用して、前記人間の顔の合成画像を生成するステップと、
を含む方法。
続きを表示(約 1,300 文字)【請求項2】
前記合成画像を表示装置上で表示するステップであって、前記合成画像は前記人間の顔を描写する、ステップと、
を更に含む請求項1に記載の方法。
【請求項3】
前記AU強度を最小強度値及び最大強度値に基づいて正規化するステップ、
を更に含む請求項1に記載の方法。
【請求項4】
前記1つ以上のAU強度に対する第1修正が、前記合成画像に関連する顔の表情に対する第2修正を引き起こす、請求項1に記載の方法。
【請求項5】
前記1つ以上のAUが、前記1つ以上の意味マスクの境界に対する前記1つ以上のAUの位置に基づいて、前記1つ以上の意味マスクに個別に割り当てられる、請求項1に記載の方法。
【請求項6】
前記第1データがスローモーションビデオ記録であり、前記データソースが単一のビデオ記録装置である、請求項1に記載の方法。
【請求項7】
前記顔ハイパースペースを構築するステップが、前記第1データ、前記1つ以上のAU、及び前記意味マスクをネットワークアーキテクチャに入力するステップを含む、請求項1に記載の方法。
【請求項8】
前記ネットワークアーキテクチャが、少なくとも潜在ニューラルネットワーク、座標ニューラルネットワーク、ハイパースペースニューラルネットワーク、及び属性ニューラルネットワークを含む、請求項7に記載の方法。
【請求項9】
前記ネットワークアーキテクチャは、前記第1データ、前記1つ以上のAU、及び前記意味マスクを使用して最初にトレーニングされ、前記ネットワークアーキテクチャは、その後、前記第1データ及び前記AU強度を使用して前記合成画像を生成する、請求項7に記載の方法。
【請求項10】
システムであって、
命令を格納するよう構成される1つ以上のコンピュータ可読記憶媒体と、
前記1つ以上のコンピュータ可読記憶媒体に通信可能に結合され、前記命令の実行に応答して前記システムに動作を実行させるよう構成される1つ以上のプロセッサと、
を含み、前記動作は、
データソースから、各々が人間の顔を含む複数のフレームを含む第1データを取得するステップと、
前記複数のフレームの各々において、1つ以上の顔のランドマーク及び前記人間の顔に関連付けられた1つ以上のアクションユニット(AU)を自動的に検出するステップと、
少なくとも前記1つ以上の顔のランドマークに基づいて、1つ以上の意味マスクを自動的に生成するステップであって、前記1つ以上の意味マスクは前記人間の顔に個別に対応する、ステップと、
少なくとも前記第1データ、前記1つ以上のAU、及び前記意味マスクを使用して、顔ハイパースペースを構築するステップと、
前記複数のフレームのうちの第1フレームと、前記1つ以上のAUに個別に関連付けられた1つ以上のAU強度とを使用して、前記人間の顔の合成画像を生成するステップと、
を含むシステム。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
[関連出願]
本願は、参照により全体がここに組み込まれる米国仮特許出願第63/383,472号、2022年11月11日出願名称「AVATAR CONTROL METHOD」、の利益を主張する。
続きを表示(約 1,200 文字)【0002】
[技術分野]
本開示において議論される実施形態はアバター制御に関連する。
【背景技術】
【0003】
マシンビジョンは、2D観察を用いた3Dオブジェクトの決定を含め、それに関する機能と精度において進歩を続けている。ニューラルネットワークから合成された3Dオブジェクトの表現の中には、合成された3Dオブジェクトが時間の変化を表示するような動的なものもある。状況によっては、合成された3Dオブジェクトのレンダリングに加えて、3Dオブジェクトの制御が複雑になることもある。代替的に、又は追加的に、合成された3Dオブジェクトの操作は、合成された3Dオブジェクトの独立した制御が利用できないように、合成された3Dオブジェクトの関連する側面間の運動に制限されることがある。
【0004】
本願明細書で請求される主題は、任意の欠点を解決する実施形態又は上述のような環境でのみ動作する実施形態に限定されない。むしろ、この背景技術は、本願明細書に記載の幾つかの実施形態が実施され得る一例である技術領域を説明するためにのみ提供される。
【発明の概要】
【0005】
実施形態の態様によると、方法は、データソースから、各々人間の顔を含む複数のフレームを含む第1データを取得することを含んでよい。方法は、複数のフレームの各々において、1つ以上の顔のランドマーク及び人間の顔に関連する1つ以上のアクションユニット(AU)を自動的に検出することを更に含んでよい。方法は、少なくとも1つ以上の顔のランドマークに基づいて、1つ以上の意味マスク、すなわち人間の顔に個別に対応する1つ以上の意味マスクを自動的に生成することを更に含んでよい。方法は、少なくとも第1データ、1つ以上のAU、及び意味マスクを使用して、顔ハイパースペース(facial hyperspace)を得ることを更に含んでよい。方法は、複数のフレームの第1フレーム、及び1つ以上のAUに個別に関連付けられた1つ以上のAU強度を使用して、人間の顔の合成画像を生成することを更に含んでよい。
【0006】
実施形態の目的及び利点は、請求項において特に指摘される要素、特徴、及び組み合わせにより少なくとも実現され達成される。
【0007】
前述の一般的説明及び以下の詳細な説明は両方とも例として与えられ、説明のためであり、請求される本発明の限定ではない。
【図面の簡単な説明】
【0008】
例示的な実施形態は、以下の添付の図面の使用を通じて更なる特殊性及び詳細事項により記載され説明される。
【0009】
アバター制御をサポートするように構成された例示的な環境のブロック図である。
【0010】
アバター制御をサポートするように構成された例示的なネットワークアーキテクチャのブロック図である。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

富士通株式会社
画像処理方法
2日前
富士通株式会社
アバター制御
21日前
富士通株式会社
基板連結構造
17日前
富士通株式会社
キャッシュメモリ
28日前
富士通株式会社
光信号パワー利得
13日前
富士通株式会社
増幅装置及び増幅方法
3日前
富士通株式会社
演算装置および演算方法
7日前
富士通株式会社
演算回路及び演算処理方法
3日前
富士通株式会社
物体検出システム及び方法
8日前
富士通株式会社
生成プログラムおよび生成方法
27日前
富士通株式会社
情報処理装置および情報処理方法
24日前
富士通株式会社
光伝送システムでの異常の位置特定
20日前
富士通株式会社
半導体装置及び半導体装置の製造方法
17日前
富士通株式会社
業務管理プログラム、装置、及び方法
1か月前
富士通株式会社
移相量調整装置、及び、移相量調整方法
10日前
富士通株式会社
情報処理方法および情報処理プログラム
2日前
富士通株式会社
病変検出方法および病変検出プログラム
3日前
富士通株式会社
スイッチング電源、増幅装置及び通信装置
2日前
富士通株式会社
物品数量を検出する装置と方法及び電子機器
7日前
富士通株式会社
物品数量を検出する装置と方法及び電子機器
7日前
富士通株式会社
働きかけ表示方法、働きかけ表示プログラム
3日前
富士通株式会社
3次元人体動的着装モデル推定装置及び方法
21日前
富士通株式会社
クエリ実行方法およびクエリ実行プログラム
10日前
富士通株式会社
制御プログラム,制御方法及び情報処理装置
28日前
富士通株式会社
自動化されたカスタム特徴エンジニアリング
17日前
富士通株式会社
生成プログラム、生成方法および情報処理装置
27日前
富士通株式会社
生成プログラム、生成方法および情報処理装置
27日前
富士通株式会社
探索プログラム、探索システム、及び探索方法
27日前
富士通株式会社
出力プログラム、出力方法および情報処理装置
1か月前
富士通株式会社
予測プログラム、情報処理装置および予測方法
27日前
富士通株式会社
出力プログラム、出力方法、および情報処理装置
1か月前
富士通株式会社
データ処理装置、プログラム及びデータ処理方法
3日前
富士通株式会社
データ処理装置、プログラム及びデータ処理方法
6日前
富士通株式会社
カスタム特徴量エンジニアリングのための単位予測
16日前
富士通株式会社
表示プログラム及び表示方法、並びに情報処理装置
1か月前
富士通株式会社
光ノード装置、光通信システム、及び波長変換回路
3日前
続きを見る