特許ウォッチ

公開番号2024070829
公報種別公開特許公報(A)
公開日2024-05-23
出願番号2023188138
出願日2023-11-02
発明の名称アバター制御
出願人富士通株式会社,カーネギー-メロンユニバーシティ,CARNEGIE-MELLON UNIVERSITY
代理人個人,個人
主分類G06T 7/00 20170101AFI20240516BHJP(計算;計数)
要約【課題】アバター制御の方法及びシステムを提供する。
【解決手段】一例において、方法は、データソースから、各々人間の顔を含む複数のフレームを含む第1データを取得することを含んでよい。方法は、複数のフレームの各々において、1つ以上の顔のランドマーク及び人間の顔に関連する1つ以上のアクションユニット(AU)を自動的に検出することを含んでよい。方法はまた、少なくとも1つ以上の顔のランドマークに基づいて、1つ以上の意味マスク、すなわち人間の顔に個別に対応する1つ以上の意味マスクを自動的に生成することを含んでよい。方法はさらに、少なくとも第1データ、1つ以上のAU、及び意味マスクを使用して、顔ハイパースペースを得ることを含んでよい。方法はまた、複数のフレームの第1フレーム、及び1つ以上のAUに個別に関連付けられた1つ以上のAU強度を使用して、人間の顔の合成画像を生成することを含んでよい。
【選択図】図1
特許請求の範囲【請求項１】
データソースから、各々が人間の顔を含む複数のフレームを含む第１データを取得するステップと、
前記複数のフレームの各々において、１つ以上の顔のランドマーク及び前記人間の顔に関連付けられた１つ以上のアクションユニット（AU）を自動的に検出するステップと、
少なくとも前記１つ以上の顔のランドマークに基づいて、１つ以上の意味マスクを自動的に生成するステップであって、前記１つ以上の意味マスクは前記人間の顔に個別に対応する、ステップと、
少なくとも前記第１データ、前記１つ以上のAU、及び前記意味マスクを使用して、顔ハイパースペースを構築するステップと、
前記複数のフレームのうちの第１フレームと、前記１つ以上のAUに個別に関連付けられた１つ以上のAU強度とを使用して、前記人間の顔の合成画像を生成するステップと、
を含む方法。
続きを表示（約 1,300 文字）【請求項２】
前記合成画像を表示装置上で表示するステップであって、前記合成画像は前記人間の顔を描写する、ステップと、
を更に含む請求項１に記載の方法。
【請求項３】
前記AU強度を最小強度値及び最大強度値に基づいて正規化するステップ、
を更に含む請求項１に記載の方法。
【請求項４】
前記１つ以上のAU強度に対する第１修正が、前記合成画像に関連する顔の表情に対する第２修正を引き起こす、請求項１に記載の方法。
【請求項５】
前記１つ以上のAUが、前記１つ以上の意味マスクの境界に対する前記１つ以上のAUの位置に基づいて、前記１つ以上の意味マスクに個別に割り当てられる、請求項１に記載の方法。
【請求項６】
前記第１データがスローモーションビデオ記録であり、前記データソースが単一のビデオ記録装置である、請求項１に記載の方法。
【請求項７】
前記顔ハイパースペースを構築するステップが、前記第１データ、前記１つ以上のAU、及び前記意味マスクをネットワークアーキテクチャに入力するステップを含む、請求項１に記載の方法。
【請求項８】
前記ネットワークアーキテクチャが、少なくとも潜在ニューラルネットワーク、座標ニューラルネットワーク、ハイパースペースニューラルネットワーク、及び属性ニューラルネットワークを含む、請求項７に記載の方法。
【請求項９】
前記ネットワークアーキテクチャは、前記第１データ、前記１つ以上のAU、及び前記意味マスクを使用して最初にトレーニングされ、前記ネットワークアーキテクチャは、その後、前記第１データ及び前記AU強度を使用して前記合成画像を生成する、請求項７に記載の方法。
【請求項１０】
システムであって、
命令を格納するよう構成される１つ以上のコンピュータ可読記憶媒体と、
前記１つ以上のコンピュータ可読記憶媒体に通信可能に結合され、前記命令の実行に応答して前記システムに動作を実行させるよう構成される１つ以上のプロセッサと、
を含み、前記動作は、
データソースから、各々が人間の顔を含む複数のフレームを含む第１データを取得するステップと、
前記複数のフレームの各々において、１つ以上の顔のランドマーク及び前記人間の顔に関連付けられた１つ以上のアクションユニット（AU）を自動的に検出するステップと、
少なくとも前記１つ以上の顔のランドマークに基づいて、１つ以上の意味マスクを自動的に生成するステップであって、前記１つ以上の意味マスクは前記人間の顔に個別に対応する、ステップと、
少なくとも前記第１データ、前記１つ以上のAU、及び前記意味マスクを使用して、顔ハイパースペースを構築するステップと、
前記複数のフレームのうちの第１フレームと、前記１つ以上のAUに個別に関連付けられた１つ以上のAU強度とを使用して、前記人間の顔の合成画像を生成するステップと、
を含むシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
［関連出願］
本願は、参照により全体がここに組み込まれる米国仮特許出願第６３／３８３，４７２号、２０２２年１１月１１日出願名称「AVATAR CONTROL METHOD」、の利益を主張する。
続きを表示（約 1,200 文字）【０００２】
［技術分野］
本開示において議論される実施形態はアバター制御に関連する。
【背景技術】
【０００３】
マシンビジョンは、２D観察を用いた３Dオブジェクトの決定を含め、それに関する機能と精度において進歩を続けている。ニューラルネットワークから合成された３Dオブジェクトの表現の中には、合成された３Dオブジェクトが時間の変化を表示するような動的なものもある。状況によっては、合成された３Dオブジェクトのレンダリングに加えて、３Dオブジェクトの制御が複雑になることもある。代替的に、又は追加的に、合成された３Dオブジェクトの操作は、合成された３Dオブジェクトの独立した制御が利用できないように、合成された３Dオブジェクトの関連する側面間の運動に制限されることがある。
【０００４】
本願明細書で請求される主題は、任意の欠点を解決する実施形態又は上述のような環境でのみ動作する実施形態に限定されない。むしろ、この背景技術は、本願明細書に記載の幾つかの実施形態が実施され得る一例である技術領域を説明するためにのみ提供される。
【発明の概要】
【０００５】
実施形態の態様によると、方法は、データソースから、各々人間の顔を含む複数のフレームを含む第１データを取得することを含んでよい。方法は、複数のフレームの各々において、１つ以上の顔のランドマーク及び人間の顔に関連する１つ以上のアクションユニット（AU）を自動的に検出することを更に含んでよい。方法は、少なくとも１つ以上の顔のランドマークに基づいて、１つ以上の意味マスク、すなわち人間の顔に個別に対応する１つ以上の意味マスクを自動的に生成することを更に含んでよい。方法は、少なくとも第１データ、１つ以上のAU、及び意味マスクを使用して、顔ハイパースペース（facial hyperspace）を得ることを更に含んでよい。方法は、複数のフレームの第１フレーム、及び１つ以上のAUに個別に関連付けられた１つ以上のAU強度を使用して、人間の顔の合成画像を生成することを更に含んでよい。
【０００６】
実施形態の目的及び利点は、請求項において特に指摘される要素、特徴、及び組み合わせにより少なくとも実現され達成される。
【０００７】
前述の一般的説明及び以下の詳細な説明は両方とも例として与えられ、説明のためであり、請求される本発明の限定ではない。
【図面の簡単な説明】
【０００８】
例示的な実施形態は、以下の添付の図面の使用を通じて更なる特殊性及び詳細事項により記載され説明される。
【０００９】
アバター制御をサポートするように構成された例示的な環境のブロック図である。
【００１０】
アバター制御をサポートするように構成された例示的なネットワークアーキテクチャのブロック図である。
（【００１１】以降は省略されています）

関連特許