特許ウォッチ

公開番号2024121786
公報種別公開特許公報(A)
公開日2024-09-06
出願番号2024006941
出願日2024-01-19
発明の名称アバター制御
出願人富士通株式会社,カーネギー-メロンユニバーシティ,CARNEGIE-MELLON UNIVERSITY
代理人個人,個人
主分類G06T 19/00 20110101AFI20240830BHJP(計算;計数)
要約【課題】2D表現の動的オブジェクトから生成された3Dオブジェクトに基づくアバターの表示及び制御を提供する。
【解決手段】一例で、方法は、変形光線を得るよう第1ニューラルネットワーク及び潜在コードを用いて第1時間における動的オブジェクトに関連した第1光線を変形させることを含む。方法はまた、第1光線、第1時間、及び潜在コードを第2ニューラルネットワークに入力することによって、第1光線に関連したハイパースペースコードを取得することを含む。方法は更に、変形光線から1つ以上のポイントをサンプリングすることを含む。方法はまた、サンプリングされたポイント及びハイパースペースコードをネットワーク入力にまとめることを含む。方法は更に、第2時間における動的オブジェクトを表す3次元シーンの画像をレンダリングするためのRGB値を得るようネットワーク入力を第3ニューラルネットワークに入力することを含む。
【選択図】図1
特許請求の範囲【請求項１】
変形光線を得るよう第１ニューラルネットワーク及び潜在コードを用いて第１時間における動的オブジェクトに関連した第１光線を変形させることと、
前記第１光線、前記第１時間、及び前記潜在コードを第２ニューラルネットワークに入力することによって前記第１光線に関連したハイパースペースコードを取得することと、
前記変形光線から１つ以上のポイントをサンプリングすることと、
前記サンプリングされたポイント及び前記ハイパースペースコードをネットワーク入力にまとめることと、
第２時間における前記動的オブジェクトを表す３次元シーンの画像をレンダリングするためのＲＧＢ値を得るよう前記ネットワーク入力を第３ニューラルネットワークに入力することと
を有する方法。
続きを表示（約 1,100 文字）【請求項２】
前記第１光線、前記第１時間、及び属性値を第１属性ニューラルネットワークに入力することによって前記第１光線に関連したハイパースペース属性値を取得することと、
前記ハイパースペース属性値、前記変形光線、及び前記ハイパースペースコードを第２属性ニューラルネットワークに入力することによって前記属性値に関連したスカラーマスクを決定することと、
前記スカラーマスク及び前記ハイパースペース属性値を属性ベクトルにまとめることと、
前記属性ベクトルを前記サンプリングされたポイント及び前記ハイパースペースコードと結合して、前記第３ニューラルネットワークへ入力される前記ネットワーク入力にまとめることと
を更に有する、請求項１に記載の方法。
【請求項３】
前記ハイパースペースコードは、前記ハイパースペースコードが前記ハイパースペース属性値によって影響されないように前記スカラーマスクに対して調整される、
請求項２に記載の方法。
【請求項４】
前記動的オブジェクトに関連したビデオデータ及び訓練データを用いて教師ニューラルネットワークを訓練することと、
知識蒸留を用いて前記教師ニューラルネットワークから前記第３ニューラルネットワークを訓練することと、
前記ビデオデータを用いて前記第３ニューラルネットワークを調整することと
を更に有する、請求項１に記載の方法。
【請求項５】
前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、又は前記第３ニューラルネットワークのうちの１つ以上は、知識蒸留により訓練される、
請求項１に記載の方法。
【請求項６】
前記動的オブジェクトを表す前記３次元シーンの前記画像が表示されるように前記ＲＧＢ値を表示デバイスに表示することを更に有する、
請求項１に記載の方法。
【請求項７】
前記第１ニューラルネットワーク及び前記第２ニューラルネットワークは、フィードフォワード人工ニューラルネットワークである、
請求項１に記載の方法。
【請求項８】
前記第１ニューラルネットワーク及び前記第２ニューラルネットワークは、浅い多層パーセプトロンネットワークである、
請求項７に記載の方法。
【請求項９】
前記第３ニューラルネットワークは、深い残差色多層パーセプトロンリグレッサである、
請求項１に記載の方法。
【請求項１０】
前記変形光線は、時間の関数としての正準光線空間への前記第１ニューラルネットワークによる前記第１光線のマッピングである、
請求項１に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示で議論される実施形態は、アバター制御に関係がある。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
マシンビジョンは、機能及び精度において、２Ｄ観察を使用して３Ｄオブジェクトに関する決定を行うことに対するものを含め、進歩し続けている。様々なニューラルネットワークのいくつかの実施は計算が複雑である場合があり、その結果、３Ｄオブジェクトのレンダリングに時間が長くなったり、及び／又は３Ｄオブジェクトの表現が不十分であったりすることがある。例えば、いくつかのニューラルネットワークは、２Ｄオブジェクトを３Ｄ表現に変換するために２Ｄオブジェクトからピクセルごとに決定を行う場合がある。
【０００３】
ここで請求される対象は、上述されたような環境でしか動作しない実施形態や、上述された如何なる欠点も解消する実施形態に制限されない。むしろ、この背景は、ここで記載されるいくつかの実施形態が実施される可能性がある技術分野の一例を説明するためにのみ設けられている。
【発明の概要】
【０００４】
実施形態の側面に従って、方法は、変形光線を得るよう第１ニューラルネットワーク及び潜在コードを用いて第１時間における動的オブジェクトに関連した第１光線を変形させることを含んでよい。方法はまた、第１光線、第１時間、及び潜在コードを第２ニューラルネットワークに入力することによって、第１光線に関連したハイパースペースコードを取得することを含んでよい。方法は更に、変形光線から１つ以上のポイントをサンプリングすることを含んでよい。方法はまた、サンプリングされたポイント及びハイパースペースコードをネットワーク入力にまとめることを含んでよい。方法は更に、第２時間における動的オブジェクトを表す３次元シーンの画像をレンダリングするためのＲＧＢ値を得るようネットワーク入力を第３ニューラルネットワークに入力することを含んでよい。
【０００５】
実施形態の目的及び利点は、少なくとも、特許請求の範囲で特に指し示されている要素、特徴、及び組み合わせによって、実現され達成されるであろう。
【０００６】
上記の概要及び下記の詳細な説明はいずれも、例として与えられている実例であり、請求されている発明を限定するものではない。
【０００７】
例となる実施形態は、添付の図面の使用を通じて更なる特定及び詳細を用いて記載され説明であろう。
【図面の簡単な説明】
【０００８】
アバター制御をサポートするよう構成される環境の例のブロック図である。
アバター制御をサポートするよう構成される環境の他の例のブロック図である。
アバター制御とともに使用され得るニューラルネットワークを訓練することをサポートするよう構成される環境の例のブロック図である。
アバター制御の方法の例のフローチャートである。
アバター制御に関連した制御可能な属性入力の方法の例のフローチャートである。
アバター制御のために使用され得るコンピューティングシステムの例を表す。
【発明を実施するための形態】
【０００９】
マシンビジョン、及び／又はマシンビジョンを使用したオブジェクトの表現は、近年大幅に進歩している。例えば、３次元（３Ｄ）オブジェクト及び／又はシーン（明示的に別なふうに言及されない限り、「オブジェクト」と総称される。）は、マシンビジョンシステムがオブジェクトの２次元（２Ｄ）画像を観察し解釈することを通じてモデル化及び／又は表現され得る。いくつかの状況で、マシンビジョンシステムは、２Ｄでオブジェクトを観察して、その３Ｄ表現を生成するために、１つ以上の機械学習システムを実装する。２Ｄオブジェクトの多くの３Ｄ表現は静止オブジェクトに基づく可能性があり、そのため、３Ｄ表現も静止している。静止オブジェクトに対するマシンビジョンシステムの機能性及び／又は計算時間の向上のために改善が導入されてきたが、動的オブジェクト（例えば、動く可能性がある又は動作中であり得るオブジェクト）のマシンビジョン処理は静止オブジェクト（例えば、動いていないオブジェクト）と比べて付加的な計算複雑性を含む場合がある。
【００１０】
いくつかの状況で、光場ネットワーク（ＬｉｇｈｔＦｉｅｌｄＮｅｔｗｏｒｋ，ＬＦＮ）が、２Ｄ観察から３Ｄオブジェクトを表現するためにマシンビジョンシステムで使用されることがある。例えば、ＬＦＮは、暗黙的なニューラル表現によりパラメータ化される３６０度の４次元光場での基礎となる３Ｄシーンのジオメトリ及び外観の両方の表現を含むことができる。更に、ＬＦＮは、好ましくは、剛体変形を含む可能性のある静止オブジェクト物体とともに使用され得る。例えば、時間とともに動的に変化する３Ｄオブジェクト、及び／又はオブジェクトに対して変化する画像キャプチャデバイスの関連する視点は、ＬＦＮによって表現され得ない及び／又は不正確に表現される可能性がある非剛体変形を導入する可能性がある。
（【００１１】以降は省略されています）

関連特許