特許ウォッチ

公開番号2025168668
公報種別公開特許公報(A)
公開日2025-11-11
出願番号2025074600
出願日2025-04-28
発明の名称機械学習を用いたビジュアルスタイル変換
出願人ロブロックス・コーポレーション
代理人個人,個人,個人
主分類G06T 15/00 20110101AFI20251104BHJP(計算;計数)
要約【課題】本開示の1つの態様による方法が提供される。
【解決手段】方法は、ビジュアルアセットの受信を含み得る。方法は、ビジュアルスタイルのインジケーターの受信を含み得る。方法は、グラム行列ペアの第1のセット間の差の第1の総和、及びグラム行列ペアの第2のセット間の差の第2の総和に基づいて計算される損失関数を使用して、ビジュアルスタイルのための独特なスタイルの特徴のセットの特定を含み得る。方法は、ビジュアルスタイルのために独特なスタイルの特徴の特定されたセットと整合させるために、ビジュアルアセットの形状の変更を含み得る。変更後に、方法は独特なスタイルの特徴のセットに整合させるビジュアルアセットのレンダリングを含み得る。
【選択図】図1
特許請求の範囲【請求項１】
コンピュータで実施される方法であって、
ビジュアルアセットの、プロセッサによる受信と、
ビジュアルスタイルのインジケーターの、前記プロセッサによる受信と、
グラム行列ペアの第１のセットが同一のビジュアルスタイルの正の入力サンプルのセットと関連付けられ、グラム行列ペアの第２のセットが異なるビジュアルスタイルの負の入力サンプルのセットと関連付けられる、前記グラム行列ペアの第１のセット間の差の第１の総和、及び前記グラム行列ペアの第２のセット間の差の第２の総和に基づいて計算される損失関数を使用する、前記ビジュアルスタイルのための独特なスタイルの特徴のセットの、前記プロセッサによる特定と、
前記ビジュアルスタイルのために特定された前記独特なスタイルの特徴のセットと整合させるために、前記ビジュアルアセットの形状の、前記プロセッサによる変更と、
前記変更後に、前記独特なスタイルの特徴のセットに整合させる前記ビジュアルアセットの、前記プロセッサによるレンダリングと、を備える、コンピュータで実施される方法。
続きを表示（約 2,300 文字）【請求項２】
前記同一のビジュアルスタイルの前記正の入力サンプルのセット、及び前記異なるビジュアルスタイルの前記負の入力サンプルのセットの、前記プロセッサによる受信と、
前記正の入力サンプルのセットに関連付けられる特徴マップの第１のセット、及び前記負の入力サンプルのセットに関連付けられる特徴マップの第２のセットの、前記プロセッサによる生成と、
前記特徴マップの第１のセットに基づく前記正の入力サンプルのセットに関連付けられる前記グラム行列ペアの第１のセット、及び前記特徴マップの第２のセットに基づく前記負の入力サンプルのセットに関連付けられる前記グラム行列ペアの第２のセットの、前記プロセッサによる取得と、
前記グラム行列ペアの第１のセットの前記差の第１の総和、及び前記グラム行列ペアの第２のセットの前記差の第２の総和に基づく前記損失関数の、前記プロセッサによる計算と、をさらに備える、請求項１に記載の方法。
【請求項３】
前記同一のビジュアルスタイルに関連付けられる前記正の入力サンプルのセットが同スタイルの形ペアの第１のセットを含み、
前記異なるビジュアルスタイルに関連付けられる前記負の入力サンプルのセットが異なるスタイルの形ペアの第２のセットを含む、請求項２に記載の方法。
【請求項４】
前記形ペアの第２のセットの１つの形が、前記形ペアの第１のセットのスタイルと前記同スタイルを有する、請求項３に記載の方法。
【請求項５】
前記正の入力サンプルのセットに関連付けられる前記特徴マップの第１のセット、及び前記負の入力サンプルのセットに関連付けられる前記特徴マップの第２のセットの生成が、
前記特徴マップの第１のセットを生成するための前記正の入力サンプルのセットへの畳み込みフィルターのセットの、前記プロセッサによる適用と、
前記特徴マップの第２のセットを生成するための前記負の入力サンプルのセットへの前記畳み込みフィルターのセットの、前記プロセッサによる適用と、を備える、請求項２に記載の方法。
【請求項６】
前記畳み込みフィルターのセットが様々なサイズのカーネルを含む、請求項５に記載の方法。
【請求項７】
前記特徴マップの第１のセットに基づく前記正の入力サンプルのセットに関連付けられる前記グラム行列ペアの第１のセット、及び前記特徴マップの第２のセットに基づく前記負の入力サンプルのセットに関連付けられる前記グラム行列ペアの第２のセットの取得が、
前記グラム行列ペアの第１のセットの取得のための正の入力サンプルのセットに関連付けられる前記特徴マップの第１のセット間の第１の相関関係の、前記プロセッサによる決定と、
前記グラム行列ペアの第２のセットの取得のための前記負の入力サンプルのセットに関連付けられる前記特徴マップの第２のセット間の第２の相関関係の、前記プロセッサによる決定と、を備える、請求項２に記載の方法。
【請求項８】
コンピューティングデバイスであって、
プロセッサと、
メモリに保存された命令が前記プロセッサにより実行されたときに、
ビジュアルアセットの受信と、
ビジュアルスタイルのインジケーターの受信と、
グラム行列ペアの第１のセットが同一のビジュアルスタイルの正の入力サンプルのセットと関連付けられ、グラム行列ペアの第２のセットが異なるビジュアルスタイルの負の入力サンプルのセットと関連付けられる、前記グラム行列ペアの第１のセット間の差の第１の総和、及び前記グラム行列ペアの第２のセット間の差の第２の総和に基づいて計算される損失関数を使用する、前記ビジュアルスタイルのための独特なスタイルの特徴のセットの特定と、
前記ビジュアルスタイルのために特定された前記独特なスタイルの特徴のセットと整合させるための、前記ビジュアルアセットの形状の変更と、
前記変更後に、前記独特なスタイルの特徴のセットに整合させる前記ビジュアルアセットのレンダリングと、
を備える操作を前記プロセッサに実施させる、前記プロセッサに結合されるメモリと、を備える、コンピューティングデバイス。
【請求項９】
前記同一のビジュアルスタイルの前記正の入力サンプルのセット、及び前記異なるビジュアルスタイルの前記負の入力サンプルのセットの受信と、
前記正の入力サンプルのセットに関連付けられる特徴マップの第１のセット、及び前記負の入力サンプルのセットに関連付けられる特徴マップの第２のセットの生成と、
前記特徴マップの第１のセットに基づく前記正の入力サンプルのセットに関連付けられる前記グラム行列ペアの第１のセット、及び前記特徴マップの第２のセットに基づく前記負の入力サンプルのセットに関連付けられる前記グラム行列ペアの第２のセットの取得と、
前記グラム行列ペアの第１のセット間の前記差の第１の総和、及び前記グラム行列ペアの第２のセット間の前記差の第２の総和に基づく前記損失関数の計算と、をさらに備える、請求項８に記載のコンピューティングデバイス。
【請求項１０】
前記同一のビジュアルスタイルに関連付けられる前記正の入力サンプルのセットが同スタイルの形ペアの第１のセットを含み、
前記異なるビジュアルスタイルに関連付けられる前記負の入力サンプルのセットが異なるスタイルの形ペアの第２のセットを含む、請求項９に記載のコンピューティングデバイス。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
実施形態は一般的にオンライン仮想体験プラットフォームに関し、より具体的には、ビジュアルアセットの独特なスタイルの特徴を特定、並びにビジュアルアセットが対象のスタイルに整合させるためのビジュアルスタイル変換を行うために、方法、システム、及びコンピュータ可読媒体に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
仮想体験のプラットフォームやオンラインゲームのプラットフォームなどのオンラインプラットフォームは、ユーザが特定のスタイルで仮想体験、又はゲームを作成することを可能にする。特定のスタイルは、仮想体験、又はゲーム内のビジュアルアセットに適用され得る。
【０００３】
３Ｄスタイル化の従来技術は特定の設計スタイルに対処、若しくは、対象のビジュアルスタイルがそれらの面法線によりエンコードが可能である例示的な形を使用するために設計されている。しかしながら、これらのどちらもが、対象の場面又はオブジェクトのスタイルをまねるためにユーザが３Ｄオブジェクトのソースを変更しようとする場合の一般的なスタイル化の問題に対処しない。この問題を解決するために、ソース及び対象のオブジェクトにわたるビジュアルスタイルを区別する識別的特徴のセットを抽出することができる方法を用いる。
【０００４】
様々な形の間のスタイル類似度を評価するために使用される類似メトリックを特定するための既存の方法は、様々な設計スタイルにわたる一般化を保証しない形の記述子の手作りセットに頼ることが多い。そのような記述子の間で重み付きバランスを見つけることは複雑であり、いくつかの方法はディープラーニングモデルを用いて形の記述子のセット及びそれらを平衡させる重みを共同で推測する。この方法は画像空間中のスタイル類似度を計算する。あいにく、重要なスタイルの特徴が選択されたビューから捉えられ得ないため、描画ビューのセットの事前選択は複雑で、最終メトリックに直接影響を与える。その結果、スタイルの類似度を推定する既存の方法は、スタイルに識別的な特徴のセットを抽出する技術を提供できない。
【０００５】
ここで提供する背景の説明は、本開示の文脈提示を目的とする。ここで名前が挙げられている発明者の作業結果は、この背景技術の節で記述される範囲、及び、さもなければ出願時に先行技術として見なされ得ない説明の態様は、本開示に対する先行技術として明示的にも黙示的にも認められない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示の態様は、仮想体験又はアセットへの適用のために入力した形の、独特なスタイルの特徴を特定する方法、システム、及びコンピュータ可読媒体に向けられる。
【課題を解決するための手段】
【０００７】
本開示の一態様では、コンピュータ実装方法が提供される。方法は、プロセッサによりビジュアルアセットを受信することを含み得る。方法は、プロセッサによるビジュアルスタイルのインジケーターの受信を含み得る。方法は、プロセッサによるグラム行列ペアの第１のセット間の差の第１の総和、及びグラム行列ペアの第２のセット間の差の第２の総和に基づいて計算される損失関数を使用して、ビジュアルスタイルのための独特なスタイルの特徴のセットの特定を含み得る。グラム行列ペアの第１のセットは同一のビジュアルスタイルの正の入力サンプルのセットと関連付けされ得、グラム行列ペアの第２のセットは異なるビジュアルスタイルの負の入力サンプルのセットと関連付けされ得る。方法はプロセッサによって、ビジュアルスタイルに独特なスタイルの特徴の特定されたセットと整合させるために、ビジュアルアセットの形状の変更を含み得る。変更後、方法はプロセッサによる独特なスタイルの特徴のセットと整合させるビジュアルアセットのレンダリングを含み得る。
【０００８】
いくつかの実装では、方法はプロセッサによる同一のビジュアルスタイルの正の入力サンプルのセット、及び異なるビジュアルスタイルの負の入力サンプルのセットの受信を含み得る。いくつかの実装では、方法はプロセッサによる正の入力サンプルのセットに関連付けられる特徴マップの第１のセット、及び負の入力サンプルのセットに関連付けられる特徴マップの第２のセットの生成を含み得る。いくつかの実装では、方法はプロセッサによる特徴マップの第１のセットに基づく正の入力サンプルのセットに関連付けられるグラム行列ペアの第１のセット、及び特徴マップの第２のセットに基づく負の入力サンプルのセットに関連付けられるグラム行列ペアの第２のセットの取得を含み得る。いくつかの実装では、方法はプロセッサによるグラム行列ペアの第１のセットの差の第１の総和、及びグラム行列ペアの第２のセットの第２の総和に基づく損失関数の計算を含み得る。
【０００９】
いくつかの実装では、同一のビジュアルスタイルに関連付けられる正の入力サンプルのセットは、同スタイルの形ペアの第１のセットを含み得る。いくつかの実装では、異なるビジュアルスタイルに関連付けられる負の入力サンプルのセットは、異なるスタイルの形ペアの第２のセットを含み得る。
【００１０】
いくつかの実装では、形ペアの第２のセット形ペアの第２のセットの１つの形は、形ペアの第１のセットのスタイルと同スタイルを有し得る。
（【００１１】以降は省略されています）

関連特許