特許ウォッチ

公開番号2025159459
公報種別公開特許公報(A)
公開日2025-10-21
出願番号2024062021
出願日2024-04-08
発明の名称3次元映像合成出力システムおよび3次元映像合成出力方法
出願人バルス株式会社
代理人弁理士法人瑛彩知的財産事務所
主分類G06T 19/00 20110101AFI20251014BHJP(計算;計数)
要約【課題】ボリュメトリック映像と他の3次元映像をリアルタイムに合成する仕組みを提供する。
【解決手段】バーチャル空間に生成された3次元キャラクタの仮想的な撮影方向を特定する撮影方向特定部と、前記仮想的な撮影方向に対応する3次元映像であるボリュメトリック映像を受信するボリュメトリック映像受信部と、前記3次元キャラクタの映像と前記ボリュメトリック映像とを合成した映像を出力する合成出力部と、を備えたことを特徴とする映像合成出力システム。
【選択図】図1

特許請求の範囲【請求項１】
バーチャル空間に生成された３次元キャラクタの仮想的な撮影方向を特定する撮影方向特定部と、
前記仮想的な撮影方向に対応する３次元映像であるボリュメトリック映像を受信するボリュメトリック映像受信部と、
前記３次元キャラクタの映像と前記ボリュメトリック映像とを合成した映像を出力する合成出力部と、
を備えたことを特徴とする映像合成出力システム。
続きを表示（約 1,300 文字）【請求項２】
前記３次元キャラクタの映像を映像遅延時間分だけ遅延させることにより遅延された３次元キャラクタの映像を出力する映像遅延処理部を、さらに備え、
前記合成出力部は、前記遅延された３次元キャラクタの映像と前記ボリュメトリック映像とを合成した映像を出力する、請求項１に記載の映像合成出力システム。
【請求項３】
前記映像遅延処理部は、前記３次元キャラクタの映像のタイムスタンプと、前記ボリュメトリック映像のタイムスタンプと、の差分に基づいて前記映像遅延時間を算出する、請求項２に記載の映像合成出力システム。
【請求項４】
前記映像遅延処理部は、前記ボリュメトリック映像の生成開始から生成されるまでのボリュメトリック映像生成時間と、前記３次元キャラクタの映像の生成開始から生成されるまでの３次元キャラクタ映像生成時間との差分に基づいて前記映像遅延時間を算出する、請求項２に記載の映像合成出力システム。
【請求項５】
前記合成出力部は、前記ボリュメトリック映像を生成するための複数のカメラの内の１つのカメラで撮影したリアルタイムの映像と、遅延されていない３次元キャラクタの映像とを合成した映像を出力する、請求項２に記載の映像合成出力システム。
【請求項６】
入力された音声を音声遅延時間分だけ遅延させることにより音声を出力する音声遅延処理部を、さらに備え、
前記音声遅延処理部は、前記映像遅延処理部により算出された前記映像遅延時間を前記音声遅延時間として利用し、
前記合成出力部は、前記遅延された音声を合成した映像を出力する、請求項２に記載の映像合成出力システム。
【請求項７】
前記合成出力部は、前記３次元キャラクタの映像と前記ボリュメトリック映像とが同一のバーチャル空間内で合成された映像を出力する、請求項１～６のいずれか１項に記載の映像合成出力システム。
【請求項８】
バーチャル空間に生成された３次元キャラクタの仮想的な撮影方向を特定するステップと、
前記仮想的な撮影方向に対応する３次元映像であるボリュメトリック映像を受信するステップと、
前記３次元キャラクタの映像と前記ボリュメトリック映像とを合成した映像を出力するステップと、
を備えたことを特徴とする映像合成出力方法。
【請求項９】
前記３次元キャラクタの映像を映像遅延時間分だけ遅延させることにより遅延された３次元キャラクタの映像を出力するステップを、さらに備え、
前記遅延された３次元キャラクタの映像と前記ボリュメトリック映像とを合成した映像を出力する、請求項８に記載の映像合成出力方法。
【請求項１０】
前記３次元キャラクタの映像のタイムスタンプと、前記ボリュメトリック映像のタイムスタンプとの差分に基づいて前記映像遅延時間を算出するステップを、さらに備えた請求項９に記載の映像合成出力方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、３次元映像合成出力システムおよび３次元映像合成出力方法に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
本技術分野の背景技術として、特願２０２２－５５７８７５号公報（特許文献１）がある。この公報には、機械学習変形トレーニングのためのメッシュ追跡ベースの動的４Ｄモデリングは、高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを使用することと、メッシュ追跡を使用して４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立することと、メッシュ位置合わせを使用して４Ｄスキャンされた人間の顔及び全身のメッシュと３Ｄ・ＣＧ物理シミュレータとの間の空間的一致を確立することと、機械学習を使用して物理シミュレータからデルタとして表面変形をトレーニングすること、が記載されている（要約参照）。
【先行技術文献】
【特許文献】
【０００３】
特願２０２２－５５７８７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記特許文献１には、顔表情又は身体言語の任意の新規の動作と自然な変形との合成である、機械学習（ＭＬ）による暗黙変形を含む動的顔及び全身モデリングを生成することが記載されている。しかしながら、上記特許文献では、ボリュメトリックキャプチャシステムを用いて生成された３次元映像をリアルタイムに他の３次元キャラクタの映像と合成することについて検討がなされていない。
そこで、本発明は、ボリュメトリックキャプチャシステムを用いて生成された３次元映像と他の３次元キャラクタの映像とをリアルタイムに合成する仕組みを提供する。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は、上記課題を解決する構成や方法を複数含んでいるが、その一例を挙げるならば、バーチャル空間に生成された３次元キャラクタの仮想的な撮影方向を特定する撮影方向特定部と、前記仮想的な撮影方向に対応する３次元映像であるボリュメトリック映像を受信するボリュメトリック映像受信部と、前記３次元キャラクタの映像と前記ボリュメトリック映像とを合成した映像を出力する合成出力部と、を備えたことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、ボリュメトリックキャプチャシステムを用いて生成された３次元映像と他の３次元のキャラクタ映像とをリアルタイムに合成する仕組みを提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００７】
図１は、映像合成出力システム１０の構成図の例である。
図２は、映像合成出力装置２００のハードウェア構成の例である。
図３は、ボリュメトリック映像生成装置３００のハードウェア構成の例である。
図４は、バーチャルキャラクタ生成装置４００のハードウェア構成の例である。
図５は、映像合成出力装置２００の機能ブロック図５００の例である。
図６は、ボリュメトリック映像生成装置３００の機能ブロック図６００の例である。
図７は、バーチャルキャラクタ生成装置４００の機能ブロック図７００の例である。
図８は、映像合成出力フロー８００の例である。
図９は、映像遅延処理フロー９００の例である。
図１０は、映像合成出力装置２００から出力された配信映像１０００の例である。
【発明を実施するための形態】
【０００８】
以下、実施例を図面を用いて説明する。
【実施例】
【０００９】
図１は、映像合成出力システム１０の構成図の例である。
映像合成出力システム１０は、映像操作端末２５０、ボリュメトリック映像生成装置３００、バーチャルキャラクタ生成装置４００を備え、それぞれがネットワーク１００を介して映像合成出力装置２００に接続されている。なお、ネットワーク１００は有線、無線を問わず、それぞれの端末はネットワークを介して情報を送受信することができる。
【００１０】
映像合成出力システム１０のそれぞれの映像合成出力装置２００やボリュメトリック映像生成装置３００やバーチャルキャラクタ生成装置４００は、例えば、スマートフォン、タブレット、携帯電話機、携帯情報端末（ＰＤＡ）などの携帯端末（モバイル端末）でもよいし、メガネ型や腕時計型、着衣型などのウェアラブル端末でもよい。また、据置型または携帯型のコンピュータや、クラウドやネットワーク上に配置されるサーバでもよい。また、機能としてはＶＲ（仮想現実：Virtual Reality）端末、ＡＲ（拡張現実：Augmented Reality）端末、ＭＲ（複合現実：Mixed Reality）端末でもよい。あるいは、これらの複数の端末の組合せであってもよい。例えば、１台のスマートフォンと１台のウェアラブル端末との組合せが論理的に一つの端末として機能し得る。またこれら以外の情報処理端末であってもよい。
（【００１１】以降は省略されています）

関連特許