特許ウォッチ

公開番号2025001273
公報種別公開特許公報(A)
公開日2025-01-08
出願番号2023100774
出願日2023-06-20
発明の名称映像表示装置およびそのプログラム
出願人日本放送協会
代理人弁理士法人磯野国際特許商標事務所
主分類G06T 15/00 20110101AFI20241225BHJP(計算;計数)
要約【課題】メモリ使用の負荷を軽減してボリュメトリック映像を表示することが可能な映像表示装置を提供する。
【解決手段】映像表示装置は、3次元点群の各プロパティをフレームごとに固定長データに変換し、記憶部12に書き込む固定長変換部10と、固定長データを記憶部12に書き込んだことを示す同期情報を生成し、記憶部12に書き込む同期情報生成部11と、記憶部12に書き込まれた同期情報により固定長データの更新の有無を判定する同期判定部13と、同期判定部13で更新ありと判定された固定長データを読み込んで、3次元点群をフレームごとに再構成しレンダリングすることでボリュメトリック映像を生成する描画部14と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
時系列の３次元点群をボリュメトリック映像として表示する映像表示装置であって、
第１ＣＰＵで動作し、前記３次元点群の各プロパティをフレームごとに固定長データに変換し、前記第１ＣＰＵおよび第２ＣＰＵの共有の記憶部に書き込む固定長変換部と、
前記第１ＣＰＵで動作し、前記固定長データを前記記憶部に書き込んだことを示す同期情報を生成し、前記記憶部に書き込む同期情報生成部と、
前記第２ＣＰＵで動作し、前記記憶部に書き込まれた同期情報により前記固定長データの更新の有無を判定する同期判定部と、
前記第２ＣＰＵに接続されたＧＰＵで動作し、前記同期判定部で更新ありと判定された前記固定長データをフレームごとに前記３次元点群に再構成しレンダリングすることで前記ボリュメトリック映像を生成する描画部と、
を備えることを特徴とする映像表示装置。
続きを表示（約 1,100 文字）【請求項２】
時系列の３次元点群をボリュメトリック映像として表示する映像表示装置であって、
第１ＣＰＵで動作し、前記３次元点群の各プロパティをフレームごとに固定長データに変換する固定長変換部と、
前記第１ＣＰＵで動作し、前記固定長データを可逆圧縮方式により圧縮して圧縮データを生成し、前記第１ＣＰＵおよび第２ＣＰＵの共有の記憶部に書き込む圧縮部と、
前記第１ＣＰＵで動作し、前記圧縮データを前記記憶部に書き込んだことを示す同期情報を生成し、前記記憶部に書き込む同期情報生成部と、
前記第２ＣＰＵで動作し、前記記憶部に書き込まれた同期情報により前記圧縮データの更新の有無を判定する同期判定部と、
前記第２ＣＰＵで動作し、前記同期判定部で更新ありと判定された前記圧縮データを前記固定長データに復号する復号部と、
前記第２ＣＰＵに接続されたＧＰＵで動作し、前記復号部で復号された前記固定長データをフレームごとに前記３次元点群に再構成しレンダリングすることで前記ボリュメトリック映像を生成する描画部と、
を備えることを特徴とする映像表示装置。
【請求項３】
前記復号部は、前記第２ＣＰＵに代えて前記ＧＰＵで動作することを特徴とする請求項２に記載の映像表示装置。
【請求項４】
時系列の３次元点群をボリュメトリック映像として表示する映像表示装置であって、
前記３次元点群の各プロパティをフレームごとに固定長データに変換し、記憶部に書き込む固定長変換部と、
前記記憶部に書き込まれた前記固定長データをフレームごとに前記３次元点群に再構成しレンダリングすることで前記ボリュメトリック映像を生成する描画部と、
を備えることを特徴とする映像表示装置。
【請求項５】
時系列の３次元点群をボリュメトリック映像として表示する映像表示装置であって、
前記３次元点群の各プロパティをフレームごとに固定長データに変換する固定長変換部と、
前記固定長データを可逆圧縮方式により圧縮して圧縮データを生成し、記憶部に書き込む圧縮部と、
前記記憶部に書き込まれた前記圧縮データを読み込んで前記固定長データに復号する復号部と、
前記復号部で復号された前記固定長データをフレームごとに前記３次元点群に再構成しレンダリングすることで前記ボリュメトリック映像を生成する描画部と、
を備えることを特徴とする映像表示装置。
【請求項６】
コンピュータを、請求項１から請求項５のいずれか一項に記載の映像表示装置として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ボリュメトリック映像を表示する映像表示装置およびそのプログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
近年、ＡＲ（Augmented Reality：拡張現実)、ＶＲ（Virtual Reality：仮想現実)といった３次元（３Ｄ）アプリケーションが普及している。３次元アプリケーションは、３次元モデルをある視点の３次元シーンとして構成したものである。
この３次元モデルの形状を表現する手法の一つとして、３次元点群がある。３次元点群は、多数の静止画像からフォトグラメトリ技術で生成することができる。
３次元点群は、被写体の形状に対応する３次元点ごとに、頂点の座標情報と、その座標に付随する頂点の色、法線等の属性情報とを有する。
この３次元点群を任意視点で連番のフレームとして構成することで任意視点の３次元シーンを映像として表示することができる。この３次元点群を用いて表示される映像は、ボリュメトリック映像と呼ばれる。
【０００３】
ボリュメトリック映像は、一般的に、点群の頂点の座標情報や付随する色等の属性情報を時系列にＧＰＵ（Graphics Processing Unit）の３ＤグラフィックスＡＰＩにセットし、スクリーン座標に投影されることで表示される。
ボリュメトリック映像を表示するためには、多数の密に集合した頂点情報を扱うため、大量のメモリを使用し、一般的に処理が重い。
【０００４】
この多数の頂点情報を効率的に扱う方法として、非特許文献１には、テクスチャに頂点の座標位置を書き込み、３次元レンダリングパイプラインにおける頂点シェーダステージにおいてテクスチャを参照し、頂点情報の計算を行う頂点テクスチャフェッチ（ＶＴＦ：Vertex Texture Fetch）と呼ばれる手法が開示されている。
また、非特許文献２には、ＶＴＦの応用として、一枚のテクスチャの横辺に３次元モデルの頂点座標、縦辺にフレーム数を書き込み、３次元モデルのアニメーション情報を記述する頂点アニメーションテクスチャ（ＶＡＴ：Vertex Animation Texture）と呼ばれる手法が開示されている。
このように、特許文献１，２に記載の手法では、テクスチャを介在させることで、レンダリングパイプラインにおけるシェーダ間で頂点情報を効率的にやりとりすることができる。
【先行技術文献】
【非特許文献】
【０００５】
P. Gerasimov, R. Fernando, S. Green, "Shader Model 3.0 Using Vertex Textures", NVIDIA Corporation
Labs Vertex Animation Textures 3.0 render node,”［online］， SideFX社，［令和５年５月９日検索］、インターネット＜ＵＲＬ：https://www.sidefx.com/ja/docs/houdini/nodes/out/labs--vertex_animation_textures-3.0.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ボリュメトリック映像は、毎フレーム同じ頂点数を持つとは限らない。
そのため、ボリュメトリック映像を表示するためには、フレームごとに、関連性を持たない頂点の座標情報を更新するため、ＧＰＵのメモリ領域の再割り当て、バッファの再確保等が発生するおそれがあった。
このように、従来、ボリュメトリック映像を表示するには、メモリ管理において非効率で負荷が高いものとなっていた。
【０００７】
そこで、本発明は、メモリ使用の負荷を軽減してボリュメトリック映像を表示することが可能な映像表示装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するため、本発明に係る映像表示装置は、時系列の３次元点群をボリュメトリック映像として表示する映像表示装置であって、固定長変換部と、同期情報生成部と、同期判定部と、描画部と、を備える構成とした。
【０００９】
かかる構成において、映像表示装置は、第１ＣＰＵで動作する固定長変換部によって、３次元点群の各プロパティをフレームごとに固定長データに変換し、第１ＣＰＵおよび第２ＣＰＵの共有の記憶部に書き込む。
そして、映像表示装置は、第１ＣＰＵで動作する同期情報生成部によって、固定長データを記憶部に書き込んだことを示す同期情報を生成し、記憶部に書き込む。
【００１０】
そして、映像表示装置は、第２ＣＰＵで動作する同期判定部によって、記憶部に書き込まれた同期情報により固定長データの更新の有無を判定する。
そして、映像表示装置は、第２ＣＰＵに接続されたＧＰＵで動作する描画部によって、同期判定部で更新ありと判定された固定長データをフレームごとに３次元点群に再構成しレンダリングすることでボリュメトリック映像を生成する。
これによって、描画部では、３次元点群の頂点数がフレームごとに異なっても、固定長データとして扱うため、内部メモリを固定的に確保することができる。
（【００１１】以降は省略されています）

関連特許