特許ウォッチ

公開番号2024169203
公報種別公開特許公報(A)
公開日2024-12-05
出願番号2023086469
出願日2023-05-25
発明の名称3次元データ生成装置及び描画装置
出願人株式会社NTTドコモ
代理人弁理士法人旺知国際特許事務所
主分類G06T 17/20 20060101AFI20241128BHJP(計算;計数)
要約【課題】物体から生成される3次元データに物体の光学特性を表現するデータを付加することができる3次元データ生成装置を提供する。
【解決手段】点群情報生成部212は、学習モデルM1を用いて、合成点群PGCに属する各点の3次元座標を含む点群情報を生成する。色情報生成部213は、学習モデルM1を用いて、合成点群PGCに属する各点を複数の視点から観測したときの各点における複数の視点に対応する各色を示す色情報を生成する。出力部214は、点群情報及び色情報を、物体OBの3次元の形状及び色を示す3次元データとして出力する。
【選択図】図5
特許請求の範囲【請求項１】
物体を含む３次元空間における色及び密度に関するベクトル場である輝度場を学習済みの学習モデルを用いて、前記物体の表面に位置する複数の点の集合である第１点群に属する各点の３次元座標を含む点群情報を生成する点群情報生成部と、
前記学習モデルを用いて、前記第１点群に属する前記各点を複数の視点から観測したときの前記各点における前記複数の視点に対応する各色を示す色情報を生成する色情報生成部と、
前記点群情報及び前記色情報を、前記物体の３次元の形状及び色を示す３次元データとして出力する出力部と、
を備える３次元データ生成装置。
続きを表示（約 1,100 文字）【請求項２】
前記色情報生成部は、前記複数の視点のそれぞれから前記物体を観測したときの前記物体の前記表面に位置する複数の点の集合である第２点群に属する各点のうち、前記第１点群に属する各点との距離が所定距離以内の点において観測される色に基づいて、前記色情報を生成する、
請求項１に記載の３次元データ生成装置。
【請求項３】
前記色情報生成部は、前記第２点群に属する各点のうち、前記所定距離以内の各点の色を平均化した色を前記第１点群に属する各点における前記色情報として生成する、
請求項２に記載の３次元データ生成装置。
【請求項４】
前記色情報生成部は、前記第２点群に属する各点のうち、前記所定距離以内の各点の色を前記距離に応じて重み付けし、前記重み付けした各点の色を平均化した色を前記第１点群に属する各点における前記色情報として生成する、
請求項２に記載の３次元データ生成装置。
【請求項５】
前記点群情報は、前記学習モデルに一定数以上の視点を入力することにより生成され、
前記点群情報には、前記第１点群に属する各点における平均色情報が含まれ、
前記平均色情報は、前記一定数以上の視点から観測したときの前記各点における色を平均化した色を示す情報であり、
前記色情報生成部は、前記複数の視点のそれぞれから前記物体を観測したときの前記物体の前記表面に位置する複数の点の集合である第２点群に属する各点に、前記第１点群に属する各点との距離が所定距離以内の点が存在しないとき、前記平均色情報を前記色情報として生成する、
請求項１に記載の３次元データ生成装置。
【請求項６】
前記点群情報に基づいて、前記第１点群に対応する複数のメッシュを形成するメッシュ形成部と、
前記色情報に基づいて、前記複数のメッシュのそれぞれの色を決定するメッシュ色決定部と、
をさらに備える請求項１に記載の３次元データ生成装置。
【請求項７】
物体の表面に位置する複数の点の集合である第１点群に属する各点の３次元座標を含む点群情報と、前記各点を複数の視点から観測した場合に、前記各点における前記複数の視点に対応する各色を示す色情報と各視点の位置との組とを含む３次元データを取得する第１取得部と、
仮想空間上のユーザの視点の位置を示す視点情報及び前記物体に対応する仮想オブジェクトが前記仮想空間上に位置する第１座標を示す座標情報を取得する第２取得部と、
前記３次元データ、前記視点情報、及び前記座標情報に基づいて、前記仮想空間上の前記第１座標に前記仮想オブジェクトを描画する描画部と、
を備える描画装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、３次元データ生成装置及び描画装置に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
特許文献１は、複数の視点から撮影された参照物体の多視点画像に基づいて、参照物体の３次元点群を抽出し、抽出された参照物体の３次元点群の法線を導出し、３次元点群と３次元点群の法線とに基づいて、陰影情報を導出する技術を開示している。参照物体の多視点画像に基づいて、参照物体の３次元データを取り込む技術としては、フォトグラメトリ及びＬｉＤＡＲ（Light Detection and Ranging）センサを用いた計測が知られている。上記技術では、対象物の光沢感、透明感等の光学特性が正しく認識されないことがある。
【０００３】
一方、近年のＮｅＲＦ（Neural Radiance Fields）技術によれば、対象物を様々な角度から撮影して得られた複数の画像に基づいて学習された学習モデルを作成し、作成された学習モデルに視点の位置及び視線の方向を入力することにより、当該視点から見た対象物の画像が推定される。これによれば、任意の視点から見た２次元画像を、視点を変えながら連続的に描画することが可能である。
【先行技術文献】
【特許文献】
【０００４】
特開２０１４－１２００７９号公報
【非特許文献】
【０００５】
Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng, "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis", arXiv:2003.08934, 2020 (https://arxiv.org/abs/2003.08934).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＮｅＲＦ技術により得られた学習モデルから３次元データを生成する場合、対象物表面の各点の色は、様々な角度から撮影して得られた複数の画像のそれぞれにおける各点に対応する点の色同士の平均として得られる。これにより、対象物表面の各点の色を示す情報には、視線の方向に関する情報は失われる。そのため、ＮｅＲＦ技術を用いた描画には、対象物の光学特性は反映されるが、上記学習モデルから３次元データを生成する際には、対象物の光学特性に関する情報は損なわれてしまうという課題があった。
【０００７】
本発明は、上記のような課題を解決するために為されたものであり、ＮｅＲＦ技術を用いて取得した光学特性を含むデータに基づいて、生成された対象物の３次元データに対象物の光学特性を表現するデータを付加することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の好適な態様に係る３次元データ生成装置は、物体を含む３次元空間における色及び密度に関するベクトル場である輝度場を学習済みの学習モデルを用いて、前記物体の表面に位置する複数の点の集合である点群に属する各点の３次元座標を含む点群情報を生成する点群情報生成部と、前記学習モデルを用いて、前記点群に属する前記各点を複数の視点から観測したときの前記各点における前記複数の視点に対応する各色を示す色情報を生成する色情報生成部と、前記点群情報及び前記色情報を、前記物体の３次元の形状及び色を示す３次元データとして出力する出力部と、を備える。
【０００９】
本発明の好適な態様における仮想オブジェクトの描画装置は、物体の表面に位置する複数の点の集合である点群に属する各点の３次元座標を含む点群情報と、前記各点を複数の視点から観測した場合に、前記各点における前記複数の視点に対応する各色を示す色情報と各視点の位置との組を含む３次元データを取得する第１取得部と、仮想空間上のユーザの視点の位置を示す視点情報及び前記物体に対応する仮想オブジェクトが前記仮想空間上に位置する第１座標を示す座標情報を取得する第２取得部と、前記３次元データと前記視点情報及び前記座標情報に基づいて、前記仮想空間上の前記第１座標に前記仮想オブジェクトを描画する描画部と、を備える。
【発明の効果】
【００１０】
本発明に係る３次元データ生成装置によれば、ＮｅＲＦ技術を用いて取得した光学特性を含むデータに基づいて、物体から生成される３次元データに物体の光学特性を表現するデータを付加することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許