特許ウォッチ

公開番号2023079022
公報種別公開特許公報(A)
公開日2023-06-07
出願番号2021192413
出願日2021-11-26
発明の名称情報処理装置及び情報生成方法
出願人株式会社Preferred Networks
代理人個人,個人,個人,個人
主分類G06T 7/00 20170101AFI20230531BHJP(計算;計数)
要約【課題】ニューラルネットワークモデルを用いた3次元情報の表現の精度を向上する情報処理装置及び情報生成方法を提供する。
【解決手段】情報処理装置(例えば、訓練装置、推定装置)であるコンピュータ7は、1又は複数のメモリと、1又は複数のプロセッサと、を備える。1又は複数のプロセッサは、自己回帰モデルを用いて、3次元情報を表現する複数の離散符号に関する情報を生成する。第1シーンを表す複数の離散符号に基づいて、3次元空間の座標における特徴量を算出し、座標の情報及び特徴量をニューラルネットワークに入力して取得した出力情報に基づいて、第1シーンの画像を生成する。
【選択図】図25
特許請求の範囲【請求項１】
1又は複数のメモリと、
1又は複数のプロセッサと、を備え、
前記1又は複数のプロセッサは、
自己回帰モデルを用いて、３次元情報を表現する複数の離散符号に関する情報を生成する、
情報処理装置。
続きを表示（約 850 文字）【請求項２】
前記複数の離散符号に関する情報は、複数の階層を構成する、
請求項１に記載の情報処理装置。
【請求項３】
前記複数の階層は、８分木で表現される、
請求項２に記載の情報処理装置。
【請求項４】
前記複数の階層は、３次元空間を階層ごとに異なる領域に分割され、
前記複数の離散符号は、各階層の領域に付与される、
請求項２又は３に記載の情報処理装置。
【請求項５】
前記領域はボクセルであって、
前記複数の離散符号は、前記ボクセルの頂点に付与される、
請求項４に記載の情報処理装置。
【請求項６】
前記自己回帰モデルは、上位の階層から下記の階層の順に、階層ごとに離散符号に関する情報を生成する、
請求項２乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記自己回帰モデルは、上位の階層について生成された離散符号に関する情報に基づいて、下位の階層の離散符号に関する情報を生成する、
請求項６に記載の情報処理装置。
【請求項８】
上位の階層が少なくとも第１領域と第２領域とに分割され、下位の階層の第３領域が前記第１領域に含まれる場合、前記自己回帰モデルは、前記第３領域の離散符号に関する情報を、前記第２領域の離散符号に関する情報ではなく前記第１領域の離散符号に関する情報に基づいて生成する、
請求項７に記載の情報処理装置。
【請求項９】
前記自己回帰モデルは、少なくとも領域を生成するか否かに関する情報又は離散符号の識別情報のいずれかを出力する、
請求項４乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記自己回帰モデルは、 Transformer を備える、
請求項１乃至９のいずれか１項に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、情報処理装置及び情報生成方法に関する。
続きを表示（約 3,300 文字）【背景技術】
【０００２】
複数の位置、姿勢から取得されたターゲットの画像を用いて3次元再構成をし、当該再構成した3次元データに基づいて任意の位置、姿勢からターゲットを撮影した画像を生成する技術が研究されている。この3次元情報の表現を輝度場（ニューラルネットワーク）により形成する技術が研究されているが、ターゲットの領域が広くなると輝度場の情報を格納する記憶領域が莫大となること、また、３次元情報を表現することが困難になってくるという課題がある。
【先行技術文献】
【非特許文献】
【０００３】
B. Mildenhall, et. al., “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”, 3 August 2020, arXiv, https://arxiv.org/abs/2003.08934v2
C. Reiser, et. al., “KiloNeRF: Speeding up Neural Radiance Fields with Thousands of Tiny MLPs”, 2 August 2021, arXiv, https://arxiv.org/abs/2103.13744v2
T. Takikawa, et. al., “Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes”, 26 January 2021, arXiv, https://arxiv.org/abs/2101.10994v1
A. R. Kosiorek, et. al., “NeRF-VAE: A Geometry Aware 3D Scene Generative Model”, 1 April 2021, arXiv, https://arxiv.org/abs/2104.00587v1
A. v. d. Oord, et. al., “Neural Discrete Representation Learning”, 30 May 2018, arXiv, https://arxiv.org/abs/1711.00937
A. Radford, et. al., “Improving language understanding by generative pre-training”, 2018, https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
P. Weng, et.al., “NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction”, 20 June 2021, arXiv, https://arxiv.org/abs/2106.10689v1
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示では、ニューラルネットワークモデルを用いた３次元情報の表現の精度を向上させる情報処理装置を提供する。
【課題を解決するための手段】
【０００５】
一実施形態によれば、離散符号を割り当てる情報処理装置は、1又は複数のメモリと、1又は複数のプロセッサと、を備える。前記1又は複数のプロセッサは、自己回帰モデルを用いて、3次元情報を表現する複数の離散符号に関する情報を生成する。
【０００６】
一実施形態によれば、上記の装置により、又は、異なる装置により生成され、割り当てられた離散符号から画像を生成する情報処理装置は、1又は複数のメモリと、1又は複数のプロセッサと、を備える。前記1又は複数のプロセッサは、第1シーンを表す複数の離散符号に基づいて、3次元空間の第1座標における第1特徴量を算出し、少なくとも前記第1座標の情報及び前記第1特徴量をニューラルネットワークに入力して取得した出力情報に基づいて、前記第1シーンの画像を生成し、前記複数の離散符号は、自己回帰モデルを用いて生成されたものである。
【０００７】
一実施形態によれば、上記の離散符号を割り当てる情報処理装置、又は、上記の画像を生成する情報処理装置において用いられる自己回帰モデルを訓練する情報処理装置は、1又は複数のメモリと、1又は複数のプロセッサと、を備える。前記1又は複数のプロセッサは、3次元情報を表現する複数の離散符号に関する情報を生成する自己回帰モデルのパラメータを、複数の離散符号に関する情報を含む教師データを用いて更新する。
【図面の簡単な説明】
【０００８】
一実施形態に係るボクセルの階層の一例を示す図。
一実施形態に係る輝度場のボクセル表現の一例を示す図。
一実施形態に係る第0階層のボクセルの一例を示す図。
一実施形態に係る第1階層のボクセルの一例を示す図。
一実施形態に係る第1階層のボクセルの一例を示す図。
一実施形態に係る第2階層のボクセルの一例を示す図。
一実施形態に係る第2階層のボクセルの一例を示す図。
一実施形態に係る特徴量取得の一例を説明するための図。
一実施形態に係る特徴量取得の一例を説明するための図。
一実施形態に係る特徴量取得の一例を説明するための図。
一実施形態に係る推論装置の処理の一例を示すフローチャート。
一実施形態に係る訓練装置の処理の一例を示すフローチャート。
一実施形態に係るボクセルの頂点の一例を示す図。
一実施形態に係るボクセルの頂点の一例を示す図。
一実施形態に係る離散符号の割り当ての一例を示す図。
一実施形態に係る離散符号の割り当ての一例を示す図。
一実施形態に係るニューラルネットワークモデルの関係の概略の一例を示す図。
一実施形態に係るボクセルを示す木の表現の一例を示す図。
一実施形態に係るボクセルを示す木の表現の一例を示す図。
一実施形態に係るボクセル生成のニューラルネットワークモデルの構成の一例を示す図。
一実施形態に係るボクセルの生成の一例を示す図。
一実施形態に係るボクセルの生成の一例を示す図。
一実施形態に係る8分木生成の擬似コードを示す図。
一実施形態に係る8分木生成の経過の一例を示す図。
一実施形態に係る推論装置、訓練装置の実装の一例を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態について説明する。図面及び実施形態の説明は一例として示すものであり、本発明を限定するものではない。
【００１０】
まず、本実施形態における３次元情報の表現に用いる関数の一例として、シーンを表現する輝度場 (Radiational Fields) について説明する。以下の式により、座標 p = (x, y, z) 、姿勢 d = (θ, φ) 及び座標 p における特徴量 z(p) を入力すると、密度 ρ 、色 c = (r, g, b) を返す関数 F を利用して、任意の位置及び方角 (視点方向) に配置されているカメラによりシーンを撮影した画像を生成する。
TIFF
2023079022000002.tif
16
140
（【００１１】以降は省略されています）

関連特許