特許ウォッチ

公開番号2024162762
公報種別公開特許公報(A)
公開日2024-11-21
出願番号2023078633
出願日2023-05-11
発明の名称画像処理装置、画像処理方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 7/55 20170101AFI20241114BHJP(計算;計数)
要約【課題】多視点画像から仮想視点に対応する画像等を生成するための学習をより高速に行う画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】画像処理装置において、複数の撮像装置によって得られた複数の撮影画像に基づいてオブジェクトの三次元形状を表す形状データを生成しS402、生成された形状データに基づき、オブジェクト毎に学習領域を設定しS403、オブジェクト毎に設定された学習領域を対象として、撮影画像に応じた三次元場を学習するS405～S407。
【選択図】図4
特許請求の範囲【請求項１】
複数の撮像装置によって得られた複数の撮影画像から仮想視点に対応する仮想視点データないし、三次元形状を得るための学習を行う画像処理装置であって、
前記複数の撮影画像を取得する取得手段と、
前記取得手段によって取得された前記複数の撮影画像に基づいてオブジェクトの三次元形状を表す概略形状データを生成する生成手段と、
前記生成手段によって生成された前記概略形状データに基づき、オブジェクト毎に学習領域を設定する設定手段と、
前記設定手段によってオブジェクト毎に設定された学習領域を対象として、前記撮影画像に応じた三次元場を学習する学習手段と、
を備えたことを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記学習手段は、
前記三次元場を保持する記憶手段と、
前記複数の撮影画像それぞれに対応するカメラパラメータと、前記記憶手段によって保持されている前記三次元場とに基づき、各撮影画像と同じ画角を持つ各撮影視点に対応した画像を描画する描画手段と、
前記描画手段によって得られた複数の描画画像と前記複数の撮影画像とに基づき、前記三次元場を更新する更新手段と、
を有する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記更新手段は、前記設定手段によって前記オブジェクト毎に設定された学習領域のうち注目する学習領域を対象として、互いに対応関係にある撮影画像と描画画像との間で色差を求め、色差が小さくなるように前記三次元場を更新する、ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記更新手段は、前記色差を両画像間で対応関係にある画素毎に求めて前記更新を行う、ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記更新手段は、前記概略形状データを構成する要素に対して可視性がある前記撮影画像の画素とそれに対応する前記描画画像の画素とから前記色差を求めて前記更新を行う、ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記更新手段は、前記要素に対して可視性がある視点の撮影画像の画素値に基づき前記三次元場の初期値を決定して前記更新を行う、ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記設定手段は、前記概略形状データが表す前記オブジェクトの三次元形状に外接する立体を、前記学習領域として設定する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記概略形状データは、複数の要素の集合によって前記オブジェクトの三次元形状を特定するデータであり、
前記設定手段は、前記要素よりもサイズの大きい要素の集合によって表される三次元領域を、前記学習領域として設定する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記生成手段は、前記複数の撮影画像を用いた視体積交差法によって、前記オブジェクトの概略形状を表す前記形状データを生成する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記三次元場は、前記複数の撮像装置の撮影空間における各座標に対し体積密度と異方性の色とを対応付ける放射輝度場であり、
前記仮想視点データは、仮想視点からの見えを表す仮想視点画像である、
ことを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、多視点画像から仮想視点に対応するデータを生成する画像処理技術に関する。
続きを表示（約 3,800 文字）【背景技術】
【０００２】
カメラパラメータが既知の多視点画像を入力として、任意の仮想視点に対応する画像を生成するＮｅＲＦ（Neural Radiance Fields）と呼ばれる技術がある（非特許文献１、特許文献１）。このＮｅＲＦは、五次元の入力変数｛任意の空間位置座標（x,y,z）と方向（θ、φ）｝から、体積密度（volume density）σ及び放射輝度（emitted radiance）を出力するニューラルネットワークである。このニューラルネットワークの学習においては、多視点画像の画素値を教師として、描画結果の画素値との差を損失とする。従って、学習過程では多視点画像に含まれる画像の数だけ描画、損失計算、誤差逆伝搬を行い、さらにこれを繰り返すことになるので学習に多くの時間を要する。例えば１００視点の１Ｋ画像を教師としたシーンを学習するためには、少なくとも１２時間以上必要とされている。学習に多くの時間を要してしまうという課題に対しては、視体積交差法を利用することで高速化を図ったＶａｘＮｅＲＦと呼ばれる手法等が提案されている（非特許文献２を参照）。視体積交差法は、多視点画像から抽出したオブジェクトのシルエットを三次元空間に逆投影して各視点からの錐体を構成し、各錐体の交差部分を求めることで当該オブジェクトの三次元形状を取得する手法である。この視体積交差法には、抽出されたシルエットが正しいという仮定の下で、取得した三次元形状の外にはオブジェクトが存在しないことが保証されるという特徴がある。この特徴を利用して、ＶａｘＮｅＲＦでは、シルエットの外に位置する画素を学習に利用しないようにすると共に、描画の際のサンプリング点を視体積交差法で取得した三次元形状の内部に限定することで、学習時の計算量を抑え、学習を高速化している。
【先行技術文献】
【特許文献】
【０００３】
米国特許第１１３０８６５９号明細書
【非特許文献】
【０００４】
Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. ＮｅＲＦ: Representing Scenes as Neural Radiance Fields for View Synthesis. 3 Aug 2020.
Naruya Kondo, Yuya Ikeda, Andrea Tagliasacchi, Yutaka Matsuo, Yoichi Ochiai, Shixiang Shane Gu. VaxNeRF: Revisiting the Classic for Voxel-Accelerated Neural Radiance Field. Nov 25 2021.
Alex Yu, Sara Fridovich-Keil, Matthew Tancik, Qinhong Chen, Benjamin Recht, Angjoo Kanazawa. Plenoxels: Radiance Fields without Neural Networks. 9 Dec 2021.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えばサッカーの試合のように広大な撮影エリアに多くのオブジェクトがスパースに分布するシーンを対象とする場合などにおいては、ＶａｘＮｅＲＦの手法によっても依然として学習に膨大な時間を要することになる。本開示は上述した課題に鑑みなされたもので、多視点画像から仮想視点に対応する画像等を生成するための学習をより高速に行うことを目的とする。
【課題を解決するための手段】
【０００６】
本開示に係る画像処理装置は、複数の撮像装置によって得られた複数の撮影画像から仮想視点に対応する仮想視点データないし、三次元形状を得るための学習を行う画像処理装置であって、前記複数の撮影画像を取得する取得手段と、前記取得手段によって取得された前記複数の撮影画像に基づいてオブジェクトの三次元形状を表す概略形状データを生成する生成手段と、前記生成手段によって生成された前記概略形状データに基づき、オブジェクト毎に学習領域を設定する設定手段と、前記設定手段によってオブジェクト毎に設定された学習領域を対象として、前記撮影画像に応じた三次元場を学習する学習手段と、
を備えたことを特徴とする。
【発明の効果】
【０００７】
本開示によれば、多視点画像から仮想視点に対応する画像等を生成するための学習をより高速に行うことが可能になる。
【図面の簡単な説明】
【０００８】
画像処理システムの構成例を示す図。
画像処理装置のハードウェア構成例を示す図。
画像処理装置の機能構成を示すブロック図。
実施形態１に係る、画像処理装置の動作の流れを示すフローチャート。
撮影領域を上側から二次元的に表した図。
視体積交差法（VisualHull）を用いた概略形状の取得を説明する図。
キャプチャエリアに３つのオブジェクトが存在する状態を示す図。
（ａ）及び（ｂ）は、ＮｅＲＦによる学習を説明する図。
（ａ）及び（ｂ）は、ＶａｘＮｅＲＦによる学習を説明する図。
実施形態１の手法による学習を説明する図
実施形態１の手法による学習を説明する図
実施形態１の手法による学習を説明する図
実施形態１の手法による学習を説明する図
（ａ）～（ｃ）は、Ｐｌｅｎｏｘｅｌｓの概要を説明する図
実施形態２に係る、画像処理装置の動作の流れを示すフローチャート。
放射輝度場の初期値算出処理の詳細を示すフローチャート。
実施形態２の手法による学習を説明する図
実施形態２の手法による学習を説明する図
実施形態２の手法による学習を説明する図
実施形態２の手法による学習を説明する図
【発明を実施するための形態】
【０００９】
以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合せの全てが本発明の解決手段に必須のものとは限らない。また、各実施形態に共通する考え方として、本開示では、非特許文献２と同様にオブジェクトの大まかな三次元形状（概略形状）を利用する。そして、学習対象となる撮影空間内の三次元的な場（この「場（フィールド）」は学習内容に応じて異なる。以下、本明細書において「三次元場」と表記。）をオブジェクト毎に独立に定義して学習する。これにより、個々の三次元場が持つ情報量を低減して各三次元場に対する学習の収束を早め、高速な学習を実現する。
【００１０】
［実施形態１］
＜画像処理システムの構成＞
図１は、本実施形態に係る、仮想視点映像の生成を行う画像処理システムの構成例を示す図である。画像処理システムは、複数台の撮影装置（カメラ）１０１、画像処理装置１０２、ユーザーインターフェース（ＵＩ）パネル１０３、記憶装置１０４、表示装置１０５を有する。複数台のカメラ１０１は、撮影条件に従い撮影領域１０６の内部にいるオブジェクト１０７を多視点から同期撮影して、各視点に対応する複数の撮影画像（多視点画像）データを取得する。カメラ１０１によって得られる撮影画像は、静止画像であってもよいし、動画像であってもよいし、静止画像と動画像の両方であってもよい。なお、本実施形態においては特に断りがない限り、用語「画像」は静止画と動画との両方を含むものとする。画像処理装置１０２は、複数台のカメラ１０１の制御及び、複数台のカメラ１０１から取得した複数の撮影画像に基づき、オブジェクト１０７の三次元形状データ（３Ｄモデル）を生成する。ＵＩパネル１０３は、液晶ディスプレイ等の表示装置であり、現在の撮影条件や処理設定をユーザに伝えるためのユーザーインターフェースとして機能する。また、ＵＩパネル１０３は、タッチパネル又はボタン等の入力装置を備えていてもよく、撮影条件や処理設定に関してユーザからの指示を受け付けることができる。尚、入力装置は、マウスやキーボードのようにＵＩパネル１０３とは別に設けられていてもよい。記憶装置１０４は、画像処理装置１０２から取得したオブジェクトの三次元形状データを記憶する。表示装置は、画像処理装置１０２からオブジェクトの三次元形状データを取得して表示する。撮影領域１０６は、スタジオ内に設置された複数のカメラ１０１によって囲まれた空間（三次元空間）であり、実線で示す枠は床面における撮影領域１０６の前後方向および左右方向の輪郭を示す。
（【００１１】以降は省略されています）

関連特許