特許ウォッチ

公開番号2025117277
公報種別公開特許公報(A)
公開日2025-08-12
出願番号2024012026
出願日2024-01-30
発明の名称情報処理装置、情報処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 7/00 20170101AFI20250804BHJP(計算;計数)
要約【課題】学習領域を狭い空間に限定した場合であっても、学習領域内の放射輝度場を精度よく推定する。
【解決手段】情報処理装置は、所定の撮像空間に存在するオブジェクトを複数の視点から撮像することにより得られる複数の撮像画像のデータと、撮像した際の複数の視点のそれぞれに対応するカメラパラメータと、所定の撮像空間に対応する三次元空間に設定された学習領域の外側に存在するオブジェクトである領域外オブジェクトに関する色の情報とを取得し、複数の撮像画像のデータ、複数の視点のそれぞれに対応するカメラパラメータ、及び領域外オブジェクトに関する色の情報に基づいて、学習領域内の各位置における色及び体積密度に関する情報である空間情報の学習を行い、空間情報の学習は、空間情報を累積することにより得られる累積色と領域外オブジェクトに関する色とを含むレンダリング色と撮像画像の色との差に基づいて行われる。
【選択図】図3
特許請求の範囲【請求項１】
所定の撮像空間に存在するオブジェクトを複数の視点から撮像することにより得られる複数の撮像画像のデータと、撮像した際の前記複数の視点のそれぞれに対応するカメラパラメータとを取得する撮像データ取得手段と、
前記所定の撮像空間に対応する三次元空間に設定された学習領域の外側に存在する前記オブジェクトである領域外オブジェクトに関する色の情報を取得する領域外色データ取得手段と、
前記複数の撮像画像のデータ、前記複数の視点のそれぞれに対応するカメラパラメータ、及び領域外オブジェクトに関する色の情報に基づいて、前記学習領域内の各位置における色及び体積密度に関する情報である空間情報の学習を行う学習手段であって、前記空間情報を累積することにより得られる累積色と前記領域外オブジェクトに関する色とを含むレンダリング色と前記撮像画像の色との差に基づいて、前記空間情報の学習を行う前記学習手段と、
を有することを特徴とする情報処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記学習領域を前記三次元空間内に設定する領域設定手段を更に有すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記学習手段は、前記レンダリング色と前記撮像画像の色との差がより小さくなるように前記空間情報の学習を行うこと、
を特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記学習手段は、前記撮像画像における画素の位置と前記カメラパラメータとに基づいて定まる前記三次元空間内の光線に沿って前記空間情報を累積することにより前記累積色と前記累積色の不透明度とを算出し、前記不透明度に基づく配合比率に従って、前記累積色と前記領域外オブジェクトに関する色の情報に基づいて決定される領域外色とを重ね合わせることにより前記レンダリング色を算出すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記領域外色データ取得手段は、前記領域外オブジェクトに関する色の情報として前記領域外オブジェクトのみが写る画像のデータを取得すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記領域外オブジェクトの少なくとも一部に関する形状を示す形状情報を取得する形状取得手段、
を更に有し、
前記領域外色データ取得手段は、前記撮像画像と前記形状情報とに基づいて前記領域外オブジェクトに関する色の情報を算出すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記空間情報は、多層パーセプトロンにおけるネットワークパラメータにより構成され、
前記学習手段は、前記レンダリング色に関する信号を予測信号とし、前記撮像画像の色に関する信号を教師信号とする誤差逆伝播法により、前記空間情報の学習を行うこと、
を特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記学習手段は、前記学習領域内の前記オブジェクトである領域内オブジェクトが前記領域外オブジェクトにより遮蔽される領域を前記学習領域から除外して、前記空間情報の学習を行うこと、
を特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記空間情報は、多層パーセプトロンにおけるネットワークパラメータにより構成され、
前記学習手段は、前記レンダリング色に関する信号を予測信号とし、前記撮像画像の色に関する信号を教師信号とする誤差逆伝播法により、前記空間情報の学習を行うものであって、前記領域内オブジェクトが前記領域外オブジェクトにより遮蔽される領域に対応する前記予測信号及び前記教師信号を除外して前記空間情報の学習を行うこと、
を特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記空間情報は、放射輝度場に関する情報であること、
を特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、多数の視点からの撮像により得られた複数の画像を用いて任意の視点から見た場合の像に対応する画像を生成するための画像処理技術に関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
カメラパラメータが既知である複数の視点からの撮像により得られる複数の撮像画像（以下「多視点画像」と呼ぶ。）に基づいて、対象のオブジェクトを任意の視点から見た場合の像に対応する画像を生成する技術がある。以下、任意の視点を「仮想視点」と表記し、仮想視点から見た場合の像に対応する画像を「仮想視点画像」と表記して説明する。特許文献１には、多視点画像を用いて対象のオブジェクトに関する放射輝度場（ＲａｄｉａｎｃｅＦｉｅｌｄｓ）を推定し、推定した放射輝度場を用いて仮想視点から当該オブジェクトを見た場合の見えに対応する仮想視点画像を生成する技術が開示されている。
【０００３】
具体的には、特許文献１に開示の技術では、撮像画像の画素値を教師とする深層学習により、三次元空間中の位置と方向とに対してオブジェクトの色と体積密度とを応答するニューラルネットワーク（以下「ＮｅＲＦ」と表記する。）の学習が行われる。また、仮想視点画像の画素の位置と仮想視点の位置及び仮想視点における視線の方向とに基づいて定まる光線に沿ってＮｅＲＦから出力される色の値を体積密度により重み付けして累積することにより、仮想視点画像の画素値が算出される。以下、仮想視点の位置を示す情報と、仮想視点における視線の方向を示す情報とを含む情報を仮想カメラパラメータと表記して説明する。
【０００４】
画素値の算出処理は、一般にボリュームレンダリングと呼ばれる。ＮｅＲＦの学習では、撮像画像を撮像した視点と同じ視点を仮想視点とした仮想視点画像がボリュームレンダリングにより生成され、生成された仮想視点画像の画素値と撮像画像の画素値との差が損失関数として用いられる。ＮｅＲＦは、元来、複数の視点からの撮像対象の三次元空間の全体を一括して学習するものであり、主のオブジェクトだけでなく、その背景及び他のオブジェクトも含めて学習する。ＮｅＲＦにより生成される仮想視点画像の精度は、ニューラルネットワークのパラメータ数、及び空間をサンプリングする光線の本数を一定とした場合、学習対象とする三次元空間（以下「学習領域」と呼ぶ。）が広いほど低下する。一方、ＮｅＲＦの学習に要する処理時間又はメモリ容量等のコストは、パラメータ数又は光線数が多いほど増大する。したがって、学習領域は、仮想視点画像上に像として再現したいオブジェクトを内包するなるべく狭い空間に限定することが望ましい。
【先行技術文献】
【特許文献】
【０００５】
米国特許第１１３０８６５９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
学習領域を狭い空間に限定した場合、背景及び他のオブジェクトが学習領域に含まれなくなり、学習領域内には背景及び他のオブジェクトが持つ色及び体積密度が存在しなくなる。その結果、学習領域内において、仮想視点画像の画素に対応する光線上に必要な色及び体積密度が存在しない場合が生じる。これに対し、撮像画像には学習領域に含まれない背景又は他のオブジェクトの像が含まれており、撮像画像の画素は、必ず何かしらの色を持っている。このように学習対象の三次元空間に対応する情報には場合により色を示す情報が存在しないため、学習対象の三次元空間に対応する情報と、色の情報を必ず持つ撮像画像に対応する情報との間にギャップが生じてしまい、学習領域内の放射輝度場を精度よく推定することが困難となる。
【０００７】
本開示は、学習領域を狭い空間に限定した場合であっても、学習領域内の放射輝度場を精度よく推定することが可能な技術を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本開示に係る情報処理装置は、所定の撮像空間に存在するオブジェクトを複数の視点から撮像することにより得られる複数の撮像画像のデータと、撮像した際の前記複数の視点のそれぞれに対応するカメラパラメータとを取得する撮像データ取得手段と、前記所定の撮像空間に対応する三次元空間に設定された学習領域の外側に存在する前記オブジェクトである領域外オブジェクトに関する色の情報を取得する領域外色データ取得手段と、前記複数の撮像画像のデータ、前記複数の視点のそれぞれに対応するカメラパラメータ、及び領域外オブジェクトに関する色の情報に基づいて、前記学習領域内の各位置における色及び体積密度に関する情報である空間情報の学習を行う学習手段であって、前記空間情報を累積することにより得られる累積色と前記領域外オブジェクトに関する色とを含むレンダリング色と前記撮像画像の色との差に基づいて、前記空間情報の学習を行う前記学習手段と、を有する。
【発明の効果】
【０００９】
本開示によれば、学習領域を狭い空間に限定した場合であっても、学習領域内の放射輝度場を精度よく推定することができる。
【図面の簡単な説明】
【００１０】
従来のＮｅＲＦにより生成される仮想視点画像の一例を説明するための図である。
第１実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
第１実施形態に係る情報処理装置の論理構成の一例を示すブロック図である。
第１実施形態に係る撮像データ取得部が取得する撮像画像の一例を説明するための図である。
第１実施形態に係る背景データ取得部が取得する背景画像の一例を示す図である。
第１実施形態に係る情報処理装置における処理フローの一例を示すフローチャートである。
第１実施形態に係る情報処理装置により表示出力されるＧＵＩの一例を示す図である。
第１実施形態に係る形状取得部により取得されるオブジェクト形状の一例を示す図である。
第１実施形態に係る学習領域外画像の生成処理における光線の一例を示す図である。
第１実施形態に係る領域外色データ生成部における学習領域外画像の生成処理の流れの一例を示すフローチャートである。
第１実施形態に係る領域外色データ生成部が生成する学習領域外画像の一例を示す図である。
第１実施形態に係る学習部が生成する仮想視点画像の一例を示す図である。
第２実施形態に係る領域外色データ生成部における学習領域外画像の生成処理の流れの一例を示すフローチャートである。
第２実施形態に係る撮像装置及びオブジェクトの位置関係の一例を示している。
第２実施形態に係る学習領域外画像の生成処理における光線の一例を示す図である。
第２実施形態に係る撮像画像、背景画像、学習領域外画像、及び仮想視点画像の一例を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許