特許ウォッチ

公開番号2025018758
公報種別公開特許公報(A)
公開日2025-02-06
出願番号2023122743
出願日2023-07-27
発明の名称情報処理装置、情報処理装置の制御方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 15/20 20110101AFI20250130BHJP(計算;計数)
要約【課題】ノイズの原因となる画像を探索する煩雑さを低減するとともに、ノイズ領域以外の画像データを有効に用いて、仮想視点画像を生成する技術を提供する。
【解決手段】被写体を複数の方向から撮影した画像群に基づいて仮想視点画像を生成する情報処理装置であって、第1の仮想視点画像を取得する仮想視点画像取得手段と、前記第1の仮想視点画像上の特定の領域の少なくとも1つの画像座標を取得する画像座標取得手段と、前記少なくとも1つの画像座標の画素値に基づいて、前記仮想視点画像を生成するためのパラメータを算出する算出手段と、前記算出されたパラメータを用いて第2の仮想視点画像を生成する生成手段とを備える。
【選択図】図4
特許請求の範囲【請求項１】
被写体を複数の方向から撮影した画像群に基づいて仮想視点画像を生成する情報処理装置であって、
第１の仮想視点画像を取得する仮想視点画像取得手段と、
前記第１の仮想視点画像上の特定の領域の少なくとも１つの画像座標を取得する画像座標取得手段と、
前記少なくとも１つの画像座標の画素値に基づいて、前記仮想視点画像を生成するためのパラメータを算出する算出手段と、
前記算出されたパラメータを用いて第２の仮想視点画像を生成する生成手段と、
を備えることを特徴とする情報処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記少なくとも１つの画像座標の画素値に類似した画素値の画素を探索して画像座標を更新する画像座標更新手段をさらに備え、
前記算出手段は、前記画像座標更新手段により更新された画像座標の画素値に基づいて、前記パラメータを算出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像座標更新手段は、前記少なくとも１つの画像座標の画素の周辺方向の画素を探索することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記画像座標更新手段は、前記第１の仮想視点画像の前後のフレームの画素を探索することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記第１の仮想視点画像の入力に対して前記特定の領域の画像座標を出力する学習モデルを取得する学習モデル取得手段と、
前記学習モデルに基づいて前記特定の領域の画像座標を出力する画像座標検出手段と、をさらに備え、
前記画像座標取得手段は、前記画像座標検出手段により出力された画像座標を取得することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記第１の仮想視点画像の入力に対して前記特定の領域の画像座標を出力する学習モデルを生成する学習モデル生成手段をさらに備え、
前記学習モデル取得手段は、前記学習モデル生成手段により生成された前記学習モデルを取得することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記算出手段は、前記特定の領域の画素値と、当該画素値の決定に寄与する前記画像群中の画素値との類似度が閾値以上である場合、前記類似度が閾値未満である場合と比較して寄与の程度が小さくなるように、前記パラメータを算出することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記算出手段は、前記特定の領域の画素値の決定に寄与する前記画像群中の画素値と、前記特定の領域とは異なる領域の画素値との類似度が閾値以上である場合、前記類似度が閾値未満である場合と比較して寄与の程度が大きくなるように前記パラメータを算出することを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記生成手段は、前記画像群の画素値及び前記被写体の形状データに基づいて、イメージベースドレンダリングにより前記第２の仮想視点画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記画像群の画素値、前記パラメータ及び前記被写体の形状データに基づいて、前記被写体の三次元モデルを生成する三次元モデル生成手段をさらに備え、
前記生成手段は、前記三次元モデルを用いてモデルベースドレンダリングにより前記第２の仮想視点画像を生成することを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
昨今、複数の撮影装置を異なる位置に設置して同期撮影し、当該撮影に基づく複数の画像を合成して仮想視点画像を生成するボリュメトリック技術が注目されている。従来のボリュメトリック技術では、生成した被写体の形状の誤差や各撮影装置が撮影する画像上のノイズなどにより、仮想視点画像上に不自然な色が付くことがある。
【０００３】
特許文献１は、この仮想視点画像の合成に用いた画像を、その寄与率が高いものから順に表示することを開示している。
【先行技術文献】
【特許文献】
【０００４】
特開２０１９－１０６６１７号公報
特開２０１８－４２２３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、ユーザは表示された複数の画像を探索してノイズの原因となる画像を見つける必要があり、またノイズを解消するため同画像を無効にするなどの対処が必要となる。このように、作業の煩雑さやノイズ以外の画像データが無効になるなどの無駄が生じるという課題がある。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、ノイズの原因となる画像を探索する煩雑さを低減するとともに、ノイズ領域以外の画像データを有効に用いて、仮想視点画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成する本発明の一態様による情報処理装置は、
被写体を複数の方向から撮影した画像群に基づいて仮想視点画像を生成する情報処理装置であって、
第１の仮想視点画像を取得する仮想視点画像取得手段と、
前記第１の仮想視点画像上の特定の領域の少なくとも１つの画像座標を取得する画像座標取得手段と、
前記少なくとも１つの画像座標の画素値に基づいて、前記仮想視点画像を生成するためのパラメータを算出する算出手段と、
前記算出されたパラメータを用いて第２の仮想視点画像を生成する生成手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ノイズの原因となる画像を探索する煩雑さを低減するとともに、ノイズ領域以外の画像データを有効に用いて、仮想視点画像を生成することが可能となる。
【図面の簡単な説明】
【０００９】
実施形態１に係るシステム構成図を示す。
実施形態１に係る撮影する空間の模式図を示す。
実施形態１に係る情報処理装置のハードウェア構成図を示す。
実施形態１に係る情報処理装置が実施する処理の手順を示すフローチャートである。
実施形態１に係る表示装置に表示するＵＩ画面を示す。
実施形態１に係る表示装置に表示する処理結果を示す。
実施形態１の変形例に係る表示装置に表示するＵＩ画面を示す。
実施形態１の変形例に係る表示装置に表示する処理結果を示す。
実施形態２に係るシステム構成図を示す。
実施形態２に係る情報処理装置が実施する処理の手順を示すフローチャートである。
実施形態２に係る表示装置に表示するＵＩ画面を示す。
実施形態２に係る表示装置に表示する処理結果を示す。
実施形態３に係るシステム構成図を示す。
実施形態３に係る情報処理装置が実施する処理の手順を示すフローチャートである。
（ａ）実施形態３に係る学習モデルの入力画像を示し、（ｂ）実施形態３に係る学習モデルの推論結果画像を示す。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許