特許ウォッチ

公開番号2024173036
公報種別公開特許公報(A)
公開日2024-12-12
出願番号2023091151
出願日2023-06-01
発明の名称情報処理装置、情報処理方法、及びプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 7/55 20170101AFI20241205BHJP(計算;計数)
要約【課題】計算コストを抑えながらも高精度な3次元再構成を実現する。
【解決手段】情報処理装置は、1以上のカメラによって被写体を撮影し、前記撮影された画像によって前記被写体を3次元再構成する情報処理装置であって、前記被写体の状態を基準に3次元再構成に用いる1以上のカメラを決定する決定手段と、前記決定したカメラで撮影された画像を入力とし、3次元形状を推定する推定器によって3次元形状データを生成する生成手段と、を有する。
【選択図】図6
特許請求の範囲【請求項１】
１以上のカメラによって被写体を撮影し、前記撮影された画像によって前記被写体を３次元再構成する情報処理装置であって、
前記被写体の状態を基準に３次元再構成に用いる１以上のカメラを決定する決定手段と、
前記決定したカメラで撮影された画像を入力とし、３次元形状を推定する推定器によって３次元形状データを生成する生成手段と、
を有することを特徴とする情報処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記決定手段は、前記被写体の正解データと３次元形状を推定する推定器によって推定した形状の差分と、前記被写体の状態を表す低次パラメータとを基に事前に取得した関数によって決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記被写体の状態を表す低次パラメータは３次元再構成に利用する推定器とは異なる手段によって推定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記被写体の状態を表す低次パラメータは、人物の姿勢、形状、方向を表すパラメータであることを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記決定手段は、前記被写体の状態を表す低次パラメータの他に３次元形状データが生成された後のビデオレンダリングに用いる仮想カメラの状態を表すパラメータを参照して決定することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記決定手段は、前記被写体の状態を表す低次パラメータおよび、仮想カメラの状態を表すパラメータに加えて仮想カメラからの視点で仮想カメラから被写体までに遮蔽が発生するかどうかを参照して決定することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記決定手段によって選択されたカメラによって３次元再構成を実施する際、各カメラによって撮影される画像の傾向に応じて３次元再構成に利用される推定器が異なるように学習しておくことを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
【請求項８】
前記決定手段によって選択されたカメラによって３次元再構成を実施する際、時系列に推定結果が安定するために過去に推定した推定時の中間特徴を利用して推定することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
【請求項９】
前記決定したカメラで撮影された画像とは２次元画像であることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記決定したカメラで撮影された画像とはデプスマップによって推定された３次元点群であることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、撮影画像に基づく３次元再構成のための情報処理装置、情報処理方法、及びプログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
野球やラグビーなどの試合のテレビ中継時において、瞬時に選手のプレイ内容を３次元再構成することにより通常は撮影することのできない視点から観た映像を視聴者に届ける技術が注目を集めている（以降、仮想視点映像生成技術と呼称する）。
【０００３】
加えて、ディープラーニング技術を用いて３次元再構成を実施する技術がある。これらディープラーニングを利用することにより従来、実現不可能であったレベルの３次元再構成結果を取得することが期待されている。
【０００４】
非特許文献１では、ＳＭＰＬを利用することにより入力となる２次元画像に映った人物領域を検出した後、人物姿勢や形状パラメータをディープラーニングによって推定することで目標人物の３次元再構成を行うことが開示されている。
【０００５】
非特許文献２では、ＮｅＲＦと呼ばれる仮想視点映像生成技術が開示されている。ディープネットワークを利用してシーンを表すこととしてスパースなセットの複数のカメラ入力画像から３次元再構成しさらに仮想カメラから見た２次元画像へとレンダリングすることが開示されている。
【先行技術文献】
【非特許文献】
【０００６】
Ｍ．Ｌｏｐｅｒ，Ｎ．Ｍａｈｍｏｏｄ，Ｊ．Ｒｏｍｅｒｏ，Ｇ．Ｐｏｎｓ－Ｍｏｌｌ，ａｎｄＭ．Ｊ．Ｂｌａｃｋ，“ＳＭＰＬ：Ａｓｋｉｎｎｅｄｍｕｌｔｉ－ｐｅｒｓｏｎｌｉｎｅａｒｍｏｄｅｌ，”ＡＣＭＴＯＧ，ｖｏｌ．３４，ｎｏ．６，ｐ．２４８，２０１５．
ＢｅｎＭｉｌｄｅｎｈａｌｌ，ＰｒａｔｕｌＰＳｒｉｎｉｖａｓａｎ，ＭａｔｔｈｅｗＴａｎｃｉｋ，ＪｏｎａｔｈａｎＴＢａｒｒｏｎ，ＲａｖｉＲａｍａｍｏｏｒｔｈｉ，ａｎｄＲｅｎＮｇ．Ｎｅｒｆ：Ｒｅｐｒｅｓｅｎｔｉｎｇｓｃｅｎｅｓａｓｎｅｕｒａｌｒａｄｉａｎｃｅｆｉｅｌｄｓｆｏｒｖｉｅｗｓｙｎｔｈｅｓｉｓ．ＩｎＥｕｒｏｐｅａｎｃｏｎｆｅｒｅｎｃｅｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ｐａｇｅｓ４０５-４２１．Ｓｐｒｉｎｇｅｒ，２０２０．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１および２に記載の方法を、例えばＶｉｓｕａｌｈｕｌｌ等の従来の幾何的な方式で実施される仮想視点映像生成技術に単に適用する場合、計算コストが莫大になってしまう。
【０００８】
そこで、本発明では、計算コストを抑えながらも高精度な３次元再構成を実現することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の情報処理装置は、１以上のカメラによって被写体を撮影し、前記撮影された画像によって前記被写体を３次元再構成する情報処理装置であって、前記被写体の状態を基準に３次元再構成に用いる１以上のカメラを決定する決定手段と、前記決定したカメラで撮影された画像を入力とし、３次元形状を推定する推定器によって３次元形状データを生成する生成手段と、を有する。
【発明の効果】
【００１０】
本発明によれば、計算コストを抑えながらも高精度な３次元再構成を実現することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許