特許ウォッチ

公開番号2024055772
公報種別公開特許公報(A)
公開日2024-04-18
出願番号2023139292
出願日2023-08-29
発明の名称コンピュータビジョン方法およびシステム
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G06T 7/586 20170101AFI20240411BHJP(計算;計数)
要約【課題】オブジェクトの3次元再構成を生成するコンピュータビジョン方法を提供する。
【解決手段】方法は、オブジェクトの照度差ステレオ画像の、異なる方向からの照明を使用して第1の位置にあるカメラから撮られた少なくとも1つの画像を含む第1のセット及びオブジェクトの照度差ステレオ画像の、異なる方向からの照明を使用して第2の位置にあるカメラから撮られた少なくとも1つの画像を含む第2のセットを受信し、照度差ステレオ画像の第1のセットを使用してオブジェクトの第1の法線マップ及び照度差ステレオ画像の第2のセットを使用してオブジェクトの第2の法線マップを生成し、第1の法線マップ内の法線のパッチと第2の法線マップ内の法線のパッチとの間のステレオマッチングを実行することによりオブジェクトの形状のステレオ推定を決定する。法線マップを、オブジェクトの再構成を生成するためにオブジェクトの形状の第1の推定と共に使用する。
【選択図】図5
特許請求の範囲【請求項１】
オブジェクトの３次元再構成を生成するコンピュータビジョン方法であって、
前記オブジェクトの複数の照度差ステレオ画像の第１のセットおよび前記オブジェクトの複数の照度差ステレオ画像の第２のセットを受信することと、前記第１のセットは、複数の異なる方向からの照明を使用して第１の位置にある第１のカメラから撮られた少なくとも１つの画像を含み、前記第２のセットは、複数の異なる方向からの照明を使用して第２の位置にある第２のカメラから撮られた少なくとも１つの画像を含み、
複数の照度差ステレオ画像の前記第１のセットを使用して前記オブジェクトの第１の法線マップを生成することと、
複数の照度差ステレオ画像の前記第２のセットを使用して前記オブジェクトの第２の法線マップを生成することと、
前記第１の法線マップ内の複数の法線の複数のパッチと前記第２の法線マップ内の複数の法線の複数のパッチとの間のステレオマッチングを実行することによって前記オブジェクトの形状のステレオ推定を決定することと、
前記オブジェクトの再構成を生成するために前記オブジェクトの前記形状の前記ステレオ推定と共に前記第１の法線マップおよび前記第２の法線マップを使用することと
を含む方法。
続きを表示（約 1,500 文字）【請求項２】
前記第１の法線マップおよび前記第２の法線マップは、前記オブジェクトに対する前記照明の複数の近接場効果についての光分布を再計算するために前記オブジェクトの前記形状の推定を使用して生成される、請求項１に記載の方法。
【請求項３】
前記オブジェクトの前記再構成を使用して複数の近接場効果による前記光分布を再計算することと、前記再計算された光分布から前記第１の法線マップおよび前記第２の法線マップを再計算することと、前記オブジェクトのさらなる再構成を生成することとをさらに含む、請求項２に記載の方法。
【請求項４】
複数の近接場効果による前記光分布を再計算することは、
（ａ）前記再計算された光分布から前記第１の法線マップおよび前記第２の法線マップを再計算するために前記オブジェクトの前記再構成を使用することと、
（ｂ）前記再計算された第１の法線マップ内の複数の法線の複数のパッチと前記再計算された第２の法線マップ内の複数の法線の複数のパッチとの間のステレオマッチングを実行することによって前記オブジェクトの前記形状のさらなる推定を決定することと、
（ｃ）前記再計算された第１の法線マップおよび前記再計算された第２の法線マップのうちの少なくとも１つから前記形状のさらなる再構成を生成することと、
前記オブジェクトの複数のさらなる再構成が収束するまで（ａ）から（ｃ）を繰り返すことと
を含む、請求項３に記載の方法。
【請求項５】
前記オブジェクトの再構成を生成するために前記オブジェクトの前記形状の前記ステレオ推定と共に前記第１の法線マップおよび前記第２の法線マップを使用することは、
第１の再構成を生成するために前記第１の法線マップを前記形状の前記ステレオ推定の制約と統合することと、
第２の再構成を生成するために前記第２の法線マップを前記形状の前記ステレオ推定の制約と統合することと、
前記オブジェクトの前記再構成である融合された再構成を生成するために前記第１の再構成および前記第２の再構成を組み合わせることと
を含む、請求項１に記載の方法。
【請求項６】
前記融合された再構成は、ポアソンソルバを使用して生成される、請求項５に記載の方法。
【請求項７】
前記第１の法線マップおよび前記第２の法線マップ上でステレオマッチングを実行することは、
前記第１の法線マップ上の少なくとも１つの画素グループを選択することと、
複数のマッチのために前記第２の法線マップにわたって走査することによって前記第２の法線マップ内でマッチした画素グループを探索することと
を含む、請求項１に記載の方法。
【請求項８】
複数のマッチのために前記第２の法線マップにわたって走査することは、エピポーラ線にわたって実行される、請求項７に記載の方法。
【請求項９】
マッチした画素グループを探索することは、前記オブジェクトの現在の推定された再構成によって制約を受ける、請求項７に記載の方法。
【請求項１０】
前記第１の法線マップおよび前記第２の法線マップ上でステレオマッチングを実行することは、
前記第１の法線マップの前記少なくとも１つの画素グループに対してパッチワーピングを実行することと、
前記第１の法線マップの前記パッチワーピングされた少なくとも１つの画素グループを使用して前記第２の法線マップの対応する画素グループを決定することと
を含む、請求項７に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
実施形態は、オブジェクトの３Ｄ撮像を実行するためのコンピュータビジョンシステムおよび方法に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
多くのコンピュータビジョンタスクは、オブジェクトが光を反射するやり方からオブジェクトの正確な３Ｄ再構成を取り出すことを必要とする。しかしながら、３Ｄジオメトリを再構成することは、キャストシャドウ、自己反射、および周辺光などのグローバル照明効果が、特に鏡面について、作用するので難題である。
【０００３】
照度差ステレオは、コンピュータビジョンにおける長年の問題である。最近の方法は、実データセットと合成データセットとの両方で印象的な法線推定精度を達成している。しかしながら、推定された形状の品質および実用性における進歩は、特に一般的な光の反射に対処するときに、グローバルジオメトリを取り出す際の不正確さのために進歩が非常に制限されるので、あまり説得力がない。
【０００４】
照度差ステレオ技法が、単一のカメラ位置からの画像の取得のみに頼るとき（単眼照度差ステレオ）、再構成の精度は、通常、カメラと対象のオブジェクトとの間の距離の大雑把な推定に依存する。例えば、画像の取得の前または後に、オブジェクトジオメトリの初期推定が得られ、深度マップが初期オブジェクトジオメトリに基づいて初期化される。
【図面の簡単な説明】
【０００５】
図１は、本発明の理解に役立つ一例によるシステムの概略図。
図２は、オブジェクトの３Ｄ撮像を実行するためのカメラおよび光源の配置を示す概略図。
図３は、オブジェクトまたは背景の照度差ステレオ画像のセットから面法線を復元する方法の高レベルの概略図。
図４は、オブジェクトの３Ｄ撮像を実行するためのカメラおよび光源の配置を示す概略図。
図５は、一実施形態による３Ｄ再構成のための方法の流れ図。
図６は、観測マップから法線マップを取り出すために使用できるＣＮＮの概略図。
図７は、一実施形態による再構成方法の動作原理を示す図。
図８は、一実施形態による方法のステップを示す図。
図９は、単眼（単一ビュー）照度差ステレオと比較した方法の結果を示す図。
図１０は、一実施形態によるシステムの概略図。
【発明を実施するための形態】
【０００６】
第１の態様では、オブジェクトの３次元再構成を生成するコンピュータビジョン方法であって、
オブジェクトの照度差ステレオ画像の第１のセットおよびオブジェクトの照度差ステレオ画像の第２のセットを受信することと、第１のセットは、異なる方向からの照明を使用して第１の位置にある第１のカメラから撮られた少なくとも１つの画像を含み、第２のセットは、異なる方向からの照明を使用して第２の位置にある第２のカメラから撮られた少なくとも１つの画像を含み、
照度差ステレオ画像の第１のセットを使用してオブジェクトの第１の法線マップを生成することと、
照度差ステレオ画像の第２のセットを使用してオブジェクトの第２の法線マップを生成することと、
第１の法線マップ内の法線のパッチと第２の法線マップ内の法線のパッチとの間のステレオマッチングを実行することによってオブジェクトの形状のステレオ推定を決定することと、
オブジェクトの再構成を生成するためにオブジェクトの形状のステレオ推定と共に第１の法線マップおよび第２の法線マップを使用することと
を含む方法が提供される。
【０００７】
開示された方法は、コンピュータ技術に結び付けられ、コンピューティングの分野で生じる技術的問題、すなわち、オブジェクトまたは背景の３次元再構成を生成する技術的問題に対処する。開示された方法は、再構成の品質を改善する仕方に関するこの技術的問題を解決する。改善は、緻密な局所形状変化を推定する際の照度差ステレオの強度と疎であるが正確な深度推定を行う際のストラクチャフロムモーション（Structure from Motion）の強度をマージする双眼ベースの照度差ステレオを与えることによって提供される。
【０００８】
オブジェクトは、キャプチャ装置のカメラの深度範囲内に配置されてもよく、オブジェクトとカメラとの間の距離（すなわち、深度ｚ）は、定規を用いておおよそ測定される。次いで、深度マップは、定規、またはカメラからオブジェクトまでの平均距離を推定する他の方法を用いて推定されるように、全ての点の深度を一定値に設定することによって初期化される。深度を初期化する他の方法が使用されてもよく、例えば、CADモデル、ｋｉｎｅｃｔタイプの深度センサなどを使用してよい。初期オブジェクトジオメトリの推定における任意のさらなる精巧さの追加は、例えば、単一の反復によって、方法の実行時間を減少させることができる。
【０００９】
要するに、照度差ステレオにおける固有の曖昧さは、カメラからの対象のオブジェクトの大雑把な深度を決定することから生じる。これは、ジオメトリの可測性を確実にするためにスケールファクタが決定されなければならない現実世界の用途にとって特に極めて重要である。
【００１０】
この問題に少なくとも一部対処するために、緻密な局所形状変化を推定する際の照度差ステレオの強度と疎であるが正確な深度推定を行う際のストラクチャフロムモーションの強度をマージする双眼ベースの照度差ステレオが本明細書で説明される。
（【００１１】以降は省略されています）

関連特許