特許ウォッチ

公開番号2025065748
公報種別公開特許公報(A)
公開日2025-04-22
出願番号2023175167
出願日2023-10-10
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 7/55 20170101AFI20250415BHJP(計算;計数)
要約【課題】空間情報の学習を行う際におけるメモリの使用量を低減する。
【解決手段】本開示に係る画像処理装置100は、オブジェクトを複数の方向から撮像することにより得られる複数の撮像画像のデータと複数の撮像画像のそれぞれに対応するカメラパラメータである撮像カメラパラメータとを取得し、複数の撮像画像のそれぞれから、オブジェクトの像に対応する画像領域を抽出することにより、複数のオブジェクト画像を生成し、撮像カメラパラメータと複数の撮像画像におけるオブジェクトの像に対応する画像領域の位置を示す情報とに基づいて、複数のオブジェクト画像のそれぞれに対応するカメラパラメータであるオブジェクト画像カメラパラメータを生成し、複数のオブジェクト画像と、複数のオブジェクト画像のそれぞれに対応するオブジェクト画像カメラパラメータとに基づいて、オブジェクトが存在する空間を表す空間情報を取得する。
【選択図】図1
特許請求の範囲【請求項１】
オブジェクトを複数の方向から撮像することにより得られる複数の撮像画像のデータと前記複数の撮像画像のそれぞれに対応するカメラパラメータである撮像カメラパラメータとを取得するデータ取得手段と、
前記複数の撮像画像のそれぞれから、前記オブジェクトの像に対応する画像領域を抽出することにより、複数のオブジェクト画像を生成するオブジェクト画像生成手段と、
前記撮像カメラパラメータと前記複数の撮像画像における前記オブジェクトの像に対応する画像領域の位置を示す情報とに基づいて、前記複数のオブジェクト画像のそれぞれに対応するカメラパラメータであるオブジェクト画像カメラパラメータを生成するカメラパラメータ生成手段と、
前記複数のオブジェクト画像と、前記複数のオブジェクト画像のそれぞれに対応する前記オブジェクト画像カメラパラメータとに基づいて、前記オブジェクトが存在する空間を表す空間情報を取得する空間取得手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記空間取得手段は、仮の空間情報と前記オブジェクト画像カメラパラメータとに基づいて、前記オブジェクト画像カメラパラメータに基づく仮想の視点から見えに対応する画像を生成し、生成した前記画像と当該オブジェクト画像カメラパラメータに対応する前記オブジェクト画像との差異が小さくなるように前記仮の空間情報の更新を繰り返すことにより、前記空間情報を取得すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記空間情報は、前記空間における位置ごとの密度を表す情報であること、
を特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記空間情報は、前記空間における位置ごとの前記オブジェクトの表面からの符号付距離を表す情報であること、
を特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記空間情報は、前記空間における位置ごとの色を表す情報であること、
を特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記空間情報は、前記空間における位置ごとの、方向ごとに異なる色を表す情報であること、
を特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記空間情報に基づいて、任意の視点からの見えに対応する画像を生成する生成手段、更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記撮像カメラパラメータは、前記撮像に用いた撮像装置の位置、姿勢、焦点距離、及び主点、並びに前記撮像画像のサイズの情報を含むこと、
を特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記カメラパラメータ生成手段は、前記撮像画像における前記オブジェクトの像に対応する画像領域の位置を示す情報に基づいて、前記撮像画像に対応する前記撮像カメラパラメータに含まれる、前記撮像画像のサイズの情報と、前記撮像に用いた撮像装置の主点の情報とを変更することにより、前記オブジェクト画像カメラパラメータを生成すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記オブジェクト画像生成手段が生成する前記オブジェクト画像の解像度を指定する領域設定手段、
を更に有し、
前記オブジェクト画像生成手段は、指定された解像度に基づいて、抽出した前記オブジェクトの像に対応する画像領域を複数の単位領域に分割し、分割した前記複数の単位領域のそれぞれを前記撮像画像から抽出することにより、前記オブジェクト画像を生成すること、
を特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、撮像装置による撮像の対象領域における空間情報を推定する技術に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
複数の視点からの撮像により得られる複数の撮像画像データと、当該撮像に用いられた各撮像装置のカメラパラメータとに基づいて、撮像装置による撮像の対象領域における空間情報を推定する技術がある。この技術によれば、任意の仮想的な視点（以下「仮想視点」と呼ぶ。）からの見えに対応する画像（以下「仮想視点画像」と呼ぶ。）のレンダリングを行うことができる。特許文献１には、仮想視点画像のレンダリングを行うアルゴリズムとして、ＮｅＲＦ（Neural Radiance Field）手法が開示されている。具体的には、特許文献１に開示されたＮｅＲＦ手法は、撮像した視点の位置及び視線の方向等を示す視点情報と推定された空間情報とから得られる仮想視点画像における各画素の色情報と、撮像画像における各画素の色情報とを比較する。続いて、ＮｅＲＦ手法は、これらの色情報同士の誤差を空間情報にフィードバックして学習を行うことにより撮像画像に即した空間情報を生成するものである。特許文献１に開示されたＮｅＲＦ手法によれば、生成された空間情報を用いて、写実性が高い仮想視点画像を生成することができる。
【先行技術文献】
【特許文献】
【０００３】
米国特許第１１３０８６５９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
空間情報の学習を行う際には、多視点からの撮像により得られる複数の撮像画像のそれぞれにおける画素ごとの色情報のサンプリング処理と誤差計算処理とが行われる。そのため、学習を高速に処理するために、空間情報の学習を行う計算機には、上述のサンプリング処理及び誤差計算処理において高い並列性が求められ、一般的に、これらの処理には、ＧＰＵ（Graphics Processing Unit）が用いられる。
【０００５】
しかしながら、撮像画像の数、すなわち、視点の数が多く、且つ、各撮像画像の解像度が高い場合、複数の撮像画像を同時にグラフィックスメモリ（以下「ＶＲＡＭ」と表記する。）上に展開すると、ＶＲＡＭの使用量が非常に多くなる。そのため、他の演算に利用するためのＶＲＡＭが制限されてしまう、又は複数の撮像画像のうちの一部についてのＶＲＡＭ上への展開自体が困難な場合があるという問題点があった。例えば、４Ｋ（３８４０×２１６０画素）の各画素値をＲＧＢの各チャンネルにおいて単精度ｆｌｏａｔ型で持つ撮像画像を、１００個の視点に相当する数だけＶＲＡＭ上に展開する場合、ＶＲＡＭには、約１０ギガバイトという膨大な容量が必要となる。
【０００６】
本開示は、上述した問題点を解決するためになされたものであり、空間情報の学習を行う際におけるメモリの使用量を低減するための画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するために、本開示に係る画像処理装置は、オブジェクトを複数の方向から撮像することにより得られる複数の撮像画像のデータと前記複数の撮像画像のそれぞれに対応するカメラパラメータである撮像カメラパラメータとを取得するデータ取得手段と、前記複数の撮像画像のそれぞれから、前記オブジェクトの像に対応する画像領域を抽出することにより、複数のオブジェクト画像を生成するオブジェクト画像生成手段と、前記撮像カメラパラメータと前記複数の撮像画像における前記オブジェクトの像に対応する画像領域の位置を示す情報とに基づいて、前記複数のオブジェクト画像のそれぞれに対応するカメラパラメータであるオブジェクト画像カメラパラメータを生成するカメラパラメータ生成手段と、前記複数のオブジェクト画像と、前記複数のオブジェクト画像のそれぞれに対応する前記オブジェクト画像カメラパラメータとに基づいて、前記オブジェクトが存在する空間を表す空間情報を取得する空間取得手段と、を有する。
【発明の効果】
【０００８】
本開示によれば、空間情報の学習を行う際におけるメモリの使用量を低減することができる。
【図面の簡単な説明】
【０００９】
第１実施形態に係る画像処理装置の論理構成の一例を示すブロック図である。
第１実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
第１実施形態に係る画像処理装置の処理フローの一例を示すフローチャートである。
第１実施形態に係る画像処理装置の空間情報の取得処理における各種のデータの態様の一例を模式的に示す図である。
第１実施形態に係るカメラパラメータ生成部におけるオブジェクト画像カメラパラメータの生成処理の態様の一例を説明するための図である。
第１実施形態に係る画像処理装置における処理ステップごとのメモリ使用量の変化の一例を示す模式図である。
第２実施形態に係る画像処理装置の論理構成の一例を表すブロック図である。
第２実施形態に係る画像処理装置の処理フローの一例を示すフローチャートである。
第２実施形態に係る画像処理装置における撮像画像データの取得処理からオブジェクト画像カメラパラメータの生成処理までの各種のデータの態様の一例を模式的に示す図である。
第２実施形態に係る画像処理装置１００が表示するＧＵＩ画面の一例を示す図である。
その他の実施形態に係る画像処理装置の処理フローの一例を示すフローチャートである。
その他の実施形態に係る画像処理装置における撮像画像データの取得処理からオブジェクト画像カメラパラメータの生成処理までの各種のデータの態様の一例を模式的に示す図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本開示の実施の形態について詳細に説明する。なお、以下の実施の形態に示す構成は一例に過ぎず、課題を解決するために必要な手段の構成を実施の形態に示す構成のみに限定するものではない。
（【００１１】以降は省略されています）

関連特許