特許ウォッチ

公開番号2025099272
公報種別公開特許公報(A)
公開日2025-07-03
出願番号2023215803
出願日2023-12-21
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 7/00 20170101AFI20250626BHJP(計算;計数)
要約【課題】仮想視点画像の生成の際に用いるオブジェクトに対応する3次元場を高精度に推定する。
【解決手段】本開示に係る画像処理装置102は、複数の視点からの撮影により得られる複数の撮影画像のデータを取得し、前記複数の撮影画像のそれぞれにおける、オブジェクトの像に対応するオブジェクト領域を取得し、前記複数の視点からの撮影対象である撮影空間の3次元場に関する情報の学習に用いる学習光線群であって、取得された前記オブジェクト領域に基づいて前記複数の撮影画像のそれぞれの画素に対応する前記学習光線群を設定し、設定された前記学習光線群に基づいて、前記3次元場に関する情報の学習を行う。
【選択図】図5
特許請求の範囲【請求項１】
複数の視点からの撮影により得られる複数の撮影画像のデータを取得する画像取得手段と、
前記複数の撮影画像のそれぞれにおける、オブジェクトの像に対応するオブジェクト領域を取得する領域取得手段と、
前記複数の視点からの撮影対象である撮影空間の３次元場に関する情報の学習に用いる学習光線群を設定する光線設定手段であって、取得された前記オブジェクト領域に基づいて、前記複数の撮影画像のそれぞれの画素に対応する前記学習光線群を設定する前記光線設定手段と、
設定された前記学習光線群に基づいて、前記３次元場に関する情報の学習を行う学習手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,700 文字）【請求項２】
前記学習手段は、前記学習光線群のうちから前記３次元場に関する情報の学習に用いる学習光線を選択する際の、前記オブジェクト領域に対応する前記学習光線の選択数を制御すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記学習光線群のうちから前記３次元場に関する情報の学習に用いる学習光線を選択する際の、前記学習光線の選択数に関する情報を学習用パラメータとして取得するパラメータ取得手段、を更に有すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記パラメータ取得手段は、前記学習光線群のうち前記３次元場に関する情報の学習に用いる学習光線を選択する際の、前記オブジェクト領域に対応する前記学習光線の選択数を前記学習用パラメータとして取得し、
前記学習手段は、設定された前記学習光線群のうちから前記３次元場に関する情報の学習に用いる前記学習光線を選択する際に、前記学習用パラメータとして取得された前記オブジェクト領域に対応する前記学習光線の選択数に基づいて前記学習光線を選択すること、
を特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記パラメータ取得手段は、前記オブジェクト領域に対応する前記学習光線の比率を前記学習用パラメータとして取得し、
前記学習手段は、取得された当該比率に基づいて、前記３次元場に関する情報の学習に用いる前記学習光線を選択する際の、前記オブジェクト領域に対応する前記学習光線の選択数を決定し、決定した前記学習光線の選択数に基づいて前記３次元場に関する情報の学習に用いる前記学習光線を選択すること、
を特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記学習手段は、前記複数の撮影画像のそれぞれにおける、前記オブジェクト領域に含まれる画素数と、前記オブジェクト領域以外の領域である非オブジェクト領域に含まれる画素数との比率に基づいて、前記オブジェクト領域に対応する前記学習光線の選択数を決定すること、
を特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記パラメータ取得手段は、前記３次元場に関する情報の学習に用いる前記学習光線を選択する際の、前記オブジェクト領域に対応する前記学習光線の選択数の下限値及び上限値の少なくともいずれかを前記学習用パラメータとして取得し、
前記学習手段は、取得された前記下限値及び前記上限値の少なくいずれかに基づいて、前記３次元場に関する情報の学習に用いる前記学習光線を選択する際の、前記オブジェクト領域に対応する前記学習光線の選択数を決定すること、
を特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記学習手段は、設定された前記学習光線群のうちから前記３次元場に関する情報の学習に用いる学習光線を選択する際の、前記オブジェクト領域に対応する前記学習光線の選択数を、前記複数の撮影画像における撮影画像ごとに決定すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記複数の撮影画像のそれぞれにおいて学習領域を設定する領域設定手段、
を更に有し、
前記学習手段は、前記学習領域に対応する前記学習光線群のうちから、前記３次元場に関する情報の学習に用いる学習光線を選択し、選択した前記学習光線を用いて前記３次元場に関する情報の学習を行うこと、
を特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記複数の撮影画像のそれぞれにおいて学習領域を設定する領域設定手段、
を更に有し、
前記光線設定手段は、前記学習領域に含まれる画素に対応する前記学習光線群を設定し、
前記学習手段は、設定された前記学習光線群に基づいて、前記３次元場に関する情報の学習を行うこと、
を特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、互いに異なる複数の位置からの撮影により得られる複数の撮影画像を用いて、任意の仮想的な視点から見たときの像に対応する画像を生成するための画像処理技術に関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
互いに異なる複数の位置のそれぞれに配置された、カメラパラメータが既知の撮像装置による撮影により得られる複数の撮影画像（以下「多視点画像」と呼ぶ。）を用いて、任意の仮想的な視点から見たときの像に対応する画像を生成する技術がある。以下、仮想的な視点を「仮想視点」と称し、仮想視点から見たときの像に対応する画像を「仮想視点画像」と称して説明する。特許文献１には、多視点画像のデータ（以下「多視点画像データ」と呼ぶ。）を入力として、任意の仮想視点に対応する仮想視点画像を生成する技術として、ＮｅＲＦ（Neural Radiance Fields）と呼ばれる技術が開示されている。特許文献１に開示のＮｅＲＦと呼ばれる技術は、ニューラルネットワークとボリュームレンダリングとから成る。具体的には、ＮｅＲＦのニューラルネットワークは、多視点画像データを構成する複数の撮影画像のデータ（以下「撮影画像データ」と呼ぶ。）を入力として、任意の位置及び方向についての密度及び色を示す情報を出力する。また、ＮｅＲＦのボリュームレンダリングは、仮想視点画像における画素に対応する光線上のサンプリング点から得られる色を、密度に応じて累積することにより画素値を算出する。
【０００３】
ＮｅＲＦのニューラルネットワークは、多視点画像の画素値を教師データとして、当該画素値とＮｅＲＦにより算出される画素値との差（損失）を小さくするようにネットワークパラメータを調整することにより学習される。一般的に、ＮｅＲＦのニューラルネットワークの学習では、撮影画像における画素に対応する光線がランダムにサンプリングされ、これを１つの学習単位（以下「ミニバッチ」と呼ぶ。）として学習が繰り返される、ミニバッチ学習が採用されている。ミニバッチ学習によれば、全ての光線を一度に学習するバッチ学習と比較して、ＶＲＡＭ（Video Random Access Memory）の使用量を削減することができる。また、ミニバッチ学習では段階的な学習が可能であることから、ミニバッチ学習は、ＮｅＲＦに関連する技術におけるニューラルネットワークの学習の実施に必須であるとされている。
【先行技術文献】
【特許文献】
【０００４】
米国特許第１１３０８６５９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示の技術（以下「従来技術」と呼ぶ。）では、撮影画像の画角に対する、対象の被写体となるオブジェクト（以下、単に「オブジェクト」と呼ぶ。）の占有率が小さい場合に、オブジェクトの推定に失敗することがある。ここでいう、オブジェクトの推定の失敗とは、例えば、仮想視点画像において、オブジェクトに対応する像の一部又は全部が消失することを意味する。このようなオブジェクトの推定の失敗は、ミニバッチにオブジェクトを表す光線が含まれないことに起因する。一方、撮影画像の画角に対してオブジェクトの占有率が大きい場合には、仮想視点画像におけるオブジェクトに対応する像の周辺に、フロータと呼ばれる靄のようなアーティファクトが生じてしまうことがある。
【課題を解決するための手段】
【０００６】
本開示に係る画像処理装置は、複数の視点からの撮影により得られる複数の撮影画像のデータを取得する画像取得手段と、前記複数の撮影画像のそれぞれにおける、オブジェクトの像に対応するオブジェクト領域を取得する領域取得手段と、前記複数の視点からの撮影対象である撮影空間の３次元場に関する情報の学習に用いる学習光線群を設定する光線設定手段であって、取得された前記オブジェクト領域に基づいて、前記複数の撮影画像のそれぞれの画素に対応する前記学習光線群を設定する前記光線設定手段と、設定された前記学習光線群に基づいて、前記３次元場に関する情報の学習を行う学習手段と、を有する。
【発明の効果】
【０００７】
本開示によれば、撮影画像の画角に対するオブジェクトの占有率に関わらず、仮想視点画像の生成の際に用いるオブジェクトに対応する３次元場を、高精度に推定することができる。
【図面の簡単な説明】
【０００８】
実施形態１に係る画像処理システムの構成の一例を示す図である。
実施形態１に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
従来技術において生じる問題点の原因について説明するための図である。
従来技術において生じる問題点の原因について説明するための図である。
実施形態１に係る画像処理装置の機能構成の一例を示すブロック図である。
実施形態１に係る画像処理装置の処理フローの一例を示すフローチャートである。
図６（ａ）に示すフローチャートの処理を説明するための図である。
実施形態１に係るオブジェクト光線リストに含まれるオブジェクト光線のデータのサンプリングの流れの一例を示す図である。
実施形態２に係る画像処理装置の機能構成の一例を示すブロック図である。
実施形態２に係る画像処理装置の学習フェーズにおける処理フローの一例を示すフローチャートである。
図１０に示すフローチャートの処理を説明するための図である。
実施形態３に係る画像処理装置の処理フローの一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本開示の実施形態について図面を参照して説明する。なお、以下の実施形態は、本開示の解決手段を必ずしも限定するものではない。また、実施形態において説明されている特徴の組み合せの全てが本開示の解決手段に必須のものとは限らない。また、以下の実施形態では、画像上の２次元の領域を単に「領域」と表記し、撮影空間における３次元の領域を「空間」と表記して説明する。
【００１０】
［実施形態１］
＜画像処理システムの構成＞
図１は、実施形態１に係る画像処理システムの構成の一例を示す図である。画像処理システムは、複数の撮像装置１０１、画像処理装置１０２、ユーザーインターフェース（以下「ＵＩ」と表記する。）パネル１０３、記憶装置１０４、及び表示装置１０５を有する。複数の撮像装置１０１は、デジタルスティルカメラ又はデジタルビデオカメラ等により構成され、互いに異なる位置に配置されている。各撮像装置１０１は、予め定められた撮影条件に従って撮影空間１０６に存在するオブジェクト１０７を互いに同期して撮影し、当該撮影により得られる撮影画像データを画像処理装置１０２に出力する。撮像装置１０１による撮影により得られる撮影画像データは、静止画像のデータであってもよく、動画像のデータであってもよく、静止画像及び動画像の両方のデータであってもよい。以下、「画像」という用語は、特に断りがない限り、「静止画像」及び「動画像」の両方の意味を含むものとして説明する。
（【００１１】以降は省略されています）

関連特許