特許ウォッチ

公開番号2025095359
公報種別公開特許公報(A)
公開日2025-06-26
出願番号2023211299
出願日2023-12-14
発明の名称光学情報学習生成装置、光学情報学習生成方法及び、プログラム
出願人日本電気株式会社
代理人個人,個人
主分類G06T 15/20 20110101AFI20250619BHJP(計算;計数)
要約【課題】異なるカメラを用いる3次元シーンの任意の視点の2次画像の生成において、使用するカメラの色調の相違によらず、同一の色調の2次画像を生成することを可能とすることに貢献する、光学情報学習生成装置を提供する。
【解決手段】光学情報学習生成装置は、センサにより取得した3次元シーンの2次元画像を教師データとして、光学情報を学習する光学学習推論部を含む光学情報学習推論器と、センサを識別するセンサ識別子を受け取るセンサ識別子入力部と、分光特性変換部と、分光特性変換部に分光特性を設定する分光特性設定部を含み、分光特性設定部は、分光特性変換部にセンサ識別子に対応する学習用分光特性を設定し、光学学習推論部は、光学的な情報を後段に出力し、分光特性変換部は、学習用分光特性に従って、光学的な情報に基づいて色値を出力する。
【選択図】図1
特許請求の範囲【請求項１】
センサにより取得した３次元シーンの２次元画像を教師データとして、光学情報を学習する光学学習推論部を含む光学情報学習推論器と、
前記センサを識別するセンサ識別子を受け取るセンサ識別子入力部と、
分光特性変換部と、
前記分光特性変換部に分光特性を設定する分光特性設定部を含み、
前記分光特性設定部は、前記分光特性変換部に前記センサ識別子に対応する学習用分光特性を設定し、
前記光学学習推論部は、光学的な情報を後段に出力し、
前記分光特性変換部は、前記学習用分光特性に従って、前記光学的な情報に基づいて色値を出力する、光学情報学習生成装置。
続きを表示（約 1,400 文字）【請求項２】
前記光学的な情報を、波長ベクトルに変換する波長出力部を含む、物理光学出力部をさらに含み、
前記分光特性変換部は、前記波長出力部の出力する前記波長ベクトルを前記色値に変換して出力することにより、前記光学的な情報に基づいて前記色値を出力する、請求項１に記載の光学情報学習生成装置。
【請求項３】
前記センサにより取得した前記３次元シーンの前記２次元画像の撮影視点に基づいて生成された、前記３次元シーンの３次元座標と観察方位が前記光学情報学習推論器へ入力され、
前記３次元座標と前記観察方位に基づいた、前記分光特性変換部の出力する色値を用いてレンダリングされた２次元画像と、前記センサにより取得した前記３次元シーンの前記２次元画像の誤差を検出する、誤差検出部をさらに含み、
前記誤差検出部の出力する前記誤差に基づいて、前記光学情報学習推論器が、前記光学学習推論部のパラメータを調整し、学習済みモデルを生成する、請求項１または２に記載の光学情報学習生成装置。
【請求項４】
前記分光特性設定部は、前記分光特性変換部に推論用分光特性を設定し、
入力された前記３次元シーンのユーザの観察視点に基づいて生成された、前記３次元シーンの３次元座標と観察方位を入力として、前記学習済みモデルが、前記光学的な情報を出力し、
前記分光特性変換部は、前記推論用分光特性に従って、前記光学的な情報に基づいて色値を出力する、請求項３に記載の光学情報学習生成装置。
【請求項５】
前記分光特性設定部は、複数の推論用分光特性のうちの１つの推論用分光特性を、前記分光特性変換部に設定する、請求項４に記載の光学情報学習生成装置。
【請求項６】
前記物理光学出力部は、光の光学反射モデル（ＢＲＤＦ）への変換機能を備える光学反射出力部を備える、請求項２に記載の光学情報学習生成装置。
【請求項７】
前記物理光学出力部は、環境光入力部と環境光計算部を備える、請求項２に記載の光学情報学習生成装置。
【請求項８】
前記分光特性変換部は学習機能を備え、前記センサのセンサ応答特性を学習する、請求項１に記載の光学情報学習生成装置。
【請求項９】
光学情報学習生成装置のコンピュータが、
センサを識別するセンサ識別子を受け取ることと、
分光特性として、前記センサ識別子に対応する学習用分光特性を設定することと、
前記センサにより取得した３次元シーンの２次元画像を教師データとして、光学情報を学習することと、
光学的な情報を後段に出力することと、
前記学習用分光特性に従って、前記光学的な情報に基づいて色値を出力することを含む、光学情報学習生成方法。
【請求項１０】
光学情報学習生成装置のコンピュータに、
センサを識別するセンサ識別子を受け取る処理と、
分光特性として、前記センサ識別子に対応する学習用分光特性を設定する処理と、
前記センサにより取得した３次元シーンの２次元画像を教師データとして、光学情報を学習する処理と、
光学的な情報を後段に出力する処理と、
前記学習用分光特性に従って、前記光学的な情報に基づいて色値を出力する処理と、実行させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、光学情報学習生成装置、光学情報学習生成方法及び、プログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
３次元シーンの２次元画像を表示することに関しては、以下のような文献が挙げられる。
【０００３】
特許文献１は、シーンの色及び深度の情報を再構成する方法に関するものである。
【先行技術文献】
【特許文献】
【０００４】
特表２０２１－５３５４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以下の分析は、本発明者によって与えられたものである。
【０００６】
学習型３次元モデリング技術であるＮｅＲＦ（ＮｅｕｒａｌＲａｄｉａｎｃｅＦｉｅｌｄｓ）は、３次元（３Ｄ）形状を扱う広い分野で爆発的に広がりつつある。ＮｅＲＦでは、１台のカメラを使用して取得した３次元シーンの２次元画像を、教師画像としてＲＧＢ信号形式で入力するのが前提となっている。
【０００７】
しかしながら、同じ３次元シーンの２次元画像を取得しても、カメラの個体又は種類が異なることにより、取得された２次元画像が、異なる色調を有することとなる場合が多い。また、複数のカメラが混在して使用される場合には、１つの３次元シーンの同じ２次元画像が、カメラによって異なる色調を有することとなる場合がある。このような場合、複数のカメラが混在したことにより、学習後のモデルを用いて生成される３次元シーンの２次元画像の精度が低下するという結果となる場合もある。あるいは、個別モデルで、学習を行う必要がある。
【０００８】
本発明は、異なるカメラを用いる３次元シーンの任意の視点の２次画像の生成において、使用するカメラの色調の相違によらず、同一の色調の２次画像を生成することを可能とすることに貢献する、光学情報学習生成装置、光学情報学習生成方法及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の視点によればセンサにより取得した３次元シーンの２次元画像を教師データとして、光学情報を学習する光学学習推論部を含む光学情報学習推論器と、
前記センサを識別するセンサ識別子を受け取るセンサ識別子入力部と、
分光特性変換部と、
前記分光特性変換部に分光特性を設定する分光特性設定部を含み、
前記分光特性設定部は、前記分光特性変換部に前記センサ識別子に対応する学習用分光特性を設定し、
前記光学学習推論部は、光学的な情報を後段に出力し、
前記分光特性変換部は、前記学習用分光特性に従って、前記光学的な情報に基づいて色値を出力する、光学情報学習生成装置を、提供できる。
【００１０】
本発明の第２の視点によれば、光学情報学習生成装置のコンピュータが、
センサを識別するセンサ識別子を受け取ることと、
分光特性として、前記センサ識別子に対応する学習用分光特性を設定することと、
前記センサにより取得した３次元シーンの２次元画像を教師データとして、光学情報を学習することと、
光学的な情報を後段に出力することと、
前記学習用分光特性に従って、前記光学的な情報に基づいて色値を出力することを含む、光学情報学習生成方法を、提供できる。本方法は、上記の方法を実行するコンピュータという、特定の機械に結びつけられている。
（【００１１】以降は省略されています）

関連特許