特許ウォッチ

公開番号2025011971
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023114454
出願日2023-07-12
発明の名称ハイパースペクトル画像生成装置、ハイパースペクトル画像生成方法及びプログラム
出願人日本電信電話株式会社,学校法人東京理科大学
代理人弁理士法人志賀国際特許事務所
主分類G06T 7/269 20170101AFI20250117BHJP(計算;計数)
要約【課題】位置ずれのあるRGB画像とハイパースペクトル画像の対に基づいて、RGB画像からハイパースペクトル画像に変換するモデルを生成することができるハイパースペクトル画像生成装置を提供する。
【解決手段】ハイパースペクトル画像生成装置は、所定シーンを撮影したRGB画像と、所定シーンを撮影したハイパースペクトル画像とが入力されるデータ入力部と、データ入力部に入力されたRGB画像に関する画像と、データ入力部に入力されたハイパースペクトル画像に関する画像とに基づいて、オプティカルフロー推定を行うオプティカルフロー推定部と、オプティカルフロー推定部がオプティカルフロー推定を行った結果に基づいて、データ入力部に入力されたRGB画像に関する画像について画像変形を行う画像変形部と、データ入力部に入力されたRGB画像と、画像変形部が変形した画像に関する画像とを対応付けて記憶する記憶部と、を備える。
【選択図】図4
特許請求の範囲【請求項１】
所定シーンを撮影した第１ＲＧＢ画像と、前記所定シーンを撮影したハイパースペクトル画像とが入力されるデータ入力部と、
前記データ入力部に入力された前記第１ＲＧＢ画像に関する画像と、前記データ入力部に入力された前記ハイパースペクトル画像に関する画像とに基づいて、オプティカルフロー推定を行うオプティカルフロー推定部と、
前記オプティカルフロー推定部が前記オプティカルフロー推定を行った結果に基づいて、前記データ入力部に入力された前記第１ＲＧＢ画像に関する画像について画像変形を行う画像変形部と、
前記データ入力部に入力された前記第１ＲＧＢ画像と、前記画像変形部が変形した前記画像に関する画像とを対応付けて記憶する記憶部と、
を備えるハイパースペクトル画像生成装置。
続きを表示（約 1,700 文字）【請求項２】
前記データ入力部に入力された前記第１ＲＧＢ画像に基づくハイパースペクトル画像を生成するハイパースペクトル画像生成部を更に備え、
前記オプティカルフロー推定部は、前記ハイパースペクトル画像生成部が生成した前記ハイパースペクトル画像と、前記データ入力部に入力された前記ハイパースペクトル画像とに基づいて、前記オプティカルフロー推定を行い、
前記画像変形部は、前記オプティカルフロー推定部が前記オプティカルフロー推定を行った結果に基づいて、前記ハイパースペクトル画像生成部が生成した前記ハイパースペクトル画像について前記画像変形を行う
請求項１に記載のハイパースペクトル画像生成装置。
【請求項３】
前記データ入力部に入力された前記ハイパースペクトル画像に基づく第２ＲＧＢ画像を生成するＲＧＢ画像生成部と、
前記画像変形部が前記画像変形を行った前記画像に基づくハイパースペクトル画像を生成するハイパースペクトル画像生成部を更に備え、
前記オプティカルフロー推定部は、前記データ入力部に入力された前記第１ＲＧＢ画像と、前記ＲＧＢ画像生成部が生成した前記第２ＲＧＢ画像とに基づいて、前記オプティカルフロー推定を行い、
前記画像変形部は、前記オプティカルフロー推定部が前記オプティカルフロー推定を行った結果に基づいて、前記データ入力部に入力された前記第１ＲＧＢ画像について前記画像変形を行う
請求項１に記載のハイパースペクトル画像生成装置。
【請求項４】
第２ＲＧＢ画像が入力されるＲＧＢ画像入力部と、
前記ＲＧＢ画像入力部に入力された前記第２ＲＧＢ画像と、前記記憶部が記憶する情報とに基づいて、前記ＲＧＢ画像入力部に入力された前記第２ＲＧＢ画像のハイパースペクトル画像を生成するハイパースペクトル画像生成部と、
を更に備える請求項１に記載のハイパースペクトル画像生成装置。
【請求項５】
前記データ入力部に入力される前記第１ＲＧＢ画像と前記ハイパースペクトル画像とは、互いに位置合わせが行われていない
請求項１に記載のハイパースペクトル画像生成装置。
【請求項６】
前記画像変形部は、Ｆａｒｎｅｂａｃｋアルゴリズムを用いて、前記画像変形を行う
請求項１に記載のハイパースペクトル画像生成装置。
【請求項７】
所定シーンを撮影したＲＧＢ画像と、前記所定シーンを撮影したハイパースペクトル画像とが入力されるデータ入力処理と、
前記データ入力処理で入力された前記ＲＧＢ画像に関する画像と、前記データ入力処理で入力された前記ハイパースペクトル画像に関する画像とに基づいて、オプティカルフロー推定を行うオプティカルフロー推定処理と、
前記オプティカルフロー推定処理で前記オプティカルフロー推定を行った結果に基づいて、前記データ入力処理で入力された前記ＲＧＢ画像に関する画像について画像変形を行う画像変形処理と、
前記データ入力処理で入力された前記ＲＧＢ画像と、前記画像変形処理で変形した前記画像に関する画像とを対応付けて記憶する記憶処理と、
を有するハイパースペクトル画像生成方法。
【請求項８】
ハイパースペクトル画像生成装置のコンピュータに、
所定シーンを撮影したＲＧＢ画像と、前記所定シーンを撮影したハイパースペクトル画像とが入力されるデータ入力機能と、
前記データ入力機能で入力された前記ＲＧＢ画像に関する画像と、前記データ入力機能で入力された前記ハイパースペクトル画像に関する画像とに基づいて、オプティカルフロー推定を行うオプティカルフロー推定機能と、
前記オプティカルフロー推定機能で前記オプティカルフロー推定を行った結果に基づいて、前記データ入力機能で入力された前記ＲＧＢ画像に関する画像について画像変形を行う画像変形機能と、
前記データ入力機能で入力された前記ＲＧＢ画像と、前記画像変形機能で変形した前記画像に関する画像とを対応付けて記憶する記憶機能と、
を実行させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ハイパースペクトル画像生成装置、ハイパースペクトル画像生成方法及びプログラムに関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
ハイパースペクトル（ＨＳ（Ｈｙｐｅｒｓｐｅｃｔｒａｌ））画像は、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）画像よりも詳細な光の波長情報が含まれるため、様々な解析に用いられている。しかし、ハイパースペクトル画像を撮影するためには、高価な機材が必要であったり、撮影の手間がかかったり、解像度が低かったりするなどの制約がある。そのため、ハイパースペクトル画像の一般環境での利用は、まだ進んでいない。
【０００３】
そのため、ＲＧＢ画像からハイパースペクトル画像を生成する方法が研究されている。例えば、非特許文献１では、機械学習を用いてＲＧＢ画像からハイパースペクトル画像に変換する変換モデル（ＲＧＢ２ＨＳ変換モデル）を機械学習し、その変換モデルを用いてハイパースペクトル画像を生成する方法が記載されている。非特許文献１に記載されている方法では、事前に、画素レベルで位置合わせされたＲＧＢ画像とハイパースペクトル画像の対が入手可能であることを前提としており、その対を用いてＲＧＢ２ＨＳ変換モデルの学習を行う。
【先行技術文献】
【非特許文献】
【０００４】
Zhang, Jingang, Runmu Su, Qiang Fu, Wenqi Ren, Felix Heide, and Yunfeng Nie. 2022. "A Survey on Computational Spectral Reconstruction Methods from RGB to Hyperspectral Imaging." Scientific Reports 12(1): 11905.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、実際にＲＧＢ画像からハイパースペクトル画像の生成を行うためには、そのシーンに応じて学習データを作成し、ＲＧＢ２ＨＳ変換モデルを機械学習する必要がある。具体的には、ＲＧＢ画像を撮影するＲＧＢカメラ、および、ハイパースペクトル画像を撮影するハイパースペクトルカメラを並べて一つの被写体を撮影し、撮影したＲＧＢ画像およびＨＳ画像の位置合わせを行う必要がある。衛星画像や病理切片画像は、被写体が平面と仮定できるため、平行移動や拡大縮小などの簡単な処理で位置合わせを行うことが可能である。一方、被写体（例えば、手の甲など）を近距離で撮影する場合には、奥行きを無視することができず、幾何変換モデルを用いるだけでは、ＲＧＢ画像とハイパースペクトル画像の位置合わせを行うことができない。ＲＧＢ画像とハイパースペクトル画像の位置合わせを、ステレオマッチングを用いて行うことも考えられるが、手の甲のような被写体の場合には、テクスチャが乏しいため、位置合わせを行うことが難しい。
【０００６】
上記事情に鑑み、本発明は、位置ずれのあるＲＧＢ画像とハイパースペクトル画像の対に基づいて、ＲＧＢ画像からハイパースペクトル画像に変換するモデルを生成することができるハイパースペクトル画像生成装置、ハイパースペクトル画像生成方法及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、所定シーンを撮影した第１ＲＧＢ画像と、前記所定シーンを撮影したハイパースペクトル画像とが入力されるデータ入力部と、前記データ入力部に入力された前記第１ＲＧＢ画像に関する画像と、前記データ入力部に入力された前記ハイパースペクトル画像に関する画像とに基づいて、オプティカルフロー推定を行うオプティカルフロー推定部と、前記オプティカルフロー推定部が前記オプティカルフロー推定を行った結果に基づいて、前記データ入力部に入力された前記第１ＲＧＢ画像に関する画像について画像変形を行う画像変形部と、前記データ入力部に入力された前記第１ＲＧＢ画像と、前記画像変形部が変形した前記画像に関する画像とを対応付けて記憶する記憶部と、を備えるハイパースペクトル画像生成装置である。
【０００８】
また、本発明の一態様は、所定シーンを撮影したＲＧＢ画像と、前記所定シーンを撮影したハイパースペクトル画像とが入力されるデータ入力処理と、前記データ入力処理で入力された前記ＲＧＢ画像に関する画像と、前記データ入力処理で入力された前記ハイパースペクトル画像に関する画像とに基づいて、オプティカルフロー推定を行うオプティカルフロー推定処理と、前記オプティカルフロー推定処理で前記オプティカルフロー推定を行った結果に基づいて、前記データ入力処理で入力された前記ＲＧＢ画像に関する画像について画像変形を行う画像変形処理と、前記データ入力処理で入力された前記ＲＧＢ画像と、前記画像変形処理で変形した前記画像に関する画像とを対応付けて記憶する記憶処理と、を有するハイパースペクトル画像生成方法である。
【０００９】
また、本発明の一態様は、ハイパースペクトル画像生成装置のコンピュータに、所定シーンを撮影したＲＧＢ画像と、前記所定シーンを撮影したハイパースペクトル画像とが入力されるデータ入力機能と、前記データ入力機能で入力された前記ＲＧＢ画像に関する画像と、前記データ入力機能で入力された前記ハイパースペクトル画像に関する画像とに基づいて、オプティカルフロー推定を行うオプティカルフロー推定機能と、前記オプティカルフロー推定機能で前記オプティカルフロー推定を行った結果に基づいて、前記データ入力機能で入力された前記ＲＧＢ画像に関する画像について画像変形を行う画像変形機能と、前記データ入力機能で入力された前記ＲＧＢ画像と、前記画像変形機能で変形した前記画像に関する画像とを対応付けて記憶する記憶機能と、を実行させるプログラムである。
【発明の効果】
【００１０】
本発明により、位置ずれのあるＲＧＢ画像とハイパースペクトル画像の対に基づいて、ＲＧＢ画像からハイパースペクトル画像に変換するモデルを生成することが可能となる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許