特許ウォッチ

公開番号2024066707
公報種別公開特許公報(A)
公開日2024-05-16
出願番号2022176313
出願日2022-11-02
発明の名称制御プログラム,制御方法及び情報処理装置
出願人富士通株式会社
代理人弁理士法人真田特許事務所,個人
主分類G06T 7/00 20170101AFI20240509BHJP(計算;計数)
要約【課題】高解像度の不可視光画像の取得時間を短縮する。
【解決手段】制御プログラムは、所定の撮像範囲2を撮像装置21で撮像した第1画像211と、前記撮像範囲2を前記撮像装置21よりも解像度の低い不可視光撮像装置22で撮像した第1不可視光画像221とを取得し、前記第1画像211と前記第1不可視光画像221とを入力として、前記第1不可視光画像211よりも解像度の高い第2不可視光画像を、機械学習モデル30を用いて生成し、前記第2不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲2の中から、不可視光画像の取得対象領域20を決定し、前記不可視光撮像装置22の光学拡大制御により、前記第1不可視光画像221における前記取得対象領域20の解像度よりも高い解像度で前記取得対象領域20を撮像した第3不可視光画像223を取得する、処理をコンピュータに実行させる。
【選択図】図4
特許請求の範囲【請求項１】
所定の撮像範囲を撮像装置で撮像した第１画像と、前記撮像範囲を前記撮像装置よりも解像度の低い不可視光撮像装置で撮像した第１不可視光画像とを取得し、
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
処理をコンピュータに実行させる、制御プログラム。
続きを表示（約 1,300 文字）【請求項２】
前記取得対象領域を決定する処理は、複数の前記指標のうちの、前記取得対象領域の範囲内のピクセルについての指標の合計値が最大となる領域を、前記取得対象領域として決定する処理を含む、
請求項１に記載の制御プログラム。
【請求項３】
前記取得対象領域を決定する処理は、前記不可視光撮像装置の光学拡大制御に関する所定のコストと、前記指標の合計値とに基づき、所定時間内に前記不可視光撮像装置により撮像可能な１以上の前記取得対象領域を決定する処理を含む、
請求項２に記載の制御プログラム。
【請求項４】
前記第２不可視光画像に含まれる前記取得対象領域の部分画像と、前記第３不可視光画像との差が最小となるように前記機械学習モデルを訓練する、
処理を前記コンピュータに実行させる、請求項１～請求項３のいずれか１項に記載の制御プログラム。
【請求項５】
前記第２不可視光画像に含まれる前記取得対象領域の部分画像を前記第３不可視光画像に置換して得られる第４不可視光画像を、前記機械学習モデルの推論結果として出力する、
処理を前記コンピュータに実行させる、請求項１～請求項３のいずれか１項に記載の制御プログラム。
【請求項６】
前記撮像装置は、可視光画像を撮像する可視光撮像装置であり、
前記不可視光撮像装置は、赤外線画像を撮像する赤外光撮像装置である、
請求項１～請求項３のいずれか１項に記載の制御プログラム。
【請求項７】
所定の撮像範囲を撮像装置で撮像した第１画像と、前記撮像範囲を前記撮像装置よりも解像度の低い不可視光撮像装置で撮像した第１不可視光画像とを取得し、
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
処理をコンピュータが実行する、制御方法。
【請求項８】
所定の撮像範囲を撮像装置で撮像した第１画像と、前記撮像範囲を前記撮像装置よりも解像度の低い不可視光撮像装置で撮像した第１不可視光画像とを取得し、
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
制御部を備える、情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、制御プログラム，制御方法及び情報処理装置に関する。
続きを表示（約 1,000 文字）【背景技術】
【０００２】
機械学習において、学習にラベル付きデータを用いる教師有り学習が製品の分類問題等に応用されることがある。
【０００３】
ラベル付きデータは、物体を含む撮像範囲を撮像して得られた画像に、当該物体の分類（クラス）を示す正解ラベルが付与されたデータである。画像への正解ラベルの付与は通常は人手で行なわれるため、ラベル付きデータはラベル無しデータに比べて収集コストが大きくなる。
【０００４】
また、安価な低解像度のカメラを用いて複数枚の拡大画像を撮像し、これらの複数枚の拡大画像を合成することで高解像度の画像を取得する、パノラマ合成技術が知られている。
【先行技術文献】
【特許文献】
【０００５】
米国特許出願公開第２０１５／００５５８８６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したラベル付きデータに用いる画像として、より高解像度な画像を取得したい場合がある。
【０００７】
例えば、サーモカメラは、通常の可視光カメラと比較して、一般に高価格であるが解像度は低い。そこで、高解像度な熱画像を取得するために、例えば、パノラマ合成技術により、サーモカメラにより複数枚の低解像度の熱画像を撮像し、これらを合成して高解像度の熱画像を取得することが考えられる。
【０００８】
しかし、パノラマ合成技術では、画像の枚数が増加するほど合計の撮像時間が増加する。従って、撮像対象が経時変化する場合、撮像時間が増加することで、撮像対象を正確に撮像した高解像度の熱画像が取得できない場合がある。高解像度の正確な熱画像が取得できないことで、ラベル付きの熱画像を訓練データとして用いて訓練する機械学習モデルの精度が低下する可能性がある。
【０００９】
なお、上述した不都合は、サーモカメラにより熱画像を撮像する場合に限定されるものではなく、不可視光撮像装置により種々の不可視光画像を撮像する場合においても同様に生じ得る。
【００１０】
１つの側面では、本発明は、高解像度の不可視光画像の取得時間を短縮することを目的の１つとする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許