特許ウォッチ

公開番号2025105674
公報種別公開特許公報(A)
公開日2025-07-10
出願番号2025068416,2022059093
出願日2025-04-17,2022-03-31
発明の名称高画質化システム、学習装置、学習方法および推論方法
出願人三菱電機株式会社
代理人弁理士法人クロスボーダー特許事務所
主分類G06T 5/60 20240101AFI20250703BHJP(計算;計数)
要約【課題】ターゲット衛星の最高分解能を超える分解能を有する画像を教師画像にして高解像度化モデルを生成し、画質を高めたターゲット画像に相当する画像を推論する。
【解決手段】劣化処理装置200は、ターゲット衛星によって実施されるリモートセンシングの情報を示すターゲット衛星情報と前記リモートセンシングによって得られるターゲット画像よりも画質が高い参照画像とを受け付け、前記ターゲット衛星情報に基づきバンド毎に異なるオフセットを使ってダウンサンプリングを行う劣化処理を前記参照画像に施すことによって画質を低めた前記参照画像である劣化画像を生成する。学習装置300は、前記劣化画像と前記参照画像の組を学習することによって、学習済みモデルを生成する。推論装置400は、前記ターゲット画像を受け付け、前記学習済みモデルを用いて前記ターゲット画像から画質を高めた前記ターゲット画像に相当する推定画像を推論する。
【選択図】図1
特許請求の範囲【請求項１】
ターゲット衛星によって実施されるリモートセンシングの情報を示すターゲット衛星情報と、前記リモートセンシングによって得られるターゲット画像よりも画質が高い参照画像と、を受け付ける情報受付部と、
前記ターゲット衛星情報に基づき、バンド毎に異なるオフセットを使ってダウンサンプリングを行う劣化処理を前記参照画像に施すことによって、画質を低めた前記参照画像である劣化画像を生成する劣化処理部と、
前記劣化画像と前記参照画像の組を学習することによって、学習済みモデルを生成するモデル生成部と、
前記ターゲット画像を受け付ける画像受付部と、
前記学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論部と、
を備える高画質化システム。
続きを表示（約 3,000 文字）【請求項２】
ターゲット衛星によって実施されるリモートセンシングの情報を示すターゲット衛星情報と、前記リモートセンシングによって得られるターゲット画像よりも画質が高い参照画像と、を受け付ける情報受付部と、
前記ターゲット衛星情報に基づく色ずれを再現する劣化処理を前記参照画像に施すことによって、画質を低めた前記参照画像である劣化画像を生成する劣化処理部と、
前記劣化画像と前記参照画像の組を学習することによって、学習済みモデルを生成するモデル生成部と、
前記ターゲット画像を受け付ける画像受付部と、
前記学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論部と、
を備える高画質化システム。
【請求項３】
ターゲット衛星によって実施されるリモートセンシングの情報を示すターゲット衛星情報と、前記リモートセンシングによって得られるターゲット画像よりも画質が高い参照画像と、を受け付ける情報受付部と、
前記ターゲット衛星情報に基づく劣化処理を前記参照画像に施すことによって、画質を低めた前記参照画像である劣化画像を生成する劣化処理部と、
前記劣化画像と前記参照画像の組を学習することによって、学習済みモデルを生成するモデル生成部と、
前記ターゲット画像を受け付ける画像受付部と、
前記学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論部と、
を備え、
前記劣化処理は、前記ターゲット衛星情報に基づくバンド間のポイントスプレッドファンクションの差異を加味した解像度処理を前記参照画像に対して行う
高画質化システム。
【請求項４】
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高めた前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成する学習装置であって、
前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化画像の組を学習用データとして受け付けるデータ受付部と、
前記学習用データを学習することによって前記学習済みモデルを生成するモデル生成部と、
を備え、
前記劣化画像が、前記リモートセンシングの情報を示すターゲット衛星情報に基づき、バンド毎に異なるオフセットを使ってダウンサンプリングを行う劣化処理を前記参照画像に施すことによって生成される
学習装置。
【請求項５】
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高めた前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成する学習装置であって、
前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化画像の組を学習用データとして受け付けるデータ受付部と、
前記学習用データを学習することによって前記学習済みモデルを生成するモデル生成部と、
を備え、
前記劣化画像が、前記リモートセンシングの情報を示すターゲット衛星情報に基づく色ずれを再現する劣化処理を前記参照画像に施すことによって生成される
学習装置。
【請求項６】
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高めた前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成する学習装置であって、
前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化画像の組を学習用データとして受け付けるデータ受付部と、
前記学習用データを学習することによって前記学習済みモデルを生成するモデル生成部と、
を備え、
前記劣化画像が、前記リモートセンシングの情報を示すターゲット衛星情報に基づくバンド間のポイントスプレッドファンクションの差異を加味した解像度処理を前記参照画像に施すことによって生成される
学習装置。
【請求項７】
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高めた前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成する学習方法であって、
前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化画像の組を学習用データとして受け付け、
前記学習用データを学習することによって前記学習済みモデルを生成し、
前記劣化画像が、前記リモートセンシングの情報を示すターゲット衛星情報に基づき、バンド毎に異なるオフセットを使ってダウンサンプリングを行う劣化処理を前記参照画像に施すことによって生成される
学習方法。
【請求項８】
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高めた前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成する学習方法であって、
前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化画像の組を学習用データとして受け付け、
前記学習用データを学習することによって前記学習済みモデルを生成し、
前記劣化画像が、前記リモートセンシングの情報を示すターゲット衛星情報に基づく色ずれを再現する劣化処理を前記参照画像に施すことによって生成される
学習方法。
【請求項９】
ターゲット衛星のリモートセンシングによって得られるターゲット画像から画質を高めた前記ターゲット画像に相当する推定画像を推論するための学習済みモデルを生成する学習方法であって、
前記ターゲット画像よりも画質が高い参照画像と画質を低めた前記参照画像である劣化画像の組を学習用データとして受け付け、
前記学習用データを学習することによって前記学習済みモデルを生成し、
前記劣化画像が、前記リモートセンシングの情報を示すターゲット衛星情報に基づくバンド間のポイントスプレッドファンクションの差異を加味した解像度処理を前記参照画像に施すことによって生成される
学習方法。
【請求項１０】
ターゲット衛星のリモートセンシングによって得られるターゲット画像を受け付け、
学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論方法であって、
前記学習済みモデルが、劣化画像と参照画像の組を学習することによって生成され、
前記参照画像が、前記ターゲット画像よりも画質が高い画像であり、
前記劣化画像は、画質を低めた前記参照画像であり、前記リモートセンシングの情報を示すターゲット衛星情報に基づき、バンド毎に異なるオフセットを使ってダウンサンプリングを行う劣化処理を前記参照画像に施すことによって生成される
推論方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、画像の高画質化に関するものである。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
従来、洪水、大雨、地震などの災害が発生したときの被害を把握するために、地上センサが使用されていた。地上センサを用いた手法は、家屋、発電所などのスポットの被害状況を把握することに有用である。
一方で、地上センサを用いた手法では、被害が広域で発生する状況において、より被害が大きい地域を把握するための面的な情報を取得することが困難である。
【０００３】
近年、広域災害の被害状況を把握するために、リモートセンシングデータを活用した解析手法が提案されている。
リモートセンシングの例として、航空機、ＵＡＶ、光学衛星、ＳＡＲ衛星などの飛翔体からのセンシングが挙げられる。
ＵＡＶは、ＵｎｍａｎｎｅｄＡｅｒｉａｌＶｅｈｉｃｌｅの略称であり、ドローンとも呼ばれる。
ＳＡＲは合成開口レーダの略称である。
【０００４】
光学衛星によって得られる画像は、地表の様々な対象に対する監視手段として用いられている。
また、画像の地表分解能を向上させるために高解像度化モデルを用いて画像を高解像度化する技術がある。高解像度化モデルは、超解像モデルとも呼ばれ、機械学習によって生成される。
【０００５】
特許文献１は、高解像度化モデルを用いて画像を高解像度化する技術を開示している。
高解像度化モデルは次のように生成される。まず、高解像度画像が用意される。次に、高解像度画像を元に低解像度画像が生成される。そして、高解像度画像と低解像度画像の組が教師画像と入力画像の組として学習されて高解像度化モデルが生成される。
【先行技術文献】
【特許文献】
【０００６】
特願２０２１－５０２２５１号公報
特開２０１７－２０８８１３号公報
【非特許文献】
【０００７】
ＸｉａｎｇＺｈｕ他，Ｓｕｐｅｒ－ＲｅｓｏｌｖｉｎｇＣｏｍｍｅｒｃｉａｌＳａｔｅｌｌｉｔｅＩｍａｇｅｒｙＵｓｉｎｇＲｅａｌｉｓｔｉｃＴｒａｉｎｉｎｇＤａｔａ，２０２０ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ），米国，ＩＥＥＥ，２０２０年０９月３０日，ｐｐ４９８－５０２，ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｄｏｃｕｍｅｎｔ／９１９０７４６
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の高解像度化技術（特許文献１の技術を含む）において、高解像度画像と低解像度画像の組が学習用データとして使用される機械学習によって高解像度化モデルが生成される。
低解像度画像は、ダウンサンプリング等の劣化処理を高解像度画像に施すことよって生成される。
ターゲット衛星によって得られる画像が学習用データとして使用される場合、ターゲット衛星の最高分解能を超える分解能を有する画像を教師画像とすることができない。
そのため、高解像度化モデルを用いても、ターゲット衛星の最高分解能を超える分解能を有する画像を生成することはできない。
なお、ターゲット衛星と他のリモートセンシングでは画像ドメインの差異があるため、他のリモートセンシングの画像を学習用データとして使用しても、ターゲット衛星の画像を高精度に高解像度化することはできない。
【０００９】
本開示は、ターゲット衛星の最高分解能を超える分解能を有する画像を教師画像にして高解像度化モデルを生成し、画質を高めたターゲット画像に相当する画像を推論できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本開示の高画質化システムは、
ターゲット衛星によって実施されるリモートセンシングの情報を示すターゲット衛星情報と、前記リモートセンシングによって得られるターゲット画像よりも画質が高い参照画像と、を受け付ける情報受付部と、
前記ターゲット衛星情報に基づき、バンド毎に異なるオフセットを使ってダウンサンプリングを行う劣化処理を前記参照画像に施すことによって、画質を低めた前記参照画像である劣化画像を生成する劣化処理部と、
前記劣化画像と前記参照画像の組を学習することによって、学習済みモデルを生成するモデル生成部と、
前記ターゲット画像を受け付ける画像受付部と、
前記学習済みモデルを用いて、前記ターゲット画像から、画質を高めた前記ターゲット画像に相当する推定画像を推論する推論部と、
を備える。
【発明の効果】
（【００１１】以降は省略されています）

関連特許