特許ウォッチ

公開番号2025166606
公報種別公開特許公報(A)
公開日2025-11-06
出願番号2024070760
出願日2024-04-24
発明の名称画像処理装置、画像処理方法、及び、画像処理プログラム
出願人株式会社IHI
代理人個人,個人,個人
主分類G06T 7/00 20170101AFI20251029BHJP(計算;計数)
要約【課題】第1画像と当該第1画像に対応づけられる第2画像の間の関係を、十分な精度で表現することができる、画像処理装置、画像処理方法、及び、画像処理プログラムを提供する。
【解決手段】画像処理装置、画像処理方法、及び、画像処理プログラムは、第1画像と、第1画像に対応付けられた第2画像と、を含む教師データが入力されるコントローラを用いる。コントローラは、第1画像を学習モデルに入力した際に、学習モデルから出力されるモデル画像を算出し、モデル画像と第2画像に基づいて算出される損失関数に基づいて、学習モデルを訓練する。学習モデルは、第1画像に基づいて第1特徴マップを出力するエンコーダと、第1特徴マップを構成するピクセルを並び替えて第2特徴マップを生成するピクセルシャッフル層と、第2特徴マップに基づいてモデル画像を出力するデコーダと、を備える。
【選択図】図1
特許請求の範囲【請求項１】
第１画像と、前記第１画像に対応付けられた第２画像と、
を含む教師データが入力されるコントローラを備える画像処理装置であって、
前記コントローラは、
前記第１画像を学習モデルに入力した際に、前記学習モデルから出力されるモデル画像を算出し、
前記モデル画像と前記第２画像に基づいて算出される損失関数に基づいて、前記学習モデルを訓練し、
前記学習モデルは、
前記第１画像に基づいて第１特徴マップを出力するエンコーダと、
前記第１特徴マップを構成するピクセルを並び替えて第２特徴マップを生成するピクセルシャッフル層と、
前記第２特徴マップに基づいて前記モデル画像を出力するデコーダと、
を備える、画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記エンコーダと前記デコーダの間に、複数の前記ピクセルシャッフル層が多段で接続されている、請求項１に記載の画像処理装置。
【請求項３】
前記ピクセルシャッフル層は、
前記第１特徴マップが入力される畳込み層と、
前記畳込み層から出力される畳み込み済マップのピクセルを並び替えるシャッフル層と、
前記シャッフル層からの出力を正規化する正規化層と、
前記正規化層からの出力に閾値処理を行うＲｅＬＵ層と、
を備える、請求項１に記載の画像処理装置。
【請求項４】
前記コントローラは、
入力画像を取得し、
前記入力画像を訓練済の前記学習モデルに入力した際に、前記学習モデルから出力される出力画像を算出し、
前記出力画像を出力する、
請求項１～３のいずれか一項に記載の画像処理装置。
【請求項５】
前記入力画像は、フォトメトリックステレオ法で取得した曲率画像である
請求項４に記載の画像処理装置。
【請求項６】
第１画像と、前記第１画像に対応付けられた第２画像と、
を含む教師データが入力されるコントローラを制御する画像処理方法であって、
前記コントローラは、
前記第１画像を学習モデルに入力した際に、前記学習モデルから出力されるモデル画像を算出し、
前記モデル画像と前記第２画像に基づいて算出される損失関数に基づいて、前記学習モデルを訓練し、
前記学習モデルは、
前記第１画像に基づいて第１特徴マップを出力するエンコーダと、
前記第１特徴マップを構成するピクセルを並び替えて第２特徴マップを生成するピクセルシャッフル層と、
前記第２特徴マップに基づいて前記モデル画像を出力するデコーダと、
を備える、画像処理方法。
【請求項７】
第１画像と、前記第１画像に対応付けられた第２画像と、
を含む教師データが入力されるコントローラにおいて実行するための画像処理プログラムであって、
前記第１画像を学習モデルに入力した際に、前記学習モデルから出力されるモデル画像を算出するステップと、
前記モデル画像と前記第２画像に基づいて算出される損失関数に基づいて、前記学習モデルを訓練するステップと、
を含み、
前記学習モデルは、
前記第１画像に基づいて第１特徴マップを出力するエンコーダと、
前記第１特徴マップを構成するピクセルを並び替えて第２特徴マップを生成するピクセルシャッフル層と、
前記第２特徴マップに基づいて前記モデル画像を出力するデコーダと、
を備える、画像処理プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及び、画像処理プログラムに関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
特許文献１には、ノイズを低減する処理を行う際に、ノイズパターンに起因する偽模様を出力するような弊害を低減できるように画像処理モデルを学習する技術が開示されている。当該技術によれば、画像処理モデルを学習するための学習データである低ノイズ画像と、同一のシーンでノイズのパターンが異なる複数の高ノイズ画像を用いて、画像処理モデルを学習する。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１６３３１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された技術によれば、画像処理モデルの学習のために、低ノイズ画像に対応して、同一のシーンでノイズのパターンが異なる複数の高ノイズ画像を用意する必要がある。そのため、画像処理モデルを学習するための学習データが不足する場合には、高ノイズ画像と当該高ノイズ画像に対応付けられる低ノイズ画像の間の関係を、十分な精度で表現することができないという課題がある。
【０００５】
本開示は、上記課題に鑑みてなされたものである。その目的とするところは、第１画像と当該第１画像に対応づけられる第２画像の間の関係を、十分な精度で表現することができる、画像処理装置、画像処理方法、及び、画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本開示に係る画像処理装置、画像処理方法、及び、画像処理プログラムは、第１画像と、第１画像に対応付けられた第２画像と、を含む教師データが入力されるコントローラを用いる。コントローラは、第１画像を学習モデルに入力した際に、学習モデルから出力されるモデル画像を算出し、モデル画像と第２画像に基づいて算出される損失関数に基づいて、学習モデルを訓練する。学習モデルは、第１画像に基づいて第１特徴マップを出力するエンコーダと、第１特徴マップを構成するピクセルを並び替えて第２特徴マップを生成するピクセルシャッフル層と、第２特徴マップに基づいてモデル画像を出力するデコーダと、を備える。
【０００７】
エンコーダとデコーダの間に、複数のピクセルシャッフル層が多段で接続されていてもよい。
【０００８】
ピクセルシャッフル層は、畳込み層と、シャッフル層と、正規化層と、ＲｅＬＵ層と、を備えるものであってもよい。ここで、畳込み層には、第１特徴マップが入力される。シャッフル層は、畳込み層から出力される畳み込み済マップのピクセルを並び替える。正規化層は、シャッフル層からの出力を正規化する。ＲｅＬＵ層は、正規化層からの出力に閾値処理を行う。
【０００９】
コントローラは、入力画像を取得し、入力画像を訓練済の学習モデルに入力した際に、学習モデルから出力される出力画像を算出し、出力画像を出力するものであってもよい。
【００１０】
入力画像は、フォトメトリックステレオ法で取得した曲率画像であってもよい。
【発明の効果】
（【００１１】以降は省略されています）

関連特許