特許ウォッチ

公開番号2025052803
公報種別公開特許公報(A)
公開日2025-04-07
出願番号2023161713
出願日2023-09-25
発明の名称画像処理方法および画像処理装置
出願人キヤノン株式会社
代理人個人,個人,個人
主分類G06T 1/40 20060101AFI20250328BHJP(計算;計数)
要約【課題】機械学習モデルを用いた画像推定において輝度や色の変化を抑制する。
【解決手段】画像処理方法は、第1の画像に基づく第1の残差画像を、機械学習モデルを用いて生成する第1の工程と、第3の画像を、第1の残差画像の絶対値と第4の画像とに基づいて生成する第2の工程とを有する。第4の画像と第1の残差画像との和を第2の画像とするとき、第2の工程において、第3の画像おける各画素の信号値を、第1の残差画像における上記各画素に対応する画素の信号値の0ではない絶対値が小さいほど、第2の画像における上記各画素に対応する画素の信号値よりも第4の画像における上記各画素に対応する画素の信号値に近くする。
【選択図】図6
特許請求の範囲【請求項１】
第１の画像に基づく第１の残差画像を、機械学習モデルを用いて生成する第１の工程と、
第３の画像を、前記第１の残差画像の絶対値と第４の画像とに基づいて生成する第２の工程とを有し、
前記第４の画像は、前記第１の画像または該第１の画像に基づく画像であり、
前記第４の画像と前記第１の残差画像との和を第２の画像とするとき、
前記第２の工程において、前記第３の画像おける各画素の信号値を、前記第１の残差画像における前記各画素に対応する画素の信号値の０ではない絶対値が小さいほど、前記第２の画像における前記各画素に対応する画素の信号値よりも前記第４の画像における前記各画素に対応する画素の信号値に近くすることを特徴とする画像処理方法。
続きを表示（約 1,100 文字）【請求項２】
前記第２の工程において、前記第３の画像における前記各画素の信号値を、前記第４の画像における前記各画素に対応する画素の信号値と前記第２の画像における前記各画素に対応する画素の信号値との間の値にさせることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第２の工程において、前記第３の画像は、前記第１の残差画像の絶対値に基づく非線型変換の結果を用いて生成されることを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記第２の工程において、前記第３の画像は、前記第１の残差画像の絶対値に基づく閾値処理の結果を用いて生成されることを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記第２の工程において、前記第３の画像は、ソフトスレッショルディングを用いて前記第１の残差画像から生成された第２の残差画像に基づいて生成されることを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記第２の工程において、前記第２の残差画像は、前記第１の残差画像に前記ソフトスレッショルディングを実行して得られた残差画像に、該ソフトスレッショルディングの閾値に基づく１より大きい係数を適用して生成されることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記第２の工程において、前記第３の画像は、前記第１の残差画像の絶対値に基づく重みマップと、前記第４の画像と、前記第１の残差画像または前記第２の画像の一方とに基づいて生成されることを特徴とする請求項１に記載の画像処理方法。
【請求項８】
前記重みマップは、前記第１の残差画像または前記第２の画像の重みを表し、
該重みマップにおいて、前記第１の残差画像の０ではない絶対値が小さい画素ほど前記重みが小さいことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記第１の工程において、前記機械学習モデルに入力される入力データ、前記機械学習モデルから出力される出力データおよび前記機械学習モデル内で生成される複数の特徴マップのうち、いずれかにおける垂直または水平方向の画素数が他と異なることを特徴とする請求項１に記載の画像処理方法。
【請求項１０】
前記第１の工程において、前記機械学習モデルに入力される入力データは、前記第１の画像と第１のマップとを含み、
前記第１のマップは、複数のチャンネルを有することを特徴とする請求項１に記載の画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習モデルを用いて画像を推定する画像処理方法に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
特許文献１には、ＮＮ（ニューラルネットワーク）を用いて、低解像度画像からアップサンプルされた高解像度画像を生成する方法が開示されている。ＮＮは、複数の高解像度残差サブ画像を生成し、それらの画素を並び替えることで高解像度残差画像を取得する。そして、低解像度画像をバイキュービックアップサンプルしたベース高解像度画像と高解像度残差画像との和を取ることで、解像感の高い高解像度画像を生成する。
【先行技術文献】
【特許文献】
【０００３】
特表２０２２－５３６８０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された方法では、アップサンプルと無関係な意図しない輝度の変化が高解像度画像に発生するという問題がある。例えば、高解像度画像に周期的なパターンが発生することがある。この課題の発生原理に関しては後述する。
【０００５】
本発明は、機械学習モデルを用いた画像推定において、意図しない輝度や色の変化を抑制することができる画像処理方法および画像処理装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の一側面としての画像処理方法は、第１の画像に基づく第１の残差画像を、機械学習モデルを用いて生成する第１の工程と、第３の画像を、第１の残差画像の絶対値と第４の画像とに基づいて生成する第２の工程とを有する。第４の画像と第１の残差画像との和を第２の画像とするとき、第２の工程において、第３の画像おける各画素の信号値を、第１の残差画像における上記各画素に対応する画素の信号値の０ではない絶対値が小さいほど、第２の画像における上記各画素に対応する画素の信号値よりも第４の画像における上記各画素に対応する画素の信号値に近くすることを特徴とする。なお、上記画像処理方法に従う処理をコンピュータに実行させるプログラムも、本発明の他の一側面を構成する。
【０００７】
また本発明の他の一側面としての画像処理装置は、第１の画像に基づく第１の残差画像を、機械学習モデルを用いて生成する第１の生成手段と、第３の画像を、第１の残差画像の絶対値と第４の画像とに基づいて生成する第２の生成手段とを有する。第４の画像と第１の残差画像との和を第２の画像とするとき、第２の生成手段は、第３の画像おける各画素の信号値を、第１の残差画像における上記各画素に対応する画素の信号値の０ではない絶対値が小さいほど、第２の画像における上記各画素に対応する画素の信号値よりも第４の画像における上記各画素に対応する画素の信号値に近くすることを特徴とする。なお、上記画像処理装置を含む撮像装置も、本発明の他の一側面を構成する。
【発明の効果】
【０００８】
本発明によれば、機械学習モデルを用いた画像推定において、意図しない輝度や色の変化を抑制することができる。
【図面の簡単な説明】
【０００９】
実施例１における第３の画像の生成の流れを示す図。
実施例１における画像処理システムの構成を示すブロック図。
実施例１における画像処理システムの外観図。
実施例１、２における機械学習モデルの訓練を示すフローチャート。
実施例１における機械学習モデルの構造を示す図。
実施例１における第３の画像を生成する処理を示すフローチャート。
実施例１における非線型処理の例を示す図。
実施例２における画像処理システムの構成を示すブロック図。
実施例２における画像処理システムの外観図。
実施例２における機械学習モデルの構造を示す図。
実施例２における第３の画像の生成の流れを示す図。
実施例２における第３の画像を生成する処理を示すフローチャート。
実施例２における非線型処理の例を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例について図面を参照しながら説明する。ここでは、実施例を詳細に説明する前に、実施例の概要について説明する。
（【００１１】以降は省略されています）

関連特許