特許ウォッチ

公開番号2025015313
公報種別公開特許公報(A)
公開日2025-01-30
出願番号2023118642
出願日2023-07-20
発明の名称画像処理方法、画像処理装置、画像処理システム、およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類G06T 5/73 20240101AFI20250123BHJP(計算;計数)
要約【課題】弊害抑制と補正効果の維持とを両立させることが可能な画像処理方法を提供する。
【解決手段】画像処理方法は、撮像画像に対して現像処理または補正処理を行う際の明るさに関する補正情報を取得する工程(S112)と、補正情報に基づいて撮像画像を補正することで第1の画像を取得する工程(S113)と、第1の画像を機械学習モデルに入力し鮮鋭化することで、第2の画像を生成する工程と(S114)を有し、補正情報は、画像における位置に対して一定、または画像における位置に依存して変化する。
【選択図】図1
特許請求の範囲【請求項１】
撮像画像に対して現像処理または補正処理を行う際の明るさに関する補正情報を取得する工程と、
前記補正情報に基づいて前記撮像画像を補正することで第１の画像を取得する工程と、
前記第１の画像を機械学習モデルに入力し鮮鋭化することで、第２の画像を生成する工程とを有し、
前記補正情報は、画像における位置に対して一定、または該画像における位置に依存して変化することを特徴とする画像処理方法。
続きを表示（約 1,000 文字）【請求項２】
前記補正情報は、露出補正、または周辺光量補正のいずれか一つに関する補正情報であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記補正情報は、前記画像の輝度値に依存しないことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記補正情報に基づいて前記第２の画像を逆補正した第３の画像を取得する工程を更に有することを特徴とする請求項１に記載の画像処理方法。
【請求項５】
撮像画像または該撮像画像に関連する情報に基づいて第１のノイズ情報を取得する工程と、
前記補正情報に基づいて前記第１のノイズ情報を補正することで、第２のノイズ情報を取得する工程とを更に有し、
前記第２の画像を生成する工程において、前記第１の画像および前記第２のノイズ情報を前記機械学習モデルに入力することで、前記第２の画像を生成することを特徴とする請求項１に記載の画像処理方法。
【請求項６】
第１の画像または第２の画像における輝度値に基づいてゲインマップを生成し、前記ゲインマップと前記補正情報とに基づいて前記第１の画像と前記第２の画像とを加重平均することを特徴とする請求項１に記載の画像処理方法。
【請求項７】
前記ゲインマップは、前記第１の画像の画素値が小さいほど前記撮像画像に対する重みが大きいことを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記ゲインマップは、前記第２の画像の画素値が大きいほど前記撮像画像に対する重みが大きいことを特徴とする請求項６に記載の画像処理方法。
【請求項９】
前記撮像画像および前記第２の画像に対して画素ごとに最大の色成分を取得し、前記最大の色成分に基づいて前記ゲインマップを生成することを特徴とする請求項６に記載の画像処理方法。
【請求項１０】
撮像画像に対して現像処理または補正処理を行う際の明るさに関する補正情報を取得する第１の手段と、
前記補正情報に基づいて前記撮像画像を補正することで第１の画像を取得する第２の手段と、
前記第１の画像を機械学習モデルに入力し鮮鋭化することで、第２の画像を生成する第３の手段とを有し、
前記補正情報は、画像における位置に対して一定、または該画像における位置に依存して変化することを特徴とする画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置、画像処理システム、およびプログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
特許文献１には、畳み込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）を用いて、撮像画像のぼけを鮮鋭化する方法が開示されている。特許文献１における鮮鋭化処理では、まず、撮像画像の輝度飽和値以上の信号値を有する画像をぼかすことで訓練データセットを生成し、訓練データセットで機械学習モデルを訓練する。このように訓練された機械学習モデルを用いることで、輝度飽和を有する撮像画像に対しても、輝度飽和した領域の周辺でも弊害を抑制しつつ、撮像画像の鮮鋭化している。また特許文献１には、撮像画像と推定画像（鮮鋭化画像）を輝度飽和した領域に基づいて加重平均し、鮮鋭化の強度を調整する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０－１６６６２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
機械学習モデルと使った手法を用いて補正処理を実施する場合、訓練データと正解データとを適切に設定すれば、前述のような情報が欠落した領域を含んでいたとしても補正可能となる。しかしながら、機械学習モデルを用いた手法の場合、逆畳み込み処理では発生しないような領域においても弊害が発生する可能性がある。特に、輝度飽和値に近い明るい領域や、黒レベルに近い暗い領域において黒沈みや白浮きのような弊害が発生する場合がある。黒沈みは本来あるべき輝度値よりも低くなる現象であり、白浮きは本来あるべき輝度値より高くなる現象である。このような弊害は、光学系の収差によって被写体が大きくぼけていた場合や、画面位置に対してぼけが大きく変化する場合、多様な収差に対応した機械学習モデルを用いる場合等、タスクの難易度が高い場合に生じる傾向にある。また、エッジ近傍だけでなく、上述のように明るい領域や暗い領域において弊害が発生する傾向にある。このため、推定画像においては視認できない場合でも周辺光量補正や露出補正等の明るさに関する補正や現像処理を施した場合には、上記の弊害が視認可能な程度に強調されるおそれがある。
【０００５】
そこで本発明は、弊害抑制と補正効果の維持とを両立させることが可能な画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面としての画像処理方法は、撮像画像に対して現像処理または補正処理を行う際の明るさに関する補正情報を取得する工程と、前記補正情報に基づいて前記撮像画像を補正することで第１の画像を取得する工程と、前記第１の画像を機械学習モデルに入力し鮮鋭化することで、第２の画像を生成する工程とを有し、前記補正情報は、画像における位置に対して一定、または該画像における位置に依存して変化する。
【０００７】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【０００８】
本発明によれば、弊害抑制と補正効果の維持とを両立させることが可能な画像処理方法を提供することができる。
【図面の簡単な説明】
【０００９】
実施例１における補正画像の生成処理を示すフローチャートである。
実施例１における画像処理システムのブロック図である。
実施例１における画像処理システムの外観図である。
実施例１における学習処理を示すフローチャートである。
実施例１におけるニューラルネットワークの学習の流れの説明図である。
実施例１における補正処理の効果の説明図である。
実施例１における補正処理の効果および弊害の説明図である。
実施例１におけるガンマ補正の説明図である。
実施例２におけるＧに対するデモザイキング処理の説明図である。
実施例２におけるデモザイキング処理における補間フィルタの説明図である。
実施例２におけるＲに対するデモザイキング処理の説明図である。
実施例２における画像処理システムのブロック図である。
実施例２における画像処理システムの外観図である。
実施例２における補正画像の生成処理を示すフローチャートである。
実施例３における画像処理システムのブロック図である。
実施例３における画像処理を示すフローチャートである。
実施例３におけるゲインマップを作成する際に用いる応答関数の説明図である。
実施例３におけるゲインマップの説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
（【００１１】以降は省略されています）

関連特許