特許ウォッチ

公開番号2025058872
公報種別公開特許公報(A)
公開日2025-04-09
出願番号2024090281
出願日2024-06-03
発明の名称画像処理装置、画像処理方法、及び、プログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 5/60 20240101AFI20250401BHJP(計算;計数)
要約【課題】滑らかなNR効果が適用された高品位な画像を提供する。
【解決手段】画像処理装置は、画像のノイズ特性を学習することによって得た第一のパラメータを有する学習済みモデルによって、取得した入力画像を画像処理する画像処理手段と、前記画像処理された入力画像のノイズを第二のパラメータによって低減するノイズ低減手段と、前記入力画像と前記ノイズが低減された入力画像とを第三のパラメータに基づいて合成する合成手段と、前記第一のパラメータ、前記第二のパラメータ、及び、前記第三のパラメータのいずれかを変更する場合、順次取得する複数の入力画像にわたって変更対象のパラメータを制御量および予め設定された参照データのいずれかに基づいて変更して設定する設定手段と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
画像のノイズ特性を学習することによって得た第一のパラメータを有する学習済みモデルによって、取得した入力画像を画像処理する画像処理手段と、
前記画像処理された入力画像のノイズを第二のパラメータによって低減するノイズ低減手段と、
前記入力画像と前記ノイズが低減された入力画像とを第三のパラメータに基づいて合成する合成手段と、
前記第一のパラメータ、前記第二のパラメータ、及び、前記第三のパラメータのいずれかを変更する場合、順次取得する複数の入力画像にわたって変更対象のパラメータを制御量および予め設定された参照データのいずれかに基づいて変更して設定する設定手段と、
を備えることを特徴とする画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記第一のパラメータは、前記入力画像を撮像したカメラに関する情報においてノイズ特性を学習した結果のニューラルネットワークのパラメータである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第二のパラメータは、前記ノイズを低減する強度を示すパラメータである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第三のパラメータは、前記ノイズが低減された入力画像と、前記入力画像とを合成するための比率である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第三のパラメータは、前記ノイズが低減された入力画像の輝度信号と、前記入力画像の輝度信号とを合成するための比率である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第三のパラメータは、前記ノイズが低減された入力画像の色信号と、前記入力画像の色信号とを合成するための比率である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記設定手段は、前記入力画像のノイズが多いほど、前記色信号を合成するための比率を低くする
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記画像処理手段は、前記第一のパラメータに基づく２系統の学習済みモデルを有し、一方の学習済みモデルが使用中の場合、他方の学習済みモデルの前記第一のパラメータを前記制御量によって複数の入力画像にわたって変更し、
前記一方の学習済みモデルが画像処理して前記ノイズ低減手段がノイズを低減して出力する入力画像と、前記他方の学習済みモデルが画像処理して前記ノイズ低減手段がノイズを低減して出力する入力画像とを合成比率に基づいて合成する画像合成手段を
さらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記合成手段は、変更中の前記第一のパラメータの遷移の進捗に対応させて遷移する前記合成比率に基づいて前記画像を合成する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記設定手段は、前記第二のパラメータ、及び、前記第三のパラメータを、変更対象のパラメータの目標値に近づくように前記制御量を設定してパラメータを変更する
ことを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、プログラムに関するものである。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
監視市場における超低照度環境では、ターゲットとする被写体の視認性の向上が求められており、カメラによる撮影時には非常に高いゲインが適用される。高いゲインを適用すると撮影画像を明るくできる一方でノイズが増えてしまうことにはなるが、鑑賞用途としての画質を犠牲にしてでも、監視用途では被写体の視認性が重視される。
【０００３】
撮影画像に含まれるノイズを低減するためにノイズリダクション（以下ＮＲ）が一般的に用いられてきた。ＮＲはカメラ内部で処理されたり、カメラ外部の画像処理装置でカメラからの画像を入力して処理する実施形態がある。また、近年は深層学習による人工知能技術にもとづくノイズリダクション処理（以下ＤＬＮＲ）が用いられてきた。ＤＬＮＲは従来のＮＲと比較して高い効果が確認されている。
【０００４】
ところで撮影画像に対する各種画像処理機能は様々な画像処理を複数組み合わせることにより構成されており、各画像処理で使用されるパラメータも様々である。様々なシーンの撮影に対し最適な画像処理効果を得るために画像処理機能、及び、パラメータの組み合わせをシーンごとに保持するなどして対応してきた。
【０００５】
特許文献１では、二つの補間画像から勾配変化によって双方向勾配変化処理を用いて予測画像を生成する。したがって、第一の状態から第二の状態に対して画像が遷移したように視聴者に見せることが可能になる。
【０００６】
特許文献２の技術は、シーン切替時に急激な画質変動が少なく違和感を感じにくいような画質調整をするために、パラメータ群Ａからパラメータ群Ｂにかけて段階的に変化させる。特許文献２は、画像処理機能、及び、パラメータの例として、明度、シャープネス、色相、彩度などを挙げている。
【先行技術文献】
【特許文献】
【０００７】
特開２０２０－１０９９１９号公報
特開２００７－２８８５８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、ＤＬＮＲにおけるパラメータを切り替える際、画像にショックが発生することがあった。特許文献１においては、二つの画像から補間画像を生成する場合は実際の画像とは異なる画像を予測生成することとなり、予測が実際と異なる場合に画像にショックが生じてしまう。また、特許文献２においては、遷移前Ａから遷移後Ｂにかけて補間して適用するのみでは、画像に違和感のあるパラメータを経由して遷移する場合がある。ＤＬＮＲで用いられるような学習済モデルのような段階変化が困難なパラメータに関する開示がなかった。
【０００９】
そこで本発明は、ＤＬＮＲなどの学習済みモデルのパラメータまたはノイズを低減するための強度パラメータなどを切り替える際のショックを低減させて、滑らかなＮＲ効果が適用された高品位な画像を提供することを目的とする。
【課題を解決するための手段】
【００１０】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、画像のノイズ特性を学習することによって得た第一のパラメータを有する学習済みモデルによって、取得した入力画像を画像処理する画像処理手段と、
前記画像処理された入力画像のノイズを第二のパラメータによって低減するノイズ低減手段と、
前記入力画像と前記ノイズが低減された入力画像とを第三のパラメータに基づいて合成する合成手段と、
前記第一のパラメータ、前記第二のパラメータ、及び、前記第三のパラメータのいずれかを変更する場合、順次取得する複数の入力画像にわたって変更対象のパラメータを制御量および予め設定された参照データのいずれかに基づいて変更して設定する設定手段と、
を備える。
【発明の効果】
（【００１１】以降は省略されています）

関連特許