特許ウォッチ

公開番号2025030859
公報種別公開特許公報(A)
公開日2025-03-07
出願番号2023136527
出願日2023-08-24
発明の名称画像処理装置、画像処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06V 10/30 20220101AFI20250228BHJP(計算;計数)
要約【課題】黒浮き、白沈み、マゼンタ浮きといった弊害が発生した場合においても、画像の劣化復元として適切な劣化復元を実施するための技術を提供すること。
【解決手段】入力画像のノイズ量と、ノイズあるいは現像により生じる該入力画像の輝度の変動量と、を推定し、該ノイズ量と該変動量とに基づいて、該入力画像の劣化を復元する。
【選択図】図2
特許請求の範囲【請求項１】
入力画像のノイズ量と、ノイズあるいは現像により生じる該入力画像の輝度の変動量と、を推定する推定手段と、
前記ノイズ量と前記変動量とに基づいて、前記入力画像の劣化を復元する復元手段と
を備えることを特徴とする画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記推定手段は、前記ノイズ量を推定するための学習済みのＣＮＮを用いて、前記ノイズ量を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記推定手段は、前記変動量を推定するための学習済みのＣＮＮを用いて、前記変動量を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記推定手段は、前記ノイズ量および前記変動量を推定するための学習済みのＣＮＮを用いて、前記ノイズ量および前記変動量を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記ノイズ量と前記変動量は比例の関係にあり、前記推定手段は、前記ノイズ量を所定のビット深度で格納可能な符号なし整数の範囲内に収める処理により生じる輝度の変動量を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記推定手段は、黒浮き、白沈み、マゼンタ浮きに起因する輝度の変動量を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
撮像装置により撮像された入力画像のノイズ量と、ノイズあるいは現像により生じる該入力画像の輝度の変動量と、を推定する推定手段と、
前記ノイズ量と前記変動量とに基づいて、前記撮像装置の露出を制御する制御手段と
を備えることを特徴とする画像処理装置。
【請求項８】
前記制御手段は、前記ノイズ量と前記変動量とに基づいて、黒浮き、マゼンタ浮き或いは白沈みの発生有無を判定し、いずれか１つ以上が発生している場合には、前記撮像装置の撮像条件を、露出が少なくなるように変更する、ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
さらに、
前記入力画像に後続する画像のノイズ量を低減させてから、前記入力画像の露出と同じになるようにゲインを適用した画像を出力画像として生成して出力する手段を備えることを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の推定手段が、入力画像のノイズ量と、ノイズあるいは現像により生じる該入力画像の輝度の変動量と、を推定する推定工程と、
前記画像処理装置の復元手段が、前記ノイズ量と前記変動量とに基づいて、前記入力画像の劣化を復元する復元工程と
を備えることを特徴とする画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像の劣化復元技術に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
イメージセンサの異なる高感度化を実現するための仕組みとして、イメージセンサから出力された画像信号に対してアナログゲインとデジタルゲインをかける方法がある。一般に、これらのゲインを適用すると、ノイズの影響がより大きくなる傾向にあることが知られている。
【０００３】
特に、高感度で撮像して得られたＲＡＷ画像中の暗部において、ノイズの影響により本来黒色であるはずが明るくなって灰色に近い表現になる「黒浮き」という現象や、本来白色であるはずが暗くなる「白沈み」という現像が発生する。さらに、黒浮きが発生したＲＡＷ画像に対して現像処理を行ってＲＧＢ画像を生成すると、ホワイトバランス補正の影響により、Ｒ、Ｂ成分がＧ成分よりも相対的に大きくなることでＲＧＢのカラーバランスが崩れ、マゼンタ浮きと呼ばれる、色が変化する現像が発生する。黒浮き、白沈み、マゼンタ浮きの程度は、イメージセンサの温度変化や個体差によるノイズ量の差異に起因して変動する。
【０００４】
特許文献１には、デジタルゲインをかける前に、フレーム毎に、あらかじめ設定した閾値以下の画素値を持つ画素を黒画素として検出することが開示されている。また特許文献１には、現フレームと前フレームの黒画素の数からオフセットを調整することで黒浮き量のばらつきを抑制する方法が開示されている。また、特許文献２には、ディープラーニング（ＤＮＮ）を用いて画像の色の変化を抑制しつつノイズを低減する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
特開２０１８―００６７８５号公報
特開２０２１―１１４１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された方法では、同じセンサの温度変化には頑健だが、センサ個体差までカバーすることは困難である。よって、特許文献１に開示された方法では、ＤＮＮを用いてノイズを低減する場合、学習したセンサに特化してしまうという課題がある。
【０００７】
また、特許文献２に開示された方法では、すでにマゼンタ浮きが発生した画像に対しては、マゼンタを本来ある色だと判定してノイズを低減するため、マゼンタ浮きが残るという課題がある。本発明では、黒浮き、白沈み、マゼンタ浮きといった弊害が発生した場合においても、画像の劣化復元として適切な劣化復元を実施するための技術を提供する。
【課題を解決するための手段】
【０００８】
本発明の一様態は、入力画像のノイズ量と、ノイズあるいは現像により生じる該入力画像の輝度の変動量と、を推定する推定手段と、前記ノイズ量と前記変動量とに基づいて、前記入力画像の劣化を復元する復元手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、黒浮き、白沈み、マゼンタ浮きといった弊害が発生した場合においても、画像の劣化復元として適切な劣化復元を実施することができる。
【図面の簡単な説明】
【００１０】
画像処理システムのハードウェア構成例を示すブロック図。
画像処理システムの機能構成例を示すブロック図。
推論と学習の流れを説明する図。
ＣＮＮの構造と学習の流れを説明する図。
黒浮き、白沈み、マゼンタ浮きの発生原因について説明する図。
劣化付与の処理を説明する図。
画像処理システムで行われる各種処理のフローチャート。
画像処理システムの機能構成例を示すブロック図。
画像処理システムで行われる各種処理のフローチャート。
画像処理システムの機能構成例を示すブロック図。
マゼンタ浮き抑制の説明図。
画像処理システムで行われる各種処理のフローチャート。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許