特許ウォッチ

公開番号2025012546
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023115444
出願日2023-07-13
発明の名称画像処理装置
出願人キヤノン電子株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 5/70 20240101AFI20250117BHJP(計算;計数)
要約【課題】従来よりも簡単でかつ精度よくノイズを低減可能な学習モデルを提供する。
【解決手段】画像処理装置は、所定の撮像装置により取得された画像に含まれるノイズを低減する学習モデルを生成する。抽出手段は、所定の撮像装置により撮像された複数の画像のそれぞれに含まれ、所定の撮像装置の光学系を通過して来た光が照射されないオプティカルブラック領域の画像をノイズ画像として抽出する。合成手段は、教師画像に対してノイズ画像を合成して生徒画像を生成する。学習手段は、学習モデルに生徒画像を入力として与えて学習モデルを学習させる。
【選択図】図7
特許請求の範囲【請求項１】
所定の撮像装置により取得された画像に含まれるノイズを低減する学習モデルを生成する画像処理装置であって、
前記所定の撮像装置により撮像された複数の画像のそれぞれに含まれ、前記所定の撮像装置の光学系を通過して来た光が照射されないオプティカルブラック領域の画像をノイズ画像として抽出する抽出手段と、
教師画像に対して前記ノイズ画像を合成して生徒画像を生成する合成手段と、
前記学習モデルに前記生徒画像を入力として与えて前記学習モデルを学習させる学習手段と、
を有する、画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記教師画像は、当該教師画像のサイズより小さな複数の部分画像から構成されており、
前記合成手段は、前記教師画像を構成する前記複数の部分画像のそれぞれに対して、前記所定の撮像装置により撮像された前記複数の画像からそれぞれ一つずつ取得された複数のノイズ画像のうち、いずれか一つを合成することで、前記生徒画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記合成手段は、前記複数の部分画像のそれぞれに対して適用されるノイズ画像を、前記複数のノイズ画像からランダムに選択する、請求項２に記載の画像処理装置。
【請求項４】
前記複数の部分画像のそれぞれに対して適用される各ノイズ画像は重複しないように選択される、請求項３に記載の画像処理装置。
【請求項５】
一つの生徒画像を生成するために使用される複数のノイズ画像を抽出される前記複数の画像は、それぞれ同一の撮像条件で前記所定の撮像装置により取得される、請求項１に記載の画像処理装置。
【請求項６】
前記撮像条件は、前記所定の撮像装置の温度、感度、および露光時間のうちの少なくとも一つを含む、請求項５に記載の画像処理装置。
【請求項７】
前記学習モデルに入力される画像は、モザイク画像であり、
前記学習モデルから出力される出力画像は、前記モザイク画像に対応するデモザイク画像である、請求項１に記載の画像処理装置。
【請求項８】
前記モザイク画像は、ベイヤー画像である、請求項７に記載の画像処理装置。
【請求項９】
前記ベイヤー画像は、ＲＡＷ画像である、請求項８に記載の画像処理装置。
【請求項１０】
前記合成手段は、
前記教師画像に対して前記ノイズ画像を合成して第一画像を生成し、
前記第一画像に対して逆トーンマッピング処理を適用して第二画像を生成し、
前記第二画像に対して逆ガンマ補正を適用して第三画像を生成し、
前記第三画像に対して逆色変換を適用して第四画像を生成し、
前記第四画像に対して逆ホワイトバランス処理を適用して第五画像を生成し、
前記第五画像に対してモザイク化を適用して前記モザイク画像である前記生徒画像を生成する、
請求項７に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
デジタルカメラ等により取得された画像にはノイズが含まれることがある。従来、このようなノイズはデジタルフィルタなどにより低減されていた。近年、学習モデルにノイズを学習させ、学習済みの学習モデルを用いて画像内のノイズを低減することが提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－０８６２８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１によれば、教師画像に対して付加されるノイズをＩＳＯ感度に基づき演算し、演算により求められたノイズを教師画像に対して付加して訓練画像（生徒画像）を生成することが提案されている。これにより、多数の生徒画像が得られる利点がある。一方で、撮像素子の温度に依存して発生するノイズ（熱雑音）や宇宙線などの放射線の入射により発生する輝点ノイズは、撮像素子の製品個体差に依存しうる。個体差ごとに、ノイズの演算式を用意することは、きわめて困難である。そこで、本発明は、従来よりも簡単でかつ精度よくノイズを低減可能な学習モデルを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、たとえば、
所定の撮像装置により取得された画像に含まれるノイズを低減する学習モデルを生成する画像処理装置であって、
前記所定の撮像装置により撮像された複数の画像のそれぞれに含まれ、前記所定の撮像装置の光学系を通過して来た光が照射されないオプティカルブラック領域の画像をノイズ画像として抽出する抽出手段と、
教師画像に対して前記ノイズ画像を合成して生徒画像を生成する合成手段と、
前記学習モデルに前記生徒画像を入力として与え、前記学習モデルから出力される出力画像と前記教師画像との差分が小さくなるように前記学習モデルを学習させる学習手段と、
を有する、画像処理装置を提供する。
【発明の効果】
【０００６】
本発明によれば、従来よりも簡単でかつ精度よくノイズを低減可能な学習モデルが提供される。
【図面の簡単な説明】
【０００７】
画像処理システムを説明する図
撮像装置を説明する図
情報処理装置を説明する図
現像部を説明する図
教師画像生成装置を説明する図
学習処理装置を説明する図
生徒画像生成装置を説明する図
デモザイク処理を説明する図
ノイズ領域の切り出し方法を説明する図
ノイズ領域の切り出し方法を説明する図
ノイズの付与方法を説明する図
ノイズの付与方法を説明する図
ノイズの付与方法を説明する図
学習方法を説明する図
生徒画像の生成方法を説明する図
生徒画像生成装置を説明する図
効果を説明する図
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
【０００９】
（１）画像処理システム
図１は、画像処理システムを示している。撮像装置１００は、静止画像または動画像を取得するデジタルスチルカメラ、デジタルビデオカメラ、または、監視カメラなどである。撮像装置１００は、人工衛星または宇宙船に搭載されてもよい。ノイズ画像群１０１は、撮像装置１００により取得される複数のノイズ画像を含む。なお、複数の撮像装置１００が存在する場合、複数の撮像装置１００のそれぞれについて個別にノイズ画像群１０１が生成される。元画像セット１０２は、複数のカラー画像（例：ｓＲＧＢ画像やデバイスＲＧＢ形式の画像）からなるデータセットである。このデータセットは、たとえば、インターネット上で提供されているフリー素材であってもよい。なお、デバイスＲＧＢ形式の画像とは、ｓＲＧＢ形式の画像が、モニターなどで表示されるＲＧＢ色域に調整されたものを指す。
【００１０】
情報処理装置１１０は、パーソナルコンピュータ（ＰＣ）などのコンピュータである。図１では、包括的に１つの情報処理装置１１０が示されているが、実際には情報処理装置１１０が複数のコンピュータにより形成されていてもよい。情報処理装置１１０は、複数の機能（生徒画像生成装置１１１、教師画像生成装置１１２、学習処理装置１１５および画像処理装置１１７）を有する。これらの複数の機能が複数のコンピュータにより実現されてもよい。
（【００１１】以降は省略されています）

関連特許