特許ウォッチ

公開番号2024056357
公報種別公開特許公報(A)
公開日2024-04-23
出願番号2022163168
出願日2022-10-11
発明の名称画像処理装置、画像処理装置の制御方法、及びコンピュータプログラム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類G06T 5/70 20240101AFI20240416BHJP(計算;計数)
要約【課題】画像処理の精度について改善することである。
【解決手段】複数の入力画像を受け取る入力手段と、前記複数の入力画像の同一位置を示す画素集合の中から、画素位置ごとに各々選択された画素で構成された中間画像を生成する画像生成手段と、前記画像生成手段によって得られた画素の組み合わせの異なる複数の前記中間画像に対して、各々画像処理を行う画像処理手段と、前記画像処理手段によって得られた画像処理結果を合成する合成手段と、を備える。
【選択図】図3

特許請求の範囲【請求項１】
複数の入力画像を受け取る入力手段と、
前記複数の入力画像の同一位置を示す画素集合の中から、画素位置ごとに各々選択された画素で構成された中間画像を生成する画像生成手段と、
前記画像生成手段によって得られた画素の組み合わせの異なる複数の前記中間画像に対して、各々画像処理を行う画像処理手段と、
前記画像処理手段によって得られた画像処理結果を合成する合成手段と、
を備えることを特徴とする画像処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記画像生成手段は、前記複数の入力画像の同一位置の画素集合の中から、画素位置ごとに各々ランダムに選択された画素で構成された前記中間画像を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
生成する前記中間画像の枚数を算出する生成枚数算出手段をさらに備え、
前記画像生成手段は、前記生成枚数算出手段で算出した枚数分の前記中間画像を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記生成枚数算出手段は、
前記複数の入力画像を撮像した際の撮像パラメータに基づいて前記中間画像の生成枚数を算出する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記生成枚数算出手段は、前記複数の入力画像を、各々前記画像処理手段によって画像処理した画像を生成し、前記各々の画像処理結果を比較した際の統計量に基づいて生成枚数を算出する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記生成枚数算出手段は、部分領域ごとに生成枚数を算出する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記画像処理手段が実行する画像処理は、ノイズ低減処理、超解像処理、ゆらぎ補正処理、及びインペインティング処理の少なくとも１つである、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
1つ以上の画像を受け取る入力手段と、
生成する中間画像の枚数を算出する生成枚数算出手段と、
前記入力画像から、前記生成枚数算出手段で算出した枚数分の前記中間画像を生成する画像生成手段と、
前記画像生成手段によって得られた複数の前記中間画像に対して、各々画像処理を行う画像処理手段と、
前記画像処理手段によって得られた画像処理結果を合成する合成手段と、
を備えることを特徴とする画像処理装置。
【請求項９】
２次元状に配置された複数の画素を有し、各単位画素が第１撮像素子と第２撮像素子から構成され、前記第１撮像素子で撮像された第１画像及び前記第２撮像素子で撮像された第２画像を撮像する撮像手段と、
前記撮像手段で撮像した前記第１画像と前記第２画像に対して、各々画像処理を行う画像処理手段と、
前記画像処理手段によって得られた各々の画像処理結果を合成する合成手段と、
を備えることを特徴とする画像処理装置。
【請求項１０】
複数の入力画像を受け取る入力工程と、
前記複数の入力画像の同一位置を示す画素集合の中から、画素位置ごとに各々選択された画素で構成された中間画像を生成する画像生成工程と、
前記画像生成工程によって得られた画素の組み合わせの異なる複数の前記中間画像に対して、各々画像処理を行う画像処理工程と、
前記画像処理工程によって得られた画像処理結果を合成する合成工程と、
を備えることを特徴とする画像処理装置の制御方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、画像報処理装置の制御方法、及びコンピュータプログラムに関するものである。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置に対して、暗所や夜間などの環境下でも高画質な画像を得ることに対する要求が高まりつつある。このような環境下ではＩＳＯ感度を上げることで、明るい画像を撮影することができる。しかし、ＩＳＯ感度を上げると光に対する反応が高くなり、明るい画像を得ることができるとともに、ノイズに対する反応も高くなりノイズ量が増えるという課題がある。これらの課題を解決するために、高感度で撮影した画像のノイズを、画像処理によって低減するノイズ低減処理技術の開発が行われてきている。
【０００３】
撮影時のノイズにはランダム性があるため、同一シーンに対して多数の撮影画像を得ることができれば、それらを加算平均することで、互いのノイズパターンを打ち消したノイズ低減効果を得ることができる。このため、多数の連写画像を位置合わせした上で加算平均するアプローチが存在するが、動きのある被写体の場合には撮影間の位置ずれが大きくなり、位置合わせが困難である。一方、１枚の静止画に対してノイズ低減処理を行う方式においては、元画像に含まれるノイズパターンを誤ってテクスチャとして扱ってしまうなど、ノイズパターンに起因した弊害が出現しやすい。
【０００４】
特許文献１では、連写で撮影された画像から１枚を選択した基準画像と、連写画像を第一の合成手段で合成した第一の合成画像に対し、それぞれノイズ低減処理を適用した上で、第二の合成手段で合成する方式が開示されている。複数枚の画像に対しノイズ低減処理を適用した上で、それらの結果を合成することでノイズ低減処理の精度を向上させている。
【０００５】
特許文献２では、１枚の画像を対象としたパッチベースのノイズ低減手法が開示されている。パッチベース手法は、画像を小領域（パッチ）に分解し、同一の画像の中には類似したパッチが多数含まれているという性質を利用することで、高いノイズ低減性能を得る技術である。
【０００６】
非特許文献１では、１枚の静止画に対するノイズ低減処理のアプローチとして、ＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）を活用した深層学習手法を用いたノイズ低減手法が開示されている。ＣＮＮでは、ノイズを含む画像を入力とし、ノイズのない画像を教師データとすることで、ノイズ画像からノイズ除去後の画像を出力するネットワークを学習することができる。
【先行技術文献】
【特許文献】
【０００７】
特開２０１２－６８７３３号公報
特開２０１９－１０６１７３号公報
【非特許文献】
【０００８】
Ｍａｏ, Ｘｉａｏｊｉａｏ, ＣｈｕｎｈｕａＳｈｅｎ, ａｎｄＹｕ－ＢｉｎＹａｎｇ. “Ｉｍａｇｅｒｅｓｔｏｒａｔｉｏｎｕｓｉｎｇｖｅｒｙｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒｎｅｔｗｏｒｋｓｗｉｔｈｓｙｍｍｅｔｒｉｃｓｋｉｐｃｏｎｎｅｃｔｉｏｎｓ.” Ａｄｖａｎｃｅｓｉｎｎｅｕｒａｌｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍｓ. ２０１６．
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１では、基準画像と第一の合成画像の２枚を、それぞれノイズ低減処理を適用した上で合成しているが、精度の良い第一の合成画像を得るためには、多数の連写画像が必要である。また、複数枚の画像にそれぞれノイズ低減処理を適用した上で合成するというアプローチは、ノイズ低減処理の対象となる画像枚数が少数である場合には、各々の弊害を十分に打ち消すことができない。
【００１０】
特許文献２に代表されるパッチベースのノイズ低減手法においては、類似パッチが１つの画像内に一定数存在している必要がある。また、パッチ類似度の判定がノイズの影響を受けるため、ノイズの量が多い画像では十分な性能が出ないことがある。
（【００１１】以降は省略されています）

関連特許