特許ウォッチ

公開番号2024135404
公報種別公開特許公報(A)
公開日2024-10-04
出願番号2023046064
出願日2023-03-22
発明の名称情報処理装置、情報処理方法及びプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類H04N 23/60 20230101AFI20240927BHJP(電気通信技術)
要約【課題】本発明は、黒浮き量が学習時と異なる場合においても黒浮きを適切に抑制しつつノイズを低減することを目的とする。
【解決手段】本発明に掛かる情報処理装置は、学習済みニューラルネットワークを用いてノイズを低減する情報処理装置であって、入力画像の黒浮きを前記ニューラルネットワークの学習時に用いた画像の黒浮きに近づくように調整する調整手段と、前記調整手段による調整後の画像について、黒浮きを抑制するように学習した前記ニューラルネットワークを用いて推論処理する推論手段と、を有することを特徴とする。
【選択図】図2
特許請求の範囲【請求項１】
学習済みニューラルネットワークを用いてノイズを低減する情報処理装置であって、
入力画像の黒浮きを前記ニューラルネットワークの学習時に用いた画像の黒浮きに近づくように調整する調整手段と、
前記調整手段による調整後の画像について、黒浮きを抑制するように学習した前記ニューラルネットワークを用いて推論処理する推論手段と、
を有することを特徴とする情報処理装置。
続きを表示（約 830 文字）【請求項２】
前記調整手段は、前記入力画像のオプティカルブラック領域から得られる黒浮き量と、前記ニューラルネットワークの黒浮き抑制量との差分から算出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記調整手段は、遮光撮影した画像から得られる黒浮き量と、前記ニューラルネットワークの黒浮き抑制量との差分から算出することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記調整手段は、前記入力画像に前記差分を加算することを特徴とする請求項２又は請求項３に記載の情報処理装置。
【請求項５】
前記差分は、前記黒浮き抑制量が前記黒浮き量よりも大きい場合に正の値を取り、前記黒浮き抑制量が前記黒浮き量よりも小さい場合に負の値を取ることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記調整手段は、ノイズ低減後の画像に対して前記差分を減算することを特徴とする請求項２又は請求項３に記載の情報処理装置。
【請求項７】
前記調整手段は、設定した時機で前記入力画像の黒浮きを算出することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記時機は、前記推論処理を開始してから一定間隔ごと、あるいは前記黒浮きが予め設定した閾値を超えた場合であることを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記ニューラルネットワークは、前記入力画像を撮影する際の感度毎の黒浮き量が記録されていることを特徴とする請求項２又は請求項３に記載の情報処理装置。
【請求項１０】
前記黒浮き抑制量は、遮光撮影した画像と、前記ニューラルネットワークを用いて該画像のノイズを低減した画像それぞれの平均値の差分から算出することを特徴とする請求項２又は請求項３に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、撮影画像のノイズを低減する画像処理技術に関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
イメージセンサの更なる高感度化を実現するための仕組みとして、イメージセンサから出力された画像信号に対してアナログゲインとデジタルゲインをかける方法がある。一般に、これらのゲインを適用すると、ノイズの影響もより大きくなる傾向にあることが知られている。
【０００３】
特に、高感度で撮影して得られた画像中の暗部において、ノイズの影響により本来黒色であるはずが明るくなり灰色に近い表現になる、いわゆる黒浮きという現象が発生する。黒浮きの程度はイメージセンサの温度変化や個体差によるノイズ量の差異に起因して変動する。そこで、特許文献１には、デジタルゲインをかける前に、フレーム毎に、あらかじめ設定した閾値以下の画素値を持つ画素を黒画素として検出することが記載されている。そして、現フレームと前フレームの黒画素の数からオフセットを調整することで黒浮き量のばらつきを抑制する方法が開示されている。
【０００４】
また、ディープニューラルネットワーク（ＤＮＮ）を用いて画像の黒浮きを抑制しつつノイズを低減することが知られている。
【先行技術文献】
【特許文献】
【０００５】
特開２０１８―００６７６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された方法では、同じセンサの温度変化には頑健だが、センサ個体差までカバーすることは困難である。よって、ＤＮＮを用いてノイズを低減する場合、学習したセンサに特化してしまうという課題がある。
【０００７】
また、ＤＮＮを用いてノイズを低減する場合、学習時と推論時とで黒浮き量が異なると、適切にノイズを低減することができないという課題がある。
【０００８】
そこで本発明は、黒浮き量が学習時と異なる場合においても黒浮きを適切に抑制しつつノイズを低減することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に掛かる情報処理装置は、学習済みニューラルネットワークを用いてノイズを低減する情報処理装置であって、入力画像の黒浮きを前記ニューラルネットワークの学習時に用いた画像の黒浮きに近づくように調整する調整手段と、前記調整手段による調整後の画像について、黒浮きを抑制するように学習した前記ニューラルネットワークを用いて推論処理する推論手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本開示の技術によれば、処理対象の画像に対して、黒浮き量が学習時と異なる場合においても適切に黒浮きを抑制しつつノイズを低減することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許