特許ウォッチ

公開番号2024175481
公報種別公開特許公報(A)
公開日2024-12-18
出願番号2023093306
出願日2023-06-06
発明の名称画像処理装置、情報処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G02B 7/28 20210101AFI20241211BHJP(光学)
要約【課題】低照度環境においてノイズが多い映像においてフォーカスを合わせるために有利な情報を提供する。
【解決手段】入力された第1の画像から、特定の空間周波数を有する領域を示すアテンションマップを生成する。第1の画像とアテンションマップとに基づいて、学習済みの機械学習モデルにより前記第1の画像からノイズが低減された第2の画像を出力する。第2の画像とアテンションマップとに基づいて、撮像装置の焦点の調節のための情報を生成する。
【選択図】図4
特許請求の範囲【請求項１】
入力された第１の画像から、特定の空間周波数を有する領域を示すアテンションマップを生成する第１の生成手段と、
前記第１の画像と前記アテンションマップとに基づいて、学習済みの機械学習モデルにより前記第１の画像からノイズが低減された第２の画像を出力する出力手段と、
前記第２の画像と前記アテンションマップとに基づいて、撮像装置の焦点を調節するための情報を生成する第２の生成手段と、
を備えることを特徴とする、画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記第２の生成手段は、前記撮像装置の焦点を調節するための情報として、オートフォーカスにおける焦点検出を行う、前記第２の画像中の第１の部分領域を示す情報を生成することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像から前記空間周波数に基づいて第２の部分領域を抽出する抽出手段をさらに備え、
前記第１の生成手段は、前記アテンションマップとして、前記第１の画像における前記第２の部分領域を示すマップを生成し、
前記第２の生成手段は、前記アテンションマップの前記第２の部分領域に基づいて前記第１の部分領域を示す情報を生成することを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記第１の部分領域は、前記アテンションマップの前記第２の部分領域の重心位置を中心とする、所定の形状の領域であることを特徴とする、請求項３に記載の画像処理装置。
【請求項５】
前記第２の画像の前記第１の部分領域から、コントラスト方式によりオートフォーカスの焦点位置を決定する第１の決定手段をさらに備えることを特徴とする、請求項２に記載の画像処理装置。
【請求項６】
前記第２の画像の前記第１の部分領域から、位相差方式によりオートフォーカスの焦点位置を決定する第２の決定手段をさらに備えることを特徴とする、請求項２に記載の画像処理装置。
【請求項７】
前記第２の生成手段は、前記撮像装置による焦点調節に用いる情報として、マニュアルフォーカス操作中において第２の画像上に重畳表示する、前記第２の部分領域を示す画像を生成することを特徴とする、請求項３に記載の画像処理装置。
【請求項８】
前記第２の生成手段は、前記撮像装置による焦点調節に用いる情報として、合焦までのフォーカスレンズの移動量を示す情報を生成することを特徴とする、請求項６に記載の画像処理装置。
【請求項９】
前記第２の生成手段は、前記撮像装置の焦点の調節のための情報として、前記撮像装置が合焦しているか否かを示す情報を生成することを特徴とする、請求項６に記載の画像処理装置。
【請求項１０】
第１の画像を撮像する撮像手段と、
前記第１の画像を入力として、特定の空間周波数を有する領域を示すアテンションマップを生成する第１の生成手段と、
前記第１の画像と前記アテンションマップとに基づいて学習済みの機械学習モデルにより、前記第１の画像からノイズが低減された第２の画像を出力する出力手段と、
前記第２の画像と前記アテンションマップとに基づいて、撮像における焦点を調節するための情報を生成する第２の生成手段と、
を備えることを特徴とする、撮像装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、情報処理方法、及びプログラムに関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
監視市場における超低照度環境では、ターゲットとする被写体の視認性の向上が求められており、カメラによる撮影時には非常に高いゲインが適用されることがある。例えば、鑑賞用途としての画質を犠牲にしてでも被写体の視認性を重視してゲインを高くする場合がある。また、このようなシーンでオートフォーカス（以下ＡＦ）を使用する場合には、焦点検出の評価値が通常の場合と比較して変動するため、焦点検出が難しくなるとされている。
【０００３】
ＡＦを行う方式としては、映像の高周波成分を焦点評価値とするコントラスト方式、又は撮像素子に入る光束を分岐して二像に結像し、二像の位相差からデフォーカス量を求めて焦点を評価する位相差方式が存在する。特許文献１では、焦点検出処理における前段処理でノイズ低減処理（以下ＮＲ）を実施する技術が開示されており、ＮＲ強度に応じた合焦判定閾値を調整することによりノイズがある被写体による合焦を行っている。また、特許文献２では過去所定フレームにおいて変化量が閾値以上となった回数の合計が閾値以上である場合にＡＦ起動を指示することにより、ノイズ変動による影響を低減させＡＦとしての安定性を向上させる技術が開示されている。
【０００４】
特許文献３では相関演算用に第一階層及び縦横縮小した第二階層の二像を用意し、ノイズが多い場合は第二階層の二像データで相関演算する像ズレ量算出装置が開示されている。また、特許文献４に記載の技術では、ノイズ量に応じて相関演算時に算出される信頼性判定の基準値を変更している。特許文献１及び２ではコントラスト方式によりＡＦが行われており、特許文献３及び４では位相差方式によりＡＦが行われている。
【先行技術文献】
【特許文献】
【０００５】
特開２００８－２９２５４１号公報
特開２０２２－１１０９９号公報
特許第６９３１３０６号公報
特許第６７５８９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、これらの特許文献に記載の技術では、ノイズが除去しきれず焦点評価値が通常時よりも変動してしまい、ボケによるＡＦの停止が生じる、又はそもそもＡＦが駆動しない場合があった。例えば、高ゲインかつノイズの多い画像に対しては、ノイズが除去しきれないことがある。
【０００７】
本発明は、画像のノイズを低減しつつ、焦点を調節するために有利な情報を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、例えば、一実施形態に係る画像処理装置は以下の構成を備える。すなわち、第１の画像から、空間周波数に基づいて、アテンション機構による推論を行う機械学習モデルにより用いられるアテンションマップを生成する第１の生成手段と、前記第１の画像を入力として、前記アテンションマップに基づいて前記第１の画像からノイズを低減した画像を生成するよう学習済みの機械学習モデルにより、第１の画像からノイズを低減した第２の画像を出力する出力手段と、前記アテンションマップに基づいて、撮像装置による焦点調節に用いる情報を生成する第２の生成手段と、を備える。
【発明の効果】
【０００９】
画像のノイズを低減しつつ、焦点を調節するために有利な情報を提供する。
【図面の簡単な説明】
【００１０】
実施形態１に係る画像処理装置のハードウェア構成の一例を示すブロック図。
実施形態１に係る全体の処理の一例を示すフローチャート。
実施形態１に係る初期化処理の一例を示すフローチャート。
実施形態１に係るニューラルネットワークの説明を行うための図。
実施形態１に係る撮像処理の一例を示すフローチャート。
実施形態１に係るノイズリダクション処理の一例を示すフローチャート。
実施形態１に係るアテンションマップ処理の一例を示すフローチャート。
実施形態１に係る焦点検出処理の一例を示すフローチャート。
実施形態１に係るコントラスト評価値による判定を説明するための図。
実施形態１に係るＡＦの目標値設定処理の一例を示すフローチャート。
実施形態１に係るＭＦアシスト画像重畳処理の一例を示すフローチャート。
実施形態１に係るＭＦ操作量設定処理の一例を示すフローチャート。
実施形態１に係る映像の一例を示す図。
実施形態２に係る画像処理装置のハードウェア構成の一例を示すブロック図。
実施形態２に係る全体の処理の一例を示すフローチャート。
実施形態２に係る撮像処理の一例を示すフローチャート。
実施形態２に係るノイズリダクション処理の一例を示すフローチャート。
実施形態２に係るアテンションマップ処理の一例を示すフローチャート。
実施形態２に係る焦点検出処理の一例を示すフローチャート。
実施形態２に係るＡＦの目標値設定処理の一例を示すフローチャート。
実施形態２に係るＭＦアシスト画像重畳処理の一例を示すフローチャート。
実施形態２に係るエッジマップの一例を示す図。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許