特許ウォッチ

公開番号2024054762
公報種別公開特許公報(A)
公開日2024-04-17
出願番号2022161204
出願日2022-10-05
発明の名称画像処理装置、制御方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 23/60 20230101AFI20240410BHJP(電気通信技術)
要約【課題】可視光画像における被写体の像の視認性を向上させる画像処理装置、撮像装置、制御方法及びプログラムを提供する。
【解決手段】動画像を構成する各フレームの画像について、可視光画像と赤外光画像を合成することにより被写体の像の視認性を向上させる画像処理装置において、画像処理部が実行する導出処理は、動画像の各フレームについて可視光画像及び赤外光画像を取得し、各フレームについて、赤外光量を取得し、可視光画像及び赤外光画像に基づいて、動画像の各フレームに係るエンハンス処理を実行する対象領域を決定し、決定した対象領域について、エンハンス処理の結果得られる画像の視認性を示す目標値を設定し、動画像の各フレームの可視光画像及び赤外光画像の各々の補正量を導出する。補正量の導出は、基準フレームに係り設定された目標値と、基準フレームと後続するフレームとの間の赤外光量の差分とに基づく。
【選択図】図7
特許請求の範囲【請求項１】
動画像を構成する各フレームの画像について、可視光画像と赤外光画像を合成することにより被写体の像の視認性を向上させるエンハンス処理を実行する画像処理装置であって、
前記動画像の各フレームについて前記被写体を撮像した前記可視光画像及び前記赤外光画像を取得する第１の取得手段と、
前記動画像の各フレームについて、撮像シーンに係る赤外光量を取得する第２の取得手段と、
前記可視光画像及び前記赤外光画像に基づいて、前記動画像の各フレームに係る前記エンハンス処理を実行する対象領域を決定する決定手段と、
前記決定手段により決定された対象領域について、前記エンハンス処理の結果得られる画像における前記被写体の像の視認性を示す目標値を設定する設定手段と、
前記動画像の各フレームに係る前記エンハンス処理における、当該フレームに係り取得された前記可視光画像及び前記赤外光画像の各々の補正量を導出する導出手段と、
を有し、
前記設定手段は、前記動画像の基準フレームについて取得された前記可視光画像及び前記赤外光画像に基づいて前記目標値を決定し、
前記導出手段は、前記動画像の前記基準フレームに後続するフレームについて、前記基準フレームに係り設定された前記目標値と、前記基準フレームと前記後続するフレームとの間の前記赤外光量の差分とに基づいて、前記後続するフレームに係り取得された前記可視光画像及び前記赤外光画像の各々の前記補正量を導出する
ことを特徴とする画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記エンハンス処理は、前記被写体の像のエッジを強調する処理であり、
前記導出手段は、前記可視光画像及び前記赤外光画像の各々のエッジ強調量を前記補正量として導出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記エンハンス処理は、前記可視光画像及び前記赤外光画像の前記対象領域のＡＣ成分を、各画像について導出された前記エッジ強調量に基づいて増幅し、さらに前記可視光画像のＤＣ成分に合成する処理であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記導出手段は、前記後続するフレームについて、前記エンハンス処理において前記可視光画像及び前記赤外光画像の対象領域のＡＣ成分を増幅して合算した値が、前記目標値となるように各画像の前記エッジ強調量を導出することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記目標値は、前記エンハンス処理の結果得られる画像のＡＣ成分が示すエッジ強度であることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記エッジ強調量には、上限値が設けられており、
前記画像処理装置は、前記被写体に赤外光を照射する発光装置の制御を行う制御手段をさらに有し、
前記制御手段は、前記後続するフレームのうちの第１のフレームに係る前記エンハンス処理を実行した結果に得られる画像のエッジ強度が前記目標値に不足する場合に、当該第１のフレームに続く第２のフレームにおいて前記発光装置に照射させる赤外光の発光量を増加させる
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記発光装置と前記被写体との距離を取得する第３の取得手段をさらに有し、
前記制御手段は、前記対象領域に含まれる前記被写体との距離が距離閾値を上回る場合に、前記発光装置の発光量を増加させない
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記画像処理装置は、前記第１のフレームにおいて前記発光装置の発光量が最大量であった場合に、前記第２のフレームの撮像条件と類似する過去のフレームに係り取得された前記赤外光画像を用いて前記エンハンス処理を実行することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記第２の取得手段は、前記動画像の各フレームについて、当該フレームに係り取得された前記赤外光画像に基づいて前記赤外光量を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記第２の取得手段は、前記動画像の各フレームについて、当該フレームを含む直近の所定数のフレームに係り取得された前記赤外光画像に基づいて前記赤外光量を取得することを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、制御方法及びプログラムに関し、特に赤外光画像を用いた可視光画像の視認性を向上させる画像処理技術に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
霧や煙等のエアロゾルが大気中に存在するシーンを撮影した可視光画像を、レーダー装置を用いて得られた、被写体の奥行き方向の距離及びエアロゾルの強度と、太陽光の明るさを用いて鮮明化する画像補正技術がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
特開２０１６－０１９２０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のようなシーンを撮影した可視光画像は、大気中の状態によってはそもそも被写体の像が信号値として表れないこともあり、この場合、適切な特許文献１の補正処理技術を用いても好適な補正結果が得られない可能性があった。
【０００５】
本発明は、上述の問題点に鑑みてなされたものであり、可視光画像における被写体の像の視認性を向上させる画像処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前述の目的を達成するために、本発明の画像処理装置は、動画像を構成する各フレームの画像について、可視光画像と赤外光画像を合成することにより被写体の像の視認性を向上させるエンハンス処理を実行する画像処理装置であって、動画像の各フレームについて被写体を撮像した可視光画像及び赤外光画像を取得する第１の取得手段と、動画像の各フレームについて、撮像シーンに係る赤外光量を取得する第２の取得手段と、可視光画像及び赤外光画像に基づいて、動画像の各フレームに係るエンハンス処理を実行する対象領域を決定する決定手段と、決定手段により決定された対象領域について、エンハンス処理の結果得られる画像における被写体の像の視認性を示す目標値を設定する設定手段と、動画像の各フレームに係るエンハンス処理における、当該フレームに係り取得された可視光画像及び赤外光画像の各々の補正量を導出する導出手段と、を有し、設定手段は、動画像の基準フレームについて取得された可視光画像及び赤外光画像に基づいて目標値を決定し、導出手段は、動画像の基準フレームに後続するフレームについて、基準フレームに係り設定された目標値と、基準フレームと後続するフレームとの間の赤外光量の差分とに基づいて、後続するフレームに係り取得された可視光画像及び赤外光画像の各々の補正量を導出することを特徴とする。
【発明の効果】
【０００７】
このような構成により本発明によれば、可視光画像における被写体の像の視認性を向上させることが可能となる。
【図面の簡単な説明】
【０００８】
本発明の実施形態及び変形例に係る撮像装置１００の機能構成を例示したブロック図
本発明の実施形態及び変形例に係る撮像部１０５を説明するための図
本発明の実施形態及び変形例に係る、エンハンス処理に関与する画像処理部１０７の機能構成を例示したブロック図
本発明が適用される可視光画像と赤外光画像の一例を示した図
本発明の実施形態及び変形例に係る画像のブロック分割態様を例示した図
本発明の実施形態及び変形例に係る、画像のＡＣ成分の量と当該画像に適用されるエッジ強調量の関係を例示した図
本発明の実施形態１の画像処理部１０７において実行される導出処理を例示したフローチャート
本発明の変形例７に係る領域ごとの目標値の決定方法を説明するための図
本発明の変形例９に係る段階的に変化する目標値の設定方法を説明するための図
本発明の実施形態２の撮像装置１００で実行される発光制御処理を例示したフローチャート
本発明が適用される可視光画像と赤外光画像の別の例を示した図
【発明を実施するための形態】
【０００９】
［実施形態１］
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
以下に説明する一実施形態は、画像処理装置の一例としての、動画像の各フレームに係る可視光画像及び赤外光画像を撮影可能な撮像装置に、本発明を適用した例を説明する。しかし、本発明は、動画像のフレームに係る可視光画像を、赤外光画像を用いて補正することが可能な任意の機器に適用可能である。また、本実施形態において、「エンハンス処理」とは、可視光画像に含まれる被写体の像について、エッジを強調させることで視認性を向上させる処理であるものとして説明する。
（【００１１】以降は省略されています）

関連特許