TOP特許意匠商標
特許ウォッチ Twitter
公開番号2024054762
公報種別公開特許公報(A)
公開日2024-04-17
出願番号2022161204
出願日2022-10-05
発明の名称画像処理装置、制御方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 23/60 20230101AFI20240410BHJP(電気通信技術)
要約【課題】可視光画像における被写体の像の視認性を向上させる画像処理装置、撮像装置、制御方法及びプログラムを提供する。
【解決手段】動画像を構成する各フレームの画像について、可視光画像と赤外光画像を合成することにより被写体の像の視認性を向上させる画像処理装置において、画像処理部が実行する導出処理は、動画像の各フレームについて可視光画像及び赤外光画像を取得し、各フレームについて、赤外光量を取得し、可視光画像及び赤外光画像に基づいて、動画像の各フレームに係るエンハンス処理を実行する対象領域を決定し、決定した対象領域について、エンハンス処理の結果得られる画像の視認性を示す目標値を設定し、動画像の各フレームの可視光画像及び赤外光画像の各々の補正量を導出する。補正量の導出は、基準フレームに係り設定された目標値と、基準フレームと後続するフレームとの間の赤外光量の差分とに基づく。
【選択図】図7
特許請求の範囲【請求項1】
動画像を構成する各フレームの画像について、可視光画像と赤外光画像を合成することにより被写体の像の視認性を向上させるエンハンス処理を実行する画像処理装置であって、
前記動画像の各フレームについて前記被写体を撮像した前記可視光画像及び前記赤外光画像を取得する第1の取得手段と、
前記動画像の各フレームについて、撮像シーンに係る赤外光量を取得する第2の取得手段と、
前記可視光画像及び前記赤外光画像に基づいて、前記動画像の各フレームに係る前記エンハンス処理を実行する対象領域を決定する決定手段と、
前記決定手段により決定された対象領域について、前記エンハンス処理の結果得られる画像における前記被写体の像の視認性を示す目標値を設定する設定手段と、
前記動画像の各フレームに係る前記エンハンス処理における、当該フレームに係り取得された前記可視光画像及び前記赤外光画像の各々の補正量を導出する導出手段と、
を有し、
前記設定手段は、前記動画像の基準フレームについて取得された前記可視光画像及び前記赤外光画像に基づいて前記目標値を決定し、
前記導出手段は、前記動画像の前記基準フレームに後続するフレームについて、前記基準フレームに係り設定された前記目標値と、前記基準フレームと前記後続するフレームとの間の前記赤外光量の差分とに基づいて、前記後続するフレームに係り取得された前記可視光画像及び前記赤外光画像の各々の前記補正量を導出する
ことを特徴とする画像処理装置。
続きを表示(約 1,200 文字)【請求項2】
前記エンハンス処理は、前記被写体の像のエッジを強調する処理であり、
前記導出手段は、前記可視光画像及び前記赤外光画像の各々のエッジ強調量を前記補正量として導出する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記エンハンス処理は、前記可視光画像及び前記赤外光画像の前記対象領域のAC成分を、各画像について導出された前記エッジ強調量に基づいて増幅し、さらに前記可視光画像のDC成分に合成する処理であることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記導出手段は、前記後続するフレームについて、前記エンハンス処理において前記可視光画像及び前記赤外光画像の対象領域のAC成分を増幅して合算した値が、前記目標値となるように各画像の前記エッジ強調量を導出することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記目標値は、前記エンハンス処理の結果得られる画像のAC成分が示すエッジ強度であることを特徴とする請求項2に記載の画像処理装置。
【請求項6】
前記エッジ強調量には、上限値が設けられており、
前記画像処理装置は、前記被写体に赤外光を照射する発光装置の制御を行う制御手段をさらに有し、
前記制御手段は、前記後続するフレームのうちの第1のフレームに係る前記エンハンス処理を実行した結果に得られる画像のエッジ強度が前記目標値に不足する場合に、当該第1のフレームに続く第2のフレームにおいて前記発光装置に照射させる赤外光の発光量を増加させる
ことを特徴とする請求項5に記載の画像処理装置。
【請求項7】
前記発光装置と前記被写体との距離を取得する第3の取得手段をさらに有し、
前記制御手段は、前記対象領域に含まれる前記被写体との距離が距離閾値を上回る場合に、前記発光装置の発光量を増加させない
ことを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記画像処理装置は、前記第1のフレームにおいて前記発光装置の発光量が最大量であった場合に、前記第2のフレームの撮像条件と類似する過去のフレームに係り取得された前記赤外光画像を用いて前記エンハンス処理を実行することを特徴とする請求項6に記載の画像処理装置。
【請求項9】
前記第2の取得手段は、前記動画像の各フレームについて、当該フレームに係り取得された前記赤外光画像に基づいて前記赤外光量を取得することを特徴とする請求項1に記載の画像処理装置。
【請求項10】
前記第2の取得手段は、前記動画像の各フレームについて、当該フレームを含む直近の所定数のフレームに係り取得された前記赤外光画像に基づいて前記赤外光量を取得することを特徴とする請求項1に記載の画像処理装置。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
本発明は、画像処理装置、撮像装置、制御方法及びプログラムに関し、特に赤外光画像を用いた可視光画像の視認性を向上させる画像処理技術に関する。
続きを表示(約 2,100 文字)【背景技術】
【0002】
霧や煙等のエアロゾルが大気中に存在するシーンを撮影した可視光画像を、レーダー装置を用いて得られた、被写体の奥行き方向の距離及びエアロゾルの強度と、太陽光の明るさを用いて鮮明化する画像補正技術がある(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
特開2016-019201号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述のようなシーンを撮影した可視光画像は、大気中の状態によってはそもそも被写体の像が信号値として表れないこともあり、この場合、適切な特許文献1の補正処理技術を用いても好適な補正結果が得られない可能性があった。
【0005】
本発明は、上述の問題点に鑑みてなされたものであり、可視光画像における被写体の像の視認性を向上させる画像処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
前述の目的を達成するために、本発明の画像処理装置は、動画像を構成する各フレームの画像について、可視光画像と赤外光画像を合成することにより被写体の像の視認性を向上させるエンハンス処理を実行する画像処理装置であって、動画像の各フレームについて被写体を撮像した可視光画像及び赤外光画像を取得する第1の取得手段と、動画像の各フレームについて、撮像シーンに係る赤外光量を取得する第2の取得手段と、可視光画像及び赤外光画像に基づいて、動画像の各フレームに係るエンハンス処理を実行する対象領域を決定する決定手段と、決定手段により決定された対象領域について、エンハンス処理の結果得られる画像における被写体の像の視認性を示す目標値を設定する設定手段と、動画像の各フレームに係るエンハンス処理における、当該フレームに係り取得された可視光画像及び赤外光画像の各々の補正量を導出する導出手段と、を有し、設定手段は、動画像の基準フレームについて取得された可視光画像及び赤外光画像に基づいて目標値を決定し、導出手段は、動画像の基準フレームに後続するフレームについて、基準フレームに係り設定された目標値と、基準フレームと後続するフレームとの間の赤外光量の差分とに基づいて、後続するフレームに係り取得された可視光画像及び赤外光画像の各々の補正量を導出することを特徴とする。
【発明の効果】
【0007】
このような構成により本発明によれば、可視光画像における被写体の像の視認性を向上させることが可能となる。
【図面の簡単な説明】
【0008】
本発明の実施形態及び変形例に係る撮像装置100の機能構成を例示したブロック図
本発明の実施形態及び変形例に係る撮像部105を説明するための図
本発明の実施形態及び変形例に係る、エンハンス処理に関与する画像処理部107の機能構成を例示したブロック図
本発明が適用される可視光画像と赤外光画像の一例を示した図
本発明の実施形態及び変形例に係る画像のブロック分割態様を例示した図
本発明の実施形態及び変形例に係る、画像のAC成分の量と当該画像に適用されるエッジ強調量の関係を例示した図
本発明の実施形態1の画像処理部107において実行される導出処理を例示したフローチャート
本発明の変形例7に係る領域ごとの目標値の決定方法を説明するための図
本発明の変形例9に係る段階的に変化する目標値の設定方法を説明するための図
本発明の実施形態2の撮像装置100で実行される発光制御処理を例示したフローチャート
本発明が適用される可視光画像と赤外光画像の別の例を示した図
【発明を実施するための形態】
【0009】
[実施形態1]
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0010】
以下に説明する一実施形態は、画像処理装置の一例としての、動画像の各フレームに係る可視光画像及び赤外光画像を撮影可能な撮像装置に、本発明を適用した例を説明する。しかし、本発明は、動画像のフレームに係る可視光画像を、赤外光画像を用いて補正することが可能な任意の機器に適用可能である。また、本実施形態において、「エンハンス処理」とは、可視光画像に含まれる被写体の像について、エッジを強調させることで視認性を向上させる処理であるものとして説明する。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

キヤノン株式会社
レンズ鏡筒
今日
キヤノン株式会社
画像形成装置
今日
キヤノン株式会社
画像形成装置
今日
キヤノン株式会社
光電変換装置
今日
キヤノン株式会社
投写型画像表示装置および制御方法
今日
キヤノン株式会社
表示処理装置、移動装置および表示処理方法
今日
キヤノン株式会社
画像管理装置、画像管理方法、及び、プログラム
今日
キヤノン株式会社
画像処理装置、画像処理装置の制御方法及びプログラム
今日
キヤノン株式会社
振動型アクチュエータと、振動型アクチュエータの製造方法
今日
キヤノン株式会社
硬化性組成物、膜形成方法、パターン形成方法、および物品製造方法
今日
キヤノン株式会社
発光装置、表示装置、光電変換装置、電子機器、照明装置及び移動体
今日
個人
メガホン
1か月前
個人
挿耳装置
1か月前
個人
通話装置
1か月前
個人
暗号化記憶媒体
2か月前
オンキヨー株式会社
電子機器
15日前
シャープ株式会社
調理器
23日前
個人
非常時の情報伝達システム
2か月前
個人
イラストの著作権保護方法
1か月前
富士通株式会社
光送信装置
1か月前
船井電機株式会社
表示装置
28日前
船井電機株式会社
表示装置
1か月前
キヤノン株式会社
表示装置
1か月前
キヤノン株式会社
通信装置
1日前
日本精機株式会社
赤外線撮影装置
13日前
富士通株式会社
光受信装置
1か月前
キヤノン電子株式会社
画像読取装置
15日前
キヤノン電子株式会社
画像読取装置
2か月前
キヤノン電子株式会社
画像読取装置
15日前
個人
携帯端末用カバー
13日前
キヤノン電子株式会社
画像読取装置
15日前
リオン株式会社
補聴器
1か月前
日本無線株式会社
通信システム
1か月前
株式会社パロマ
リモコン
2か月前
太陽誘電株式会社
振動発生装置
2か月前
八重洲無線株式会社
無線受信装置
9日前
続きを見る