特許ウォッチ

公開番号2025017532
公報種別公開特許公報(A)
公開日2025-02-06
出願番号2023120621
出願日2023-07-25
発明の名称撮像装置およびその制御方法
出願人キヤノン株式会社
代理人個人
主分類H04N 23/745 20230101AFI20250130BHJP(電気通信技術)
要約【課題】非可視光または可視光のフリッカが発生する状況下でも、フリッカの影響を低コストで抑制する。
【解決手段】制御部110は、非可視光フリッカ処理302を実行した後に可視光フリッカ処理303を実行する。非可視光フリッカ処理302では、制御部110は、フリッカ検出用画像データ300から非可視光フリッカ周期を検出させ、非可視光フリッカ周期に基づいて、撮像画像に非可視光フリッカが生じないように撮像素子100を制御する。可視光フリッカ処理303では、制御部110は、撮像画像に非可視光フリッカが生じないように撮像素子100を制御した状態で分離されたフリッカ検出用画像データ301から可視光フリッカ周期を検出させ、さらに、非可視光フリッカ周期と可視光フリッカ周期とに基づいて、撮像画像に非可視光フリッカおよび可視光フリッカが生じないように撮像素子100を制御する。
【選択図】図3
特許請求の範囲【請求項１】
可視光と非可視光とを含む画像を出力する撮像手段と、
前記撮像手段により出力された画像を可視光画像と非可視光画像とに分離する分離手段と、
フリッカを検出する検出手段と、
第１処理を実行した後に第２処理を実行する制御手段と、を有し、
前記制御手段は、前記第１処理では、前記非可視光画像から、前記検出手段に非可視光のフリッカ周期を検出させ、検出された前記非可視光のフリッカ周期に基づいて、前記画像に非可視光のフリッカが生じないように前記撮像手段を制御し、前記第２処理では、前記画像に非可視光のフリッカが生じないように前記撮像手段を制御した状態で分離された前記可視光画像から、前記検出手段に可視光のフリッカ周期を検出させ、前記非可視光のフリッカ周期と検出された前記可視光のフリッカ周期とに基づいて、前記画像に非可視光のフリッカおよび可視光のフリッカが生じないように前記撮像手段を制御することを特徴とする撮像装置。
続きを表示（約 2,200 文字）【請求項２】
可視光と非可視光とを含む画像を出力する撮像手段と、
前記撮像手段により出力された画像を可視光画像と非可視光画像とに分離する分離手段と、
フリッカを検出する検出手段と、
第２処理を実行した後に第１処理を実行する制御手段と、を有し、
前記制御手段は、前記第２処理では、前記可視光画像から、前記検出手段に可視光のフリッカ周期を検出させ、検出された前記可視光のフリッカ周期に基づいて、前記画像に可視光のフリッカが生じないように前記撮像手段を制御し、前記第１処理では、前記画像に可視光のフリッカが生じないように前記撮像手段を制御した状態で分離された前記非可視光画像から、前記検出手段に非可視光のフリッカ周期を検出させ、前記可視光のフリッカ周期と検出された前記非可視光のフリッカ周期とに基づいて、前記画像に非可視光のフリッカおよび可視光のフリッカが生じないように前記撮像手段を制御することを特徴とする撮像装置。
【請求項３】
可視光と非可視光とを含む画像を出力する撮像手段と、
前記撮像手段により出力された画像を可視光画像と非可視光画像とに分離する分離手段と、
フリッカを検出する検出手段と、
第１処理を実行した後に第２処理を実行する制御手段と、を有し、
前記制御手段は、前記第１処理では、前記非可視光画像から、前記検出手段に非可視光のフリッカ周期を検出させ、その後に前記撮像手段により出力された前記画像を分離する際に、検出された前記非可視光のフリッカ周期に基づいて、非可視光のフリッカを低減させるためのフリッカ補正を適用し、前記第２処理では、前記フリッカ補正が適用されて分離された前記可視光画像から、前記検出手段に可視光のフリッカ周期を検出させ、検出された前記可視光のフリッカ周期に基づいて、前記画像に可視光のフリッカが生じないように前記撮像手段を制御することを特徴とする撮像装置。
【請求項４】
可視光と非可視光とを含む画像を出力する撮像手段と、
前記撮像手段により出力された画像を可視光画像と非可視光画像とに分離する分離手段と、
フリッカを検出する検出手段と、
第２処理を実行した後に第１処理を実行する制御手段と、を有し、
前記制御手段は、前記第２処理では、前記可視光画像から、前記検出手段に可視光のフリッカ周期を検出させ、その後に前記撮像手段により出力された前記画像を分離する際に、検出された前記可視光のフリッカ周期に基づいて、可視光のフリッカを低減させるためのフリッカ補正を適用し、前記第１処理では、前記フリッカ補正が適用されて分離された前記非可視光画像から、前記検出手段に非可視光のフリッカ周期を検出させ、検出された前記非可視光のフリッカ周期に基づいて、前記画像に非可視光のフリッカが生じないように前記撮像手段を制御することを特徴とする撮像装置。
【請求項５】
前記分離手段は、前記可視光画像と前記非可視光画像とを分離する際に、前記可視光画像の画素値を、前記非可視光画像を用いて補正することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記分離手段は、前記可視光画像と前記非可視光画像とを分離する際に、前記非可視光画像の画素値を、前記可視光画像を用いて補正することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項７】
前記制御手段は、前記第１処理および前記第２処理を複数回、繰り返し実行することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項８】
前記制御手段は、前記第２処理において、前記画像に非可視光のフリッカおよび可視光のフリッカが生じないように前記撮像手段を制御する際、露光時間が、前記可視光のフリッカ周期と前記非可視光のフリッカ周期の公倍数となるように前記撮像手段を制御することを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記制御手段は、前記第１処理において、前記画像に非可視光のフリッカおよび可視光のフリッカが生じないように前記撮像手段を制御する際、露光時間が、前記可視光のフリッカ周期と前記非可視光のフリッカ周期の公倍数となるように前記撮像手段を制御することを特徴とする請求項２に記載の撮像装置。
【請求項１０】
可視光と非可視光とを含む画像を出力する撮像手段を有し、前記撮像手段により出力された画像を可視光画像と非可視光画像とに分離し、フリッカを検出する撮像装置の制御方法であって、
第１処理を実行した後に第２処理を実行し、
前記第１処理では、前記非可視光画像から、非可視光のフリッカ周期を検出し、検出された前記非可視光のフリッカ周期に基づいて、前記画像に非可視光のフリッカが生じないように前記撮像手段を制御し、前記第２処理では、前記画像に非可視光のフリッカが生じないように前記撮像手段を制御した状態で分離された前記可視光画像から、可視光のフリッカ周期を検出し、前記非可視光のフリッカ周期と検出された前記可視光のフリッカ周期とに基づいて、前記画像に非可視光のフリッカおよび可視光のフリッカが生じないように前記撮像手段を制御することを特徴とする撮像装置の制御方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
撮像素子を用いた撮像装置において、蛍光灯やＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）照明下の被写体を撮影する場合、撮像された画像に周期的な明暗が現れることがある。この現象はフリッカと呼ばれ、フリッカは光を発する全ての光源から発生し、光源側の明減周期と撮像装置の垂直同期周波数との関係により発生するものである。
【０００３】
また、近年、デジタルカメラや監視カメラやスマートフォン搭載カメラなどの撮像装置において、可視光画像と非可視光（赤外光）画像とを用いた画像処理が検討されている。非可視光画像は、人間の目で感知できない波長領域にあり色情報がないモノクロ画像として扱われるが、暗所での視認性向上や霞などの影響を受けづらい。そのため、可視光画像に対して、非可視光画像を用いて、ノイズ低減やコントラスト改善、霞除去などを行う画像処理に適応できる。
【０００４】
可視光画像と非可視光画像とを並行して取得できる撮像素子においては、赤外カットフィルタを用いると赤外光を受光できなくなるため、赤外カットフィルタを用いることができない。また、非可視光画素が周りの可視光画素に影響を及ぼすことがある。また、可視光画像と非可視光画像を並行して取得できる撮像素子を搭載した撮像装置は、可視光源による可視光フリッカと非可視光源による非可視光フリッカの影響を受ける可能性がある。
【０００５】
例えば、スマートフォン等に搭載されるカメラには、ＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）センサにより距離を測定して背景と人物などを切り離し、背景ぼかしなどの画像処理を行うものがある。室内撮影において、他者のスマートフォンのＴＯＦセンサが発生する赤外光のフリッカと室内照明光源のフリッカとにより、撮像装置は、可視光フリッカおよび非可視光フリッカの影響を受けることになる。
【０００６】
そのため、このような状況において画像からフリッカを検出する場合、可視光画像が非可視光フリッカの影響を受けてしまい、可視光フリッカの検出精度が低下する可能性がある。非可視光フリッカの影響を取り除いて可視光フリッカを検出する技術が特許文献１、２に記載されている。
【先行技術文献】
【特許文献】
【０００７】
特開２０２０－１２９７５６号公報
特表２０２２－５２４９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に開示されている技術は、予め非可視光フリッカ（ノイズ光源）の周期が分かっているため非可視光のフリッカ（ノイズ光源）を除去できる。しかし、非可視光フリッカ周期がわからない環境化においては、非可視光フリッカの影響を受けて可視光フリッカの検出精度が低下する可能性がある。あるいは、非可視光画像を可視光画像の処理に利用する際に非可視光フリッカの影響を受ける可能性がある。
【０００９】
特許文献２に開示されている技術は、フリッカの検出時に赤外カットフィルタを挿入することで、赤外光の影響を排除しつつフリッカを検出している。しかし、赤外カットフィルタが必要となり、コストが高くなる可能性がある。
【００１０】
本発明は、非可視光または可視光のフリッカが発生する状況下でも、フリッカの影響を低コストで抑制することを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許