特許ウォッチ

公開番号2023073179
公報種別公開特許公報(A)
公開日2023-05-25
出願番号2021202456
出願日2021-12-14
発明の名称撮像装置
出願人キヤノン株式会社
代理人個人,個人
主分類H04N 23/741 20230101AFI20230518BHJP(電気通信技術)
要約【課題】本発明は、動体ブレ、反応速度の課題を解決する撮像装置を提供することを目的とする。
【解決手段】撮像装置において、CMOSイメージセンサーと、CPUと、前記CMOSイメージセンサーの画素領域内の領域毎に、露光時間とアナログゲインとを独立に制御可能な制御手段と、を有することを特徴とする。
【選択図】図1
特許請求の範囲【請求項１】
ＣＭＯＳイメージセンサーと、
ＣＰＵと、
前記ＣＭＯＳイメージセンサーの画素領域内の領域毎に、露光時間とアナログゲインとを独立に制御可能な制御手段と、
を有する撮像装置。
続きを表示（約 320 文字）【請求項２】
前記ＣＰＵにより、露光条件として、前記露光時間と前記アナログゲインとが自動的に設定されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ＣＰＵにより、露光条件として、シーンに応じた前記露光時間と前記アナログゲインとが設定されることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記ＣＰＵにより、隣接領域の前記露光条件の差を低減するように前記露光条件が設定されることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記ＣＰＵにより、動体部については、隣接領域で露光時間を合わせるように前記露光条件が設定されることを特徴とする請求項３に記載の撮像装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、露光条件をデバイス内部で自動的に決定できる領域別露光制御が可能なＣＭＯＳイメージセンサーなどの撮像装置に関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
近年、大きなコントラストのシーンでは画像認識技術が向上している。これを実現するためには、特別なデータセットを用いた機械学習が必要であり、認識処理の前処理として非常に複雑で時間のかかる処理が必要である。我々は、認識エンジンが認識しやすい画像を提供する装置と、この画像を生成するアルゴリズムを提案した。この装置は、露光条件をデバイス内部で自動的に決定できる領域別露光制御が可能なＣＭＯＳイメージセンサーで構成される。さらに、各領域の露光条件をデバイス内で自動的に決定することが可能である。この装置を用いて、明暗両方の領域の情報を持つ画像が、大きなコントラストの環境でも４Ｋ３Ｋ－６０ｆｐｓで撮影でき、暗い領域の文字を認識できる画像を提供できることを実証した。提案したアルゴリズムによる検証の結果、過酷な照明条件下においても各領域に適切な露光時間を設定することが可能となり、従来の手法を上回る文字認識性能を実証した。この装置により、複雑な前処理を必要としないエッジデバイスを実現し、実時間認識を可能にする。
【０００３】
画像認識技術は、交通監視、防災、セキュリティ、マーケティング用途等の監視カメラをはじめ、車載カメラやスマートフォンのアプリケーション等、幅広い分野で応用がなされている。これらのカメラは、ＣＭＯＳイメージセンサー等の入力デバイスと、取得された画像データを処理するハードウエアから構成され、カメラシステム内で、物体認識、文字認識、異常検知等の処理が実行される。具体的には、交通監視においては、道路上を走行する自動車、および車体のナンバープレート、防災目的では河川の水位や、森林火災、活火山の監視が行われる。車載カメラにおいては、交通標識および標識に記載された文字、道路上の車線の検知が行われる。セキュリティ、マーケティングの分野においては、人物の顔を認識し、人物を特定する技術が広く用いられている。
【０００４】
画像認識技術、特にディープラーニングによる画像認識は、特徴抽出をアルゴリズム内で行うことにより複雑かつ精度の高い判別を可能にしている。これらの技術は、オープンソース（ＯＳＳ）のアルゴリズムの普及によって容易に活用できる環境が整ってきている。
【０００５】
一方で、照明条件が厳しい環境下、例えば逆光下や、トンネルの出入口、夜間のスタジアム、対向車のヘッドライトを直視するような明暗差が大きい環境での認識は非常に困難であり、認識率の低下が問題となる。しかし、このような過酷な条件は非常に一般的であり、例えば屋内外を含む様々な環境において、常に良好な照明を期待できるわけではなく、また照明の変化を予測することも困難である。その理由は、ＣＭＯＳイメージセンサーのダイナミックレンジは一般に、センサー画素の飽和容量によって制限され、コントラスの大きいシーンを撮像すると、発生した光電子が画素の飽和容量を超え、溢れた情報が不可逆的に失われるためである。フラッシュ、影、非常に低い輝度レベルの画像や、それらが組み合わさった画像での顔認識技術については、例えばオプティファズと呼ばれる照明不変法の導入や、２次元離散コサイン変換の導入により、顔検出と顔認識の向上が検討されている。また、逆光、悪天候のようにダイナミックレンジの高いシーンでの道路標識の検出ために、ニューラルネットワーク露光融合に基づく前処理モジュールの導入なども検討されている。
【０００６】
これらの検討により、明暗差が大きなシーンにおける画像認識技術の向上が図られているが、その実現には特殊なデータセットでの学習が必要になったり、認識処理の前処理として、非常に複雑で時間のかかる処理を行う必要が生じたりしている。
【０００７】
明暗差の大きいシーンに対し、認識精度の向上を図るもう一つの策として、画像入力デバイス側のダイナミックレンジ向上も検討がなされている。ＣＭＯＳイメージセンサーなどの一般的な入力デバイスのダイナミックレンジは狭く、そのコントラスト比は９０ｄＢ程度しかない。そのため、現実のシーンの持つ広いダイナミックレンジの情報を、そのまま取得し、認識処理に生かすことは不可能である。複数画像からのＨＤＲ合成技術は、このような課題を克服する技術であり、非常に大きなコントラストのシーンを６０ｄＢ程度のコントラストになるように、コントラストを落とした画像に変換する仕組みである。これは、得られる画像のコントラストを圧縮することで、現実シーンの広いコントラストを格納することを意味する。ＣＭＯＳイメージセンサーへＨＤＲ合成技術を適用することで、現実シーンにおける明暗部全ての情報を、取得することが可能となる。
【０００８】
これらの関連研究として、照明条件が厳しい環境での画像認識の精度向上は、広く研究されている。取得された画像に対して、特殊な変換処理を行うことで、様々な照明条件下で顔の発見と認識が可能になる新しい手法も提案されている。そして、悪天候や逆光のようなコントラストの大きいシーンでの交通標識認識のために、ニューラルネットワーク露光融合に基づく前処理モジュールの提案もなされている。また、照明条件の変化によって生じる画像へのノイズの影響に関し、これを回避するための前処理手法に関しても研究がなされている。
【０００９】
単一画像からのＨＤＲ再構成技術は、ダイナミックレンジの低い入力画像（ＬＤＲ）からダイナミックレンジの高い画像（ＨＤＲ）を再構成する技術に関してもまた、広く研究がなされている。照明条件が厳しい環境で取得されたコントラストの大きな画像に対する認識処理のためである。併せて、後段のハードウエハに対して特殊なＣＮＮを学習させることで良好なＨＤＲ画像が得られるアルゴリズムや、空間的な重みづけや輝度値等の変調のために複数のモジュールからなるネットワークを学習に用いる方法も提案されている。これらは、膨大なトレーニングデータセットを用いてＬＤＲからＨＤＲへのマッピングを学習することにより、優れたＨＤＲ画像を取得するアルゴリズムを提案した。
【００１０】
複数の電荷蓄積構成を持つセンサー側では、長短蓄積時間画像の合成による構成が提案されている。しかし、これらの方法には、移動体のブレや反応速度の面で多くの課題を抱えている。認識精度やフレームレートといった性能に直結する課題である。
（【００１１】以降は省略されています）

関連特許