特許ウォッチ

公開番号2025003229
公報種別公開特許公報(A)
公開日2025-01-09
出願番号2023103782
出願日2023-06-23
発明の名称撮像システム、移動体、撮像方法、及びコンピュータプログラム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類H04N 25/70 20230101AFI20241226BHJP(電気通信技術)
要約【課題】
速やかに認識処理が可能であると共に、運転状況情報に応じて認識頻度を変更可能な撮像システムを提供する。
【解決手段】
撮像システムにおいて、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、パルスの数をカウントするカウンタと、を夫々備える複数の画素を有し、蓄積期間の開始時と終了時のカウンタのカウント値の差分に基づいて信号を生成し、1フルフレーム内で第1の蓄積期間と第2の蓄積期間の蓄積動作を行い、第1の蓄積期間は第2の蓄積期間よりも短く、第1の蓄積期間に生成される信号を第1の蓄積期間の終了から第2の蓄積期間の終了までの間に出力するように制御し、生成された信号に基づき認識処理を行うと共に、移動体の運転状況に関する運転状況情報に基づき認識頻度を変更する。
【選択図】図15

特許請求の範囲【請求項１】
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、を夫々備える複数の画素と、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、
１フルフレーム内で第１の蓄積期間と第２の蓄積期間の蓄積動作を行い、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される前記信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御する制御部と、
生成された前記信号に基づき認識処理を行うと共に、移動体の運転状況に関する運転状況情報に基づき認識頻度を変更する認識部と、を有することを特徴とする撮像システム。
続きを表示（約 710 文字）【請求項２】
前記認識部で前記認識処理を始めるタイミングの間隔は、等しいことを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記第１の蓄積期間と前記第２の蓄積期間は重複していることを特徴とする請求項１に記載の撮像システム。
【請求項４】
前記第１の蓄積期間と前記第２の蓄積期間は同時に開始することを特徴とする請求項３に記載の撮像システム。
【請求項５】
前記第２の蓄積期間の終了時がフルフレームの終了時と一致することを特徴とする請求項１に記載の撮像システム。
【請求項６】
前記認識部は、少なくとも前記第１の蓄積期間に生成される信号に基づき被写体を認識することを特徴とする請求項１に記載の撮像システム。
【請求項７】
前記認識部は、更に前記第２の蓄積期間に生成される信号に基づき前記被写体を認識することを特徴とする請求項６に記載の撮像システム。
【請求項８】
前記認識部による前記被写体の認識回数は、前記第２の蓄積期間に生成される信号に基づく前記認識処理と、前記第２の蓄積期間内の前記第１の蓄積期間に生成される信号に基づく前記認識処理の最大回数との合計である請求項６に記載の撮像システム。
【請求項９】
少なくとも前記第２の蓄積期間に生成される信号を画像として表示する表示部を有することを特徴とする請求項１に記載の撮像システム。
【請求項１０】
前記センサ部はアバランシェフォトダイオードを含むことを特徴とする請求項１に記載の撮像システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像システム、移動体、撮像方法、及びコンピュータプログラム等に関するものである。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、アバランシェフォトダイオード（ＡＰＤ）に入射する光子の数をデジタル的に計数し、計数値を光電変換されたデジタル信号として画素から出力する光電変換装置が開発されている。又、例えば特許文献１では、ＡＰＤを有する光電変換装置において、蓄積期間が互いに重複する複数の映像を出力することができ、それにより低照度でも連写が可能となる構成が記載されている。
【先行技術文献】
【特許文献】
【０００３】
特許７２２３０７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば移動体に設置される車載用のカメラの撮像素子を想定した場合、通常のセンサ駆動ではフレーム単位で認識処理をかけるため、例えば３０ｆｐｓの場合、３３．３ｍｓごとにしか認識処理を実行できない。従って、車載用のカメラではフレーム切り替わり直後に物体が飛び込んできても、フレームの終了まで認識処理をかけることができない。
【０００５】
又、車載用のカメラでは信号機によるフリッカを抑制するために一定期間（１１ｍｓ）以上の蓄積期間とすることが多く、特に低照度下では蓄積期間を長くすることで明るく撮影している。しかし蓄積期間が長いので高速で動く物体には被写体ブレが生じ、認識率が下がる。
【０００６】
更に、車両の走行速度が上がり高速走行となる場合は、物体に対しての相対速度が上がるので、この場合も被写体ブレが生じ、認識率が下がる。その他、交差点を曲がる時や、カーブを走行する場合にもヨー方向の被写体ブレ（特に外周側）が生じるため、認識率が下がる。
【０００７】
そこで、本発明は、速やかに認識処理が可能であると共に、運転状況情報に応じて認識頻度を変更可能な撮像システムを提供することを目的の１つとする。
【課題を解決するための手段】
【０００８】
本発明の１側面の撮像システムは、
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、を夫々備える複数の画素と、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、
１フルフレーム内で第１の蓄積期間と第２の蓄積期間の蓄積動作を行い、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御する制御部と、
生成された前記信号に基づき認識処理を行うと共に、移動体の運転状況に関する運転状況情報に基づき認識頻度を変更する認識部と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、速やかに認識処理が可能であると共に、運転状況情報に応じて認識頻度を変更可能な撮像システムを提供することができる。
【図面の簡単な説明】
【００１０】
本発明の実施形態の光電変換素子の構成例を示す図である。
センサ基板１１の構成例を示す図である。
回路基板２１の構成例を示す図である。
図２及び図３のうち、画素１０１及び、画素１０１に対応した信号処理回路１０３の等価回路を示した図である。
ＡＰＤ２０１の動作と出力信号の関係を模式的に示した図である。
実施形態に係る撮像システム６００及び移動体７００の機能ブロック図である。
実施形態に係るカメラ制御部６０５による撮像方法を説明するための図である。
分割された複数のフレームの画像の例を示す図である。
実施形態におけるメモリ回路とバッファとの関係を示す図である。
実施形態における光電変換素子の駆動例の詳細を示すフローチャートである。
図１０の続きのフローチャートである。
実施形態における車両情報の走行速度が低速の場合の認識頻度を説明するための図である。
自動車の走行速度と人間の視野角の関係を模式的に示した図である。
実施形態における車両情報の走行速度が高速の場合の認識頻度を説明するための図である。
実施形態における、走行速度に基づき画像認識の頻度を変更する制御方法を説明するフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許