特許ウォッチ

公開番号2025003228
公報種別公開特許公報(A)
公開日2025-01-09
出願番号2023103781
出願日2023-06-23
発明の名称撮像システム、移動体、撮像方法、及びコンピュータプログラム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類H04N 25/70 20230101AFI20241226BHJP(電気通信技術)
要約【課題】
運転状況に応じて、複数の画像の認識結果の夫々の信頼度を決定可能な撮像システムを提供する。
【解決手段】
撮像システムにおいて、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、を夫々備える複数の画素と、を有し、蓄積期間の開始時と終了時のカウンタのカウント値の差分に基づいて信号を生成し、1フルフレーム内で第1の蓄積期間と第2の蓄積期間の蓄積動作を行い、第1の蓄積期間は第2の蓄積期間よりも短く、第1の蓄積期間に生成される信号を第1の蓄積期間の終了から第2の蓄積期間の終了までの間に出力し、生成された信号に基づき認識処理を行うと共に、移動体の運転状況に関する運転状況情報に基づき、第1の蓄積期間の信号に基づく認識結果の信頼度と第2の蓄積期間の前記信号に基づく認識結果の信頼度を決定する。
【選択図】図12
特許請求の範囲【請求項１】
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、を夫々備える複数の画素と、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、
１フルフレーム内で第１の蓄積期間と第２の蓄積期間の蓄積動作を行い、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される前記信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御する制御部と、
生成された前記信号に基づき認識処理を行うと共に、移動体の運転状況に関する運転状況情報に基づき前記第１の蓄積期間の前記信号に基づく認識結果の信頼度と前記第２の蓄積期間の前記信号に基づく認識結果の信頼度を決定する認識部と、を有することを特徴とする撮像システム。
続きを表示（約 1,000 文字）【請求項２】
前記第１の蓄積期間と前記第２の蓄積期間は重複していることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記第１の蓄積期間と前記第２の蓄積期間は同時に開始することを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記第２の蓄積期間の終了時がフレームの終了時と一致することを特徴とする請求項１に記載の撮像システム。
【請求項５】
少なくとも前記第２の蓄積期間に生成される前記信号を画像として表示する表示部を有することを特徴とする請求項１に記載の撮像システム。
【請求項６】
前記センサ部はアバランシェフォトダイオードを含むことを特徴とする請求項１に記載の撮像システム。
【請求項７】
前記運転状況情報は、前記移動体の走行速度、前記移動体の加速度、前記移動体の操舵角、前記移動体の振動、前記移動体の周囲の降雨量又は降雪量の少なくとも１つを含むことを特徴とする請求項１に記載の撮像システム。
【請求項８】
請求項１～７のいずれか１項に記載の撮像システムと、
少なくとも前記第１の蓄積期間に生成される前記信号を用いた前記認識処理の結果に基づき前記移動体の動作を制御する移動制御手段を有することを特徴とする移動体。
【請求項９】
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、を夫々備える複数の画素を有する撮像システムにおける撮像方法であって、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、１フルフレーム内で第１の蓄積期間と第２の蓄積期間の蓄積動作を行い、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される前記信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御する制御ステップと、
生成された前記信号に基づき認識処理を行うと共に、移動体の運転状況に関する運転状況情報に基づき前記第１の蓄積期間の前記信号に基づく認識結果の信頼度と前記第２の蓄積期間の前記信号に基づく認識結果の信頼度を決定する認識ステップと、を有することを特徴とする撮像方法。
【請求項１０】
請求項１～７のいずれか１項に記載の撮像システム又は請求項８に記載の移動体の各部をコンピュータにより制御するためのコンピュータプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像システム、移動体、撮像方法、及びコンピュータプログラム等に関するものである。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、アバランシェフォトダイオード（ＡＰＤ）に入射する光子の数をデジタル的に計数し、計数値を光電変換されたデジタル信号として画素から出力する撮像装置が開発されている。又、例えば特許文献１では、ＡＰＤを有する撮像装置において、蓄積期間が互いに重複する複数の映像を出力することができ、それにより低照度でも連写が可能となる構成が記載されている。
【先行技術文献】
【特許文献】
【０００３】
特許７２２３０７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば移動体に設置される車載用のカメラの撮像素子を想定した場合、通常のセンサ駆動ではフレーム単位で認識処理をかけるため、例えば３０ｆｐｓの場合、３３．３ｍｓごとにしか認識処理を実行できない。従って、車載用のカメラではフレーム切り替わり直後に物体が飛び込んできても、フレームの終了まで認識処理をかけることができない。
【０００５】
又、車載用のカメラでは信号機によるフリッカを抑制するために一定期間（１１ｍｓ）以上の蓄積期間とすることが多く、特に低照度下では蓄積期間を長くすることで明るく撮影している。しかし蓄積期間が長いので高速で動く物体には被写体ブレが生じ、認識率が下がる。
【０００６】
又、縦揺れが生じるでこぼこ道走行時や、一定以上の操舵角で走行しているときや、雨／雪が強く降っていて画像に線状に写ってしまう場合にも、長時間蓄積の画像を用いて認識処理をすると正確な認識結果を得られない。
【０００７】
そのため、本件においては、運転状況に応じて、複数の画像の認識結果の夫々の信頼度を決定可能な撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の１側面は、撮像システムにおいて、
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、を夫々備える複数の画素と、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、
１フルフレーム内で第１の蓄積期間と第２の蓄積期間の蓄積動作を行い、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される前記信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御する制御部と、
生成された前記信号に基づき認識処理を行うと共に、移動体の運転状況に関する運転状況情報に基づき前記第１の蓄積期間の前記信号に基づく認識結果の信頼度と前記第２の蓄積期間の前記信号に基づく認識結果の信頼度を決定する認識部と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、運転状況に応じて、複数の画像の認識結果の夫々の信頼度を決定可能な撮像システムを提供することができる。
【図面の簡単な説明】
【００１０】
本発明の実施形態１の光電変換素子の構成例を示す図である。
センサ基板１１の構成例を示す図である。
回路基板２１の構成例を示す図である。
図２及び図３のうち、画素１０１及び、画素１０１に対応した信号処理回路１０３の等価回路を示した図である。
ＡＰＤ２０１の動作と出力信号の関係を模式的に示した図である。
実施形態１に係る撮像装置６００及び移動体７００の機能ブロック図である。
実施形態１に係るカメラ制御部６０５による撮像方法を説明するための図である。
分割された複数のフレームの画像の例を示す図である。
実施形態におけるメモリ回路とバッファとの関係を示す図である。
実施形態における光電変換素子の駆動例の詳細を示すフローチャートである。
図１０の続きのフローチャートである。
実施形態１において稼働時状況を検知して信頼度を変更する撮像方法の例を示すフローチャートである。
実施形態２に係る撮像装置８００及び移動体７００の機能ブロック図である。
実施形態２において入射光量及び稼働時状況を検知して信頼度を変更する撮像方法の例を示すフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許