特許ウォッチ

公開番号2025058571
公報種別公開特許公報(A)
公開日2025-04-09
出願番号2023168578
出願日2023-09-28
発明の名称光電変換装置、移動体、処理方法、及びコンピュータプログラム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類H04N 25/77 20230101AFI20250402BHJP(電気通信技術)
要約【課題】画像の認識精度の低下を抑制する光電変換装置、その処理方法及びプログラムを提供する。
【解決手段】光電変換装置において、複数の画素は、センサ部からのパルスの数をカウントする第1カウンタ及び第2カウンタと、夫々のカウント値を記憶する第1メモリ及び第2メモリと、を夫々備える。カメラ制御部605は、第1カウンタ及び第2カウンタの夫々からフルフレーム期間内の複数の異なる蓄積期間に蓄積されたカウント値を読み出す動作において、第1の蓄積期間のカウント値を第1の蓄積期間より長い第2の蓄積期間の終了時までに読み出すように複数の画素を制御し、蓄積期間毎の読み出しのタイミングが第1カウンタ及び第2カウンタで異なるように制御を行う。差分画像生成部608は、第1メモリ及び第2メモリの夫々から出力されるカウント値に対応する信号の差分に基づいて差分画像を生成する。
【選択図】図8
特許請求の範囲【請求項１】
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントする第１カウンタ及び第２カウンタと、前記第１カウンタ及び前記第２カウンタの夫々のカウント値を記憶する第１メモリ及び第２メモリと、を夫々備える複数の画素と、
前記第１カウンタ及び前記第２カウンタの夫々からフルフレーム期間内の複数の異なる蓄積期間に蓄積された前記カウント値を読み出す動作において、第１の蓄積期間のカウント値を前記第１の蓄積期間より長い第２の蓄積期間の終了時までに読み出すように前記複数の画素を制御するとともに、前記蓄積期間毎の読み出しのタイミングが前記第１カウンタ及び前記第２カウンタで異なるように制御を行う制御手段と、
前記第１メモリ及び前記第２メモリの夫々から出力される前記カウント値に対応する信号の差分に基づいて差分画像を生成する生成手段と、を有する
ことを特徴とする光電変換装置。
続きを表示（約 990 文字）【請求項２】
前記制御手段は、前記読み出しのタイミングとして、前記第１カウンタのカウント値を第１のタイミングで読み出し、前記第１のタイミングから前記第１の蓄積期間より短い時間遅れる第２のタイミングで、前記第２カウンタのカウンタ値を読み出すように制御を行う
ことを特徴とする請求項１に記載の光電変換装置。
【請求項３】
前記第１カウンタ及び前記第２カウンタの夫々に対する前記読み出しのタイミングの間隔は一定である
ことを特徴とする請求項１に記載の光電変換装置。
【請求項４】
前記第１カウンタ及び前記第２カウンタの夫々において、前記第１の蓄積期間と前記第２の蓄積期間は重なる
ことを特徴とする請求項１に記載の光電変換装置。
【請求項５】
前記第１カウンタ及び前記第２カウンタの夫々において、前記第１の蓄積期間と前記第２の蓄積期間は同時に開始する
ことを特徴とする請求項１に記載の光電変換装置。
【請求項６】
前記第１カウンタ及び前記第２カウンタの夫々において、前記第２の蓄積期間の終了時が前記フルフレーム期間の終了時と一致する
ことを特徴とする請求項１に記載の光電変換装置。
【請求項７】
少なくとも前記第２の蓄積期間に生成される信号を画像として表示する表示手段を更に有する
ことを特徴とする請求項１に記載の光電変換装置。
【請求項８】
前記複数の画素から出力される画像信号に基づいて、被写体の認識処理を行う認識手段をさらに有する
ことを特徴とする請求項１に記載の光電変換装置。
【請求項９】
前記差分画像に対して前記認識処理を行う第１モードと、前記複数の画素から出力される画像信号に対して、前記差分画像の出力処理を介さずに前記認識処理を行う第２モードとを切り換える切換手段をさらに有する
ことを特徴とする請求項８に記載の光電変換装置。
【請求項１０】
前記切換手段は、移動体の制御情報及び前記被写体の動きの情報の少なくとも１つに基づいて前記第１モードと前記第２モードとを切り換える
ことを特徴とする請求項９に記載の光電変換装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、光電変換装置における光電変換及び画像処理等の技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、アバランシェフォトダイオード（ＡＰＤ）に入射する光子の数をデジタル的に計数し、計数値を光電変換されたデジタル信号として画素から出力する光電変換装置が開発されている。又、例えば特許文献１では、ＡＰＤを有する光電変換装置において、蓄積期間が互いに重複する複数の映像を出力することができ、それにより低照度でも連写撮影が可能となる構成が記載されている。
【０００３】
ところで、自動運転や衝突回避を目的とする車載カメラシステムは、できるだけ高速に画像の認識処理を行うことで、その認識結果をもとに車両を制御することで事故を未然に防いでいる。車載用カメラの撮像素子において、通常のセンサ駆動ではフレーム単位で画像の認識処理が行われ、例えばフレームレートが３０ｆｐｓである場合、３３．３ｍｓごとに認識処理が行われる。フレームレートが低いと、その分、認識処理の速度も低くなるため、例えば車両に飛び込んでくる被写体が高速であるほど相対的にその認識処理は遅れ、認識精度は低下する。
【先行技術文献】
【特許文献】
【０００４】
特許第７２２３０７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車載用のカメラは、信号機によるフリッカを抑制するために、画素信号の蓄積期間として一定期間（例えば１１ｍｓ）以上の期間を採用することが多く、特に低照度下では蓄積期間を長くすることで明るく撮影している。しかし蓄積期間が長いと、高速で動く被写体にはブレが生じやすくなり、認識精度が低下するおそれがある。このような被写体ブレを抑制するためにフレームレートを上げることが考えられるが、通常の認識処理では一定の処理時間を要するため処理が間に合わない可能性がある。
【０００６】
本開示は、画像の認識精度の低下を抑制できる技術を提供する。
【課題を解決するための手段】
【０００７】
本開示の一形態に係る光電変換装置は、複数の画素と、制御手段と、生成手段とを有する。前記複数の画素は、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントする第１カウンタ及び第２カウンタと、前記第１カウンタ及び前記第２カウンタの夫々のカウント値を記憶する第１メモリ及び第２メモリと、を夫々備える。前記制御手段は、前記第１カウンタ及び前記第２カウンタの夫々からフルフレーム期間内の複数の異なる蓄積期間に蓄積された前記カウント値を読み出す動作において、第１の蓄積期間のカウント値を前記第１の蓄積期間より長い第２の蓄積期間の終了時までに読み出すように前記複数の画素を制御する。また、前記制御手段は、前記蓄積期間毎の読み出しのタイミングが前記第１カウンタ及び前記第２カウンタで異なるように制御を行う。前記生成手段は、前記第１メモリ及び前記第２メモリの夫々から出力される前記カウント値に対応する信号の差分に基づいて差分画像を生成する。
【発明の効果】
【０００８】
本開示によれば、画像の認識精度の低下を抑制できる。
【図面の簡単な説明】
【０００９】
実施形態に係る光電変換素子の構成例を示す図である。
センサ基板の構成例を示す図である。
回路基板の構成例を示す図である。
図２及び図３のうち、画素及び、画素に対応した信号処理回路の等価回路を示した図である。
実施形態に係るメモリ回路とバッファとの関係を示す図である。
ＡＰＤの動作と出力信号の関係を模式的に示した図である。
実施形態に係る光電変換装置及び移動体の機能ブロック図である。
実施形態に係る主に画像処理部の機能構成の例を示すブロック図である。
実施形態に係るカメラ制御部による光電変換方法を説明するための図である。
２つのカウンタ回路を経由して生成された２つのフレームの画像と、その差分画像の例を示す図である。
実施形態に係る光電変換素子の駆動例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、本開示の実施形態を説明する。図において同一の構成または機能を有するものは同一の符号を付し、その繰り返しの説明は省略する。以下の実施形態において示す構成は一例に過ぎず、本開示は、図示された構成に限定されるものではない。
（【００１１】以降は省略されています）

関連特許