特許ウォッチ

公開番号2025004459
公報種別公開特許公報(A)
公開日2025-01-15
出願番号2023104159
出願日2023-06-26
発明の名称光電変換装置、画像処理装置、移動体、処理方法、及びコンピュータプログラム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類H04N 5/20 20060101AFI20250107BHJP(電気通信技術)
要約【課題】画像の認識精度の低下を抑制できる技術を提供する。
【解決手段】光電変換装置は、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタとを夫々備える複数の画素を有する。前記複数の画素は、フルフレーム期間内の複数の異なる蓄積期間の蓄積動作において前記蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、第1の蓄積期間に生成される信号を前記第1の蓄積期間の終了から第2の蓄積期間の終了までの間に出力するように、カメラ制御部605によって制御される。そして、画像処理部603は、マッピングパラメータを生成し、マッピングパラメータを用いて前記複数の画素から出力される画像信号に対してトーンマッピング処理を行う。
【選択図】図8

特許請求の範囲【請求項１】
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタとを夫々備える複数の画素と、
フルフレーム期間内の複数の異なる蓄積期間の蓄積動作において前記蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から第２の蓄積期間の終了までの間に出力するように、前記複数の画素を制御する制御手段と、
マッピングパラメータを生成し、前記マッピングパラメータを用いて前記複数の画素から出力される画像信号に対してトーンマッピング処理を行う処理手段と、を有することを特徴とする光電変換装置。
続きを表示（約 980 文字）【請求項２】
前記処理手段は、前記画像信号に基づいて画素値のヒストグラムを生成し、前記ヒストグラムに基づいて前記マッピングパラメータを生成することを特徴とする請求項１に記載の光電変換装置。
【請求項３】
前記処理手段は、前記第１の蓄積期間における画素値のヒストグラム及び前記第２の蓄積期間の情報に基づいて、前記第２の蓄積期間における画素値のヒストグラムを推定し、推定した前記第２の蓄積期間における画素値のヒストグラムに基づいて前記マッピングパラメータを生成することを特徴とする請求項２に記載の光電変換装置。
【請求項４】
前記処理手段は、生成した前記マッピングパラメータを、推定した前記ヒストグラムと比較することで、当該マッピングパラメータが適切か否かを判定することを特徴とする請求項３に記載の光電変換装置。
【請求項５】
前記処理手段は、前記画像信号に対応する画像の領域の分割を行い、前記領域ごとに前記トーンマッピング処理を行うことを特徴とする請求項１に記載の光電変換装置。
【請求項６】
少なくとも前記第１の蓄積期間に生成される信号に対応する画像信号であって前記トーンマッピング処理が行われた画像信号に基づいて、被写体を認識する認識手段を更に有し、
前記処理手段は、前記認識手段による認識結果に基づいて前記画像の領域の分割を行うことを特徴とする請求項５に記載の光電変換装置。
【請求項７】
少なくとも前記第１の蓄積期間に生成される信号に対応する画像信号であって前記トーンマッピング処理が行われた画像信号に基づいて、被写体を認識する認識手段を更に有することを特徴とする請求項１に記載の光電変換装置。
【請求項８】
前記処理手段は、前記ヒストグラムの生成後、前記トーンマッピング処理を行うことを特徴とする請求項２に記載の光電変換装置。
【請求項９】
前記第１の蓄積期間は第２の蓄積期間よりも短いことを特徴とする請求項１に記載の光電変換装置。
【請求項１０】
前記第１の蓄積期間と前記第２の蓄積期間は重複していることを特徴とする請求項１から９のいずれか１項に記載の光電変換装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、光電変換装置における画像処理等の技術に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
近年、アバランシェフォトダイオード（ＡＰＤ）に入射する光子の数をデジタル的に計数し、計数値を光電変換されたデジタル信号として画素から出力する光電変換装置が開発されている。又、例えば特許文献１では、ＡＰＤを有する光電変換装置において、蓄積期間が互いに重複する複数の映像を出力することができ、それにより低照度でも連写撮影が可能となる構成が記載されている。
【０００３】
ところで、車載カメラシステムはダイナミックレンジ拡大（ＨＤＲ）を行っていることが多い。ＨＤＲセンサで取得した画像信号における画素のｂｉｔ深度が深くなり、その伝送レートが膨大になる。画像信号の伝送帯域には限りがあるため、トーンマッピング等の諧調圧縮手段を搭載したセンサが多く存在する。諧調圧縮のパラメータとして、ビューイング用途では人間の視覚特性を考慮して高輝度側の圧縮率が高いという特徴がある。
【０００４】
車載カメラとしては自動運転や衝突回避を目的にカメラが使用される。そのため、できるだけ高速に画像の認識処理を行い、その認識結果をもとに車両を制御することで事故を未然に防ぐ必要がある。
【先行技術文献】
【特許文献】
【０００５】
特許第７２２３０７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の画像諧調圧縮方式の場合、特に高輝度側で圧縮率が高く設定されていることが多い。そのような圧縮率設定で画像の認識処理を行う場合、圧縮率の高い輝度を持つ画素領域で諧調情報が減るため、認識精度が低下するおそれがある。
【０００７】
本発明は、画像の認識精度の低下を抑制できる技術を提供する。
【課題を解決するための手段】
【０００８】
本発明の一形態に係る光電変換装置は、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタとを夫々備える複数の画素と、フルフレーム期間内の複数の異なる蓄積期間の蓄積動作において前記蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から第２の蓄積期間の終了までの間に出力するように、前記複数の画素を制御する制御手段と、マッピングパラメータを生成し、前記マッピングパラメータを用いて前記複数の画素から出力される画像信号に対してトーンマッピング処理を行う処理手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像の認識精度の低下を抑制できる。
【図面の簡単な説明】
【００１０】
本発明の実施形態の光電変換素子の構成例を示す図である。
センサ基板の構成例を示す図である。
回路基板の構成例を示す図である。
図２及び図３のうち、画素及び、画素に対応した信号処理回路の等価回路を示した図である。
実施形態に係るメモリ回路とバッファとの関係を示す図である。
ＡＰＤの動作と出力信号の関係を模式的に示した図である。
実施形態に係る光電変換装置及び移動体の機能ブロック図である。
実施形態に係る画像処理部の機能構成の例を示すブロック図である。
実施形態に係るカメラ制御部による光電変換方法を説明するための図である。
分割された複数のフレームの画像の例を示す図である。
実施形態に係るトーンマッピング処理を示すフローチャートである。
ヒストグラムおよびマッピングパラメータの例を模式的に示す図である。
実施形態に係る画像処理部の機能構成の例を示すブロック図である。
実施形態に係るトーンマッピング処理を示すフローチャートである。
認識部の認識結果に基づいて領域分割が行われた画像の一例を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許