特許ウォッチ

公開番号2025095297
公報種別公開特許公報(A)
公開日2025-06-26
出願番号2023211216
出願日2023-12-14
発明の名称光電変換装置及び光電変換システム
出願人キヤノン株式会社
代理人個人,個人,個人,個人
主分類H04N 25/773 20230101AFI20250619BHJP(電気通信技術)
要約【課題】外部装置によるデータ処理を必要とせずに高速にオプティカルフローを取得しうる光電変換装置を提供する。
【解決手段】光電変換装置は、光子の入射に応じた光子検出信号を各々が出力する複数の光電変換部と、対応する光電変換部の光子検出信号を各々がカウントする複数のカウンタと、複数のカウンタの各々のカウント値に基づく演算処理を行う演算部と、を有する。演算部は、複数のカウンタのカウント値を保持する保持部と、第1時刻におけるカウンタのカウント値と、第1時刻よりも前の第2時刻におけるカウンタのカウント値であって、保持部が保持するカウント値と、に基づき、第2時刻と第1時刻との間のオプティカルフローを表すベクトル値を算出するベクトル算出部と、を有する。
【選択図】図4
特許請求の範囲【請求項１】
光子の入射に応じた光子検出信号を各々が出力する複数の光電変換部と、
対応する前記光電変換部の前記光子検出信号を各々がカウントする複数のカウンタと、
前記複数のカウンタの各々のカウント値に基づく演算処理を行う演算部と、を有し、
前記演算部は、
前記複数のカウンタのカウント値を保持する保持部と、
第１時刻における前記カウンタのカウント値と、前記第１時刻よりも前の第２時刻における前記カウンタのカウント値であって、前記保持部が保持するカウント値と、に基づき、前記第２時刻と前記第１時刻との間のオプティカルフローを表すベクトル値を算出するベクトル算出部と、を有する
ことを特徴とする光電変換装置。
続きを表示（約 1,400 文字）【請求項２】
前記カウンタのカウント値及び前記ベクトル値のうちの少なくとも一方を選択して出力する出力選択部を更に有する
ことを特徴とする請求項１記載の光電変換装置。
【請求項３】
前記光電変換部と、前記カウンタを各々が有する複数の画素を有し、
前記複数の画素は、各々が２以上の前記画素を含む複数の画素ブロックに分けられており、
前記演算部は、前記画素ブロックごとに設けられており、
前記演算部の各々は、対応する画素ブロックに含まれる前記画素の前記第１時刻における前記カウント値と、前記対応する画素ブロックに含まれる前記画素の前記第２時刻における前記カウント値と、に基づき、前記ベクトル値を算出する
ことを特徴とする請求項２記載の光電変換装置。
【請求項４】
前記出力選択部から出力された前記カウント値又は前記ベクトル値に対して信号処理を行う信号処理部を更に有し、
前記複数の画素ブロックは、複数の列をなすように配されており、
同じ画素ブロック列に配された隣り合う前記出力選択部は互いに接続されており、一の前記出力選択部から出力される前記カウント値又は前記ベクトル値は、同じ画素ブロック列に配された他の前記出力選択部を介して前記信号処理部に転送される
ことを特徴とする請求項３記載の光電変換装置。
【請求項５】
前記出力選択部から出力される前記カウント値又は前記ベクトル値に対して信号処理を行う信号処理部を更に有し、
前記複数の画素ブロックは、複数の行をなすように配されており、
同じ画素ブロック行に配された隣り合う前記出力選択部は互いに接続されており、一の出力選択部から出力される前記カウント値又は前記ベクトル値は、同じ画素ブロック行に配された他の出力選択部を介して前記信号処理部に転送される
ことを特徴とする請求項３記載の光電変換装置。
【請求項６】
前記演算部は、前記ベクトル値に基づいて被写体の動きを判定する動き判定部を更に有し、
前記出力選択部は、前記被写体に動きがないと前記動き判定部が判定した場合は、前記ベクトル値の出力に代えて、その旨を示す信号を出力する
ことを特徴とする請求項３乃至５のいずれか１項に記載の光電変換装置。
【請求項７】
前記演算部は、前記第２時刻における前記カウント値と前記第１時刻におけるカウント値とに基づき、空間的及び時間的な輝度勾配を表す勾配を算出する勾配算出部を更に有し、
前記ベクトル算出部は、前記勾配算出部が算出した前記勾配に基づき、前記ベクトル値を算出する
ことを特徴とする請求項１乃至５のいずれか１項に記載の光電変換装置。
【請求項８】
前記演算部は、前記ベクトル値に対して時間方向の類似性を利用したフィルタ処理を施すフィルタ部を更に有する
ことを特徴とする請求項１乃至５のいずれか１項に記載の光電変換装置。
【請求項９】
前記第１時刻及び前記第２時刻は、一の露光期間に含まれる
ことを特徴とする請求項１に記載の光電変換装置。
【請求項１０】
前記カウンタは、前記露光期間の間、カウント動作を連続して行う
ことを特徴とする請求項９記載の光電変換装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、光電変換装置及び光電変換システムに関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
近年、自動車やドローンなどには多数のイメージセンサが備えられているが、その目的の１つとしてオプティカルフロー（「動きベクトル」などとも呼ばれる）の取得が挙げられる。オプティカルフローは、例えば、自己位置推定と環境地図作成の同時実行（ＳＬＡＭ：Simultaneous Localization and Mapping）などに用いられる。一般に、オプティカルフローを取得するには、動画データ（所定の周期ごとに撮影された画像列）に対して、ルーカス－カナデ（Lucas-Kanade）法やブロックマッチング法などを用いた演算処理が施される。特許文献１には、オプティカルフローアルゴリズムパラメータを収集可能に構成されたオプティカルフローセンサが開示されている。
【先行技術文献】
【特許文献】
【０００３】
特表２０２１－５２０６９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来よりも高速かつ低遅延でのオプティカルフローの取得が求められている。しかしながら、特許文献１に記載の構成では、センサ内でオプティカルフローの算出に必要なアルゴリズムパラメータの抽出を実現しているもののセンサ外部でのデータ処理も必要であり、センサ内でオプティカルフローを高速に取得することはできなかった。
【０００５】
本発明の目的は、外部装置によるデータ処理を必要とせずに高速にオプティカルフローを取得しうる光電変換装置を提供することにある。
【課題を解決するための手段】
【０００６】
本明細書の一開示によれば、光子の入射に応じた光子検出信号を各々が出力する複数の光電変換部と、対応する前記光電変換部の前記光子検出信号を各々がカウントする複数のカウンタと、前記複数のカウンタの各々のカウント値に基づく演算処理を行う演算部と、を有し、前記演算部は、前記複数のカウンタのカウント値を保持する保持部と、第１時刻における前記カウンタのカウント値と、前記第１時刻よりも前の第２時刻における前記カウンタのカウント値であって、前記保持部が保持するカウント値と、に基づき、前記第２時刻と前記第１時刻との間のオプティカルフローを表すベクトル値を算出するベクトル算出部と、を有する光電変換装置が提供される。
【０００７】
また、本明細書の他の一開示によれば、光子の入射に応じた光子検出信号を各々が出力する複数の光電変換部と、対応する前記光電変換部から出力される前記光子検出信号を各々がカウントする複数のカウンタと、を、前記複数のカウンタのカウント値に基づく演算処理を行う演算部と、を有し、前記演算部は、前記カウンタが一連のカウント動作を実行中に前記複数のカウンタから周期的にカウント値を取得し、取得した前記カウント値に基づきオプティカルフローを表すベクトル値を第１の周期で出力し、前記カウンタのカウント値を前記第１の周期よりも長い第２の周期で出力する光電変換装置が提供される。
【０００８】
また、本明細書の更に他の一開示によれば、光子の入射に応じた光子検出信号を出力する光電変換部と、前記光電変換部から出力される前記光子検出信号をカウントするカウンタと、を各々が有する複数の画素と、前記複数の画素の第１時刻における前記カウンタのカウント値と前記第１時刻と異なる第２時刻における前記カウンタのカウント値とに基づき、前記第１時刻と前記第２時刻との間のオプティカルフローを表すベクトル値を算出する演算部と、を有し、前記複数の画素は、各々が２以上の前記画素を含み、複数の行及び複数の列をなすように配された複数の画素ブロックに分けられており、前記演算部は、前記画素ブロックごとに設けられており、同じ画素ブロック行又は画素ブロック列に配された隣り合う前記演算部は互いに接続されており、一の前記演算部から出力される前記ベクトル値は、同じ画素ブロック行又は画素ブロック列に配された他の前記演算部を介して転送される光電変換装置が提供される。
【発明の効果】
【０００９】
本発明によれば、外部装置によるデータ処理を必要とせずに高速にオプティカルフローを取得しうる光電変換装置を実現することができる。
【図面の簡単な説明】
【００１０】
第１実施形態による光電変換装置の概略構成を示すブロック図である。
第１実施形態による光電変換装置の構成例を示す斜視図である。
第１実施形態による光電変換装置の画素の構成例を示す回路図である。
第１実施形態による光電変換装置の演算部の構成例を示すブロック図である。
第１実施形態による光電変換装置におけるサブ画素ブロックの構成例を示す図である。
第１実施形態による光電変換装置の駆動方法を示すタイミング図である。
第２実施形態による光電変換装置の演算部の構成例を示すブロック図である。
第３実施形態による光電変換装置の演算部の構成例を示すブロック図である。
第４実施形態による撮像システムの概略構成を示すブロック図である。
第５実施形態による撮像システム及び移動体の構成例を示す図である。
第６実施形態による機器の概略構成を示すブロック図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許