特許ウォッチ

公開番号2024130166
公報種別公開特許公報(A)
公開日2024-09-30
出願番号2023039730
出願日2023-03-14
発明の名称撮像装置および機器
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類H04N 25/47 20230101AFI20240920BHJP(電気通信技術)
要約【課題】イベントベースの撮像装置において、動きのある被写体に対するイベント検出をより精度よく行う。
【解決手段】本開示に係る撮像装置は、複数の単位画素を有し、前記単位画素ごとに光量の変化をイベント信号として検出する画素部と、前記画素部から前記イベント信号の読み出しを行うイベント読み出し部と、前記画素部における前記イベント信号に関連する少なくとも1つの領域について、前記少なくとも1つの領域の動きに関する動き情報を出力する出力部と、前記動き情報に基づいて予測される、前記少なくとも1つの領域の変化後の予測領域を決定する決定部と、を有し、前記イベント読み出し部は、決定された前記予測領域から前記イベント信号の読み出しを行う。
【選択図】図1
特許請求の範囲【請求項１】
複数の単位画素を有し、前記単位画素ごとに光量の変化をイベント信号として検出する画素部と、
前記画素部から前記イベント信号の読み出しを行うイベント読み出し部と、
前記画素部における前記イベント信号に関連する少なくとも１つの領域について、前記少なくとも１つの領域の動きに関する動き情報を出力する出力部と、
前記動き情報に基づいて予測される、前記少なくとも１つの領域の変化後の予測領域を決定する決定部と、
を有し、
前記イベント読み出し部は、決定された前記予測領域から前記イベント信号の読み出しを行う
ことを特徴とする撮像装置。
続きを表示（約 1,600 文字）【請求項２】
決定された前記予測領域に基づいて、前記少なくとも１つの領域の１つの領域または複数の領域のそれぞれについて、前記イベント信号の読み出し頻度を制御する制御部をさらに有し、
前記イベント読み出し部は、前記少なくとも１つの領域の前記１つの領域または前記複数の領域のそれぞれの前記予測領域から、前記制御部によって制御された前記読み出し頻度に基づいて前記イベント信号を読み出す
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記決定部による前記予測領域の決定の時間周期は、前記画素部による前記イベント信号の検出の時間分解能よりも大きいことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記動き情報は、前記少なくとも１つの領域の動きの種類と動きの量の少なくとも一方を含むことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記動きの種類は、前記撮像装置における水平方向の移動、垂直方向の移動、ヨー、ピッチ、ズーム、回転の少なくとも１つを含むことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記動きの量は、前記撮像装置における動きの速度と動きの加速度の少なくとも一方を含むことを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記決定部は、
前記イベント読み出し部により読み出された前記イベント信号に基づいて、前記画素部における少なくとも１つの領域を決定する第１の領域決定部と、
前記第１の領域決定部により決定された前記少なくとも１つの領域と前記動き情報とに基づいて、前記少なくとも１つの領域の変化後の予測領域を決定する第２の領域決定部と、
を有することを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記イベント読み出し部が前記イベント信号と、前記イベント信号を出力した前記単位画素の位置を示す座標値とを用いてイベントデータを生成し、
前記決定部は、
前記イベントデータを用いて、前記画素部における少なくとも１つの領域を決定する第１の領域決定部と、
前記第１の領域決定部により決定された前記少なくとも１つの領域と前記動き情報とに基づいて、前記少なくとも１つの領域の変化後の予測領域を決定する第２の領域決定部
と、
を有することを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記出力部は、現在の時刻より過去の時刻において前記第１の領域決定部により決定された第１の領域と、前記過去の時刻から前記現在の時刻までの間に前記イベント読み出し部により読み出された前記イベント信号において前記出力部が出力した前記動き情報と、に基づいて予測した前記第１の領域の予測領域を出力し、
前記第２の領域決定部は、前記現在の時刻において前記第１の領域決定部により決定される前記少なくとも１つの領域と、前記第１の領域の変化後の前記予測領域と、を含む領域を、前記少なくとも１つの領域の変化後の予測領域として決定する
ことを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記出力部は、現在の時刻より過去の時刻において前記第１の領域決定部により決定された第１の領域と、前記過去の時刻から前記現在の時刻までの間に前記イベント読み出し部が生成した前記イベントデータにおいて前記出力部が出力した前記動き情報と、に基づいて予測した前記第１の領域の予測領域を出力し、
前記第２の領域決定部は、前記現在の時刻において前記第１の領域決定部により決定される前記少なくとも１つの領域と、前記第１の領域の変化後の前記予測領域と、を含む領域を、前記少なくとも１つの領域の変化後の予測領域として決定する
ことを特徴とする請求項８に記載の撮像装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示の技術は、イベントベースの撮像装置および機器に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年のＩｏＴ（Internet of Things）やＡＩ（Artificial Intelligence）、自動運転
などの普及に伴い、従来よりも低消費電力かつ高速なイメージセンサとして、イベントベースセンサが提案されている。イベントベースセンサは、ダイナミックビジョンセンサなどとも呼ばれる。このセンサは、２次元の画素アレイの各画素で光量の変化を監視し、変化をイベントとして検出する。イベントベースセンサは、光量変化が発生したタイミングで、物体検知処理や画像処理と関係なくイベントを検出および出力することができるため、低消費電力かつ高速な動作が可能である。
【０００３】
イベントベースセンサにおいて物体からより多くのイベントを検出することを目的として、例えば、特許文献１では、画素値のパターン認識を用いた物体検出の結果を基にイベントの検出確率を設定するイベントベースセンサが提案されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２０－１３６９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、物体検知処理の時間分解能はイベントベースセンサの出力データの時間分解能より低い。このため、上記のイベントベースセンサでは、被写体である物体の検出結果を基に画素アレイにおける特定の領域を設定して、当該特定の領域でイベント信号を読み出す場合、物体検出処理に伴う遅延によって、イベント信号の読み出しも遅延する可能性がある。また、上記のイベントベースセンサでは、検出対象の物体が移動することで、設定された特定の領域内に物体が収まらず、当該特定の領域外にある物体のイベントが読み出されない可能性もある。この結果、上記のイベントベースセンサでは、画素アレイにおける被写体の変化をイベントとして高精度に検出できない場合がある。
【０００６】
本開示の技術は上記課題に鑑みてなされたものであり、その目的は、イベントベースの撮像装置において、動きのある被写体に対するイベント検出をより精度よく行うことである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本開示に係る撮像装置は、複数の単位画素を有し、前記単位画素ごとに光量の変化をイベント信号として検出する画素部と、前記画素部から前記イベント信号の読み出しを行うイベント読み出し部と、前記画素部における前記イベント信号に関連する少なくとも１つの領域について、前記少なくとも１つの領域の動きに関する動き情報を出力する出力部と、前記動き情報に基づいて予測される、前記少なくとも１つの領域の変化後の予測領域を決定する決定部と、を有し、前記イベント読み出し部は、決定された前記予測領域から前記イベント信号の読み出しを行うことを特徴とする撮像装置を含む。
【０００８】
また、上記目的を達成するために、本開示に係る機器は、上記の撮像装置を備える機器であって、前記撮像装置に対応した光学装置、前記撮像装置を制御する制御装置、前記撮
像装置から出力された信号を処理する処理装置、前記撮像装置で得られた情報を表示する表示装置、前記撮像装置で得られた情報を記憶する記憶装置、および、前記撮像装置で得られた情報に基づいて動作する機械装置、の少なくともいずれかをさらに備えることを特徴とする機器を含む。
【発明の効果】
【０００９】
本開示の技術によれば、イベントベースの撮像装置において、動きのある被写体に対するイベント検出をより精度よく行うことができる。
【図面の簡単な説明】
【００１０】
第１実施形態に係る撮像装置の概略構成を示す図
第１実施形態に係る画素の概略構成を示す図
第１実施形態に係る撮像装置が実行する注目領域決定の処理を説明する図
第１実施形態に係る撮像装置が実行する動き予測の処理を説明する図
第１実施形態に係る撮像装置が実行する予測領域決定の処理を説明する図
第１実施形態に係る撮像装置のイベント読み出し部の概略構成を示す図
第２実施形態に係る撮像装置のイベント読み出し部の概略構成を示す図
第２実施形態に係る撮像装置の調停部の概略構成を示す図
第３実施形態に係る半導体装置を備えた機器の概略構成を示す図
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許