特許ウォッチ

公開番号2024016542
公報種別公開特許公報(A)
公開日2024-02-07
出願番号2022118750
出願日2022-07-26
発明の名称撮像装置
出願人日本放送協会
代理人個人,個人,個人,個人
主分類H04N 23/60 20230101AFI20240131BHJP(電気通信技術)
要約【課題】固体撮像素子の画素の設計を変更せずに、イベント検出型画素を有する撮像素子を用いて、動き検出の精度を高めることができる撮像装置を提供する。
【解決手段】撮像装置は、分光器と撮像部とイベント検出型撮像部と信号処理部とを備える。分光器は、入射光を分光して第1光成分と第2光成分とに振り分ける。撮像部は、分光器からの前記第1光成分に基づく撮像を行うことによって映像データを出力する。イベント検出型撮像部は、前記分光器からの前記第2光成分に基づいて画面内の特定の位置における画素値の変化であるイベントを検出し、画素値が変化した位置についての位置情報と画素値の変化の少なくとも有無を表す画素値変化情報とを含むイベントデータを出力する。信号処理部は、前記イベント検出型撮像部から渡されるイベントデータに基づいて前記撮像部から渡される前記映像データの処理を行うことによって出力映像を生成する。
【選択図】図1
特許請求の範囲【請求項１】
入射光を分光して第１光成分と第２光成分とに振り分ける分光器と、
前記分光器からの前記第１光成分に基づく撮像を行うことによって映像データを出力する撮像部と、
前記分光器からの前記第２光成分に基づいて画面内の特定の位置における画素値の変化であるイベントを検出し、画素値が変化した位置についての位置情報と画素値の変化の少なくとも有無を表す画素値変化情報とを含むイベントデータを出力するイベント検出型撮像部と、
前記イベント検出型撮像部から渡されるイベントデータに基づいて前記撮像部から渡される前記映像データの処理を行うことによって出力映像を生成する信号処理部と、
を備える撮像装置。
続きを表示（約 1,300 文字）【請求項２】
前記第１光成分は可視光成分であり、
前記第２光成分は赤外光成分である、
請求項１に記載の撮像装置。
【請求項３】
前記信号処理部は、
前記イベントデータに基づいて被写体の動きを表す情報である動き情報を生成する動き検出部と、
前記動き検出部から渡される前記動き情報に基づいて、前記撮像部から渡される前記映像データの処理を行うことによって、前記出力映像を生成する映像出力処理部と、
を含む、請求項１または２に記載の撮像装置。
【請求項４】
前記信号処理部は、
前記映像データの過去のフレーム画像の少なくとも一部を記憶する画像記憶部、
をさらに備え、
前記映像出力処理部は、前記動き情報に応じて、前記撮像部から渡される前記映像データの最新フレーム画像のみを前記出力映像として生成するか、前記撮像部から渡される前記映像データの最新フレーム画像と前記画像記憶部から読み出した前記過去のフレーム画像の少なくとも一部とを混合して前記出力映像として生成するか、いずれかとする、
請求項３に記載の撮像装置。
【請求項５】
前記映像出力処理部は、前記撮像部から渡される前記映像データに、前記動き検出部が生成した動き情報に対応する文字または記号の少なくともいずれかを重畳する処理を行うことによって前記出力映像を生成する、
請求項３に記載の撮像装置。
【請求項６】
前記映像出力処理部は、前記撮像部から渡される前記映像データに、前記動き検出部が生成した動き情報に対応する文字または記号の少なくともいずれかを重畳する処理を行うことによって前記出力映像を生成する、
請求項４に記載の撮像装置。
【請求項７】
前記撮像部からの前記映像データの読出しのタイミングを同期させるための同期信号を生成する同期信号生成部、
をさらに備え、
前記イベント検出型撮像部は、前記同期信号に基づいて、前記撮像部から前記映像データが読出される位置に対応する画面内の領域についてのイベントデータを出力するものであり、
前記動き検出部は、当該領域の前記イベントデータに基づいて被写体の動きを表す情報である動き情報を生成するものである、
請求項３に記載の撮像装置。
【請求項８】
前記信号処理部は、
前記イベント検出型撮像部が出力した前記イベントデータに基づいて、被写体が動く方向を表す方向情報を求める動き探索処理部と、
前記撮像部から渡される前記映像データにおける前記被写体の動き探索を行いながら当該映像データの符号化を行うエンコーダーと、
を備え、
前記エンコーダーは、前記動き探索処理部から渡される方向情報に基づいて前記動き探索の範囲を決定する、
請求項１または２に記載の撮像装置。
【請求項９】
前記分光器は、前記入射光を波長帯域によって前記第１光成分と前記第２光成分とに分光する色分解プリズムである、
請求項１に記載の撮像装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像装置に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
近年、車載用カメラや監視カメラなどにおいて、被写体の動きを高速に検出する目的で、あるいはその検出精度を高める目的で、イベント検出型カメラが用いられている。
【０００３】
例えば、特許文献１に記載された撮像装置は、撮像素子が持つ画素アレイ内の一部の画素をイベント検出型画素とし、残りの画素を垂直同期信号などに同期して映像データを撮像する同期式の画素としている。そして、その撮像装置は、被写体の動きが生じた場合にのみ同期式の画素に入射された光子数をカウントする。この構成により、撮像装置は、被写体の動きの検出と通常の撮像とを両立させる。
【０００４】
また例えば、特許文献２に記載された技術では、撮像素子の画素アレイ内にイベント検出型画素を周期的に配置することによって、通常の撮影と、被写体の動きを逐次検出する動き検出とを両立させている。
【先行技術文献】
【特許文献】
【０００５】
特開２０２０－０９６３４７号公報
国際公開第２０１７／００９９４４号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の従来技術には次のような問題点がある。即ち、特許文献１や特許文献２に記載された技術では、撮像素子の画素アレイ内の一部をイベント検出型画素としている。これによって、通常の撮影時においては、イベント検出型画素としている箇所が欠陥画素となる。このため、その画素に対応する映像データを生成するために隣接画素からの補間処理を施す必要がある。一方で、動き検出の精度を高めるためには、画素アレイ内においてより多くのイベント検出型画素を埋め込む必要がある。つまり、動き検出の精度と、通常の撮像において得られる映像の画質とが、トレードオフの関係にある。このため、動き検出の精度を確保しながら映像の画質を高めるためには、撮像素子を超多画素で構成する必要があった。
【０００７】
本発明は、上記のような事情を考慮して為されたものであり、垂直同期信号などの同期信号に同期して駆動される固体撮像素子（以下、「通常の固体撮像素子」）の画素の設計（画素の配置等）を変更せずに、イベント検出型画素を有する撮像素子（以下、「イベント検出型撮像素子」）を用いて、動き検出の精度を高めることができる撮像装置を提供しようとするものである。
【０００８】
また、本発明の副次的な課題は、撮像素子に入射する光の像面照度を減衰させることなく、イベントを検出することのできる撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
［１］上記の課題を解決するため、本発明の一態様による撮像装置は、入射光を分光して第１光成分と第２光成分とに振り分ける分光器と、前記分光器からの前記第１光成分に基づく撮像を行うことによって映像データを出力する撮像部と、前記分光器からの前記第２光成分に基づいて画面内の特定の位置における画素値の変化であるイベントを検出し、画素値が変化した位置についての位置情報と画素値の変化の少なくとも有無を表す画素値変化情報とを含むイベントデータを出力するイベント検出型撮像部と、前記イベント検出型撮像部から渡されるイベントデータに基づいて前記撮像部から渡される前記映像データの処理を行うことによって出力映像を生成する信号処理部と、を備える。
第１光成分および第２光成分は、特定の波長帯域の成分であってもよいし、特に波長帯域に依らずに分光されたものであってもよい。
【００１０】
［２］また、本発明の一態様は、上記［１］の撮像装置において、前記第１光成分は可視光成分であり、前記第２光成分は赤外光成分である、というものである。
つまり、分光器は、入射光を、可視光成分と赤外光成分との少なくとも２つに分光する。なお、分光器が、可視光成分をさらに赤、緑、青のそれぞれの成分の光に分光するものであってもよい。
（【００１１】以降は省略されています）

関連特許