特許ウォッチ

公開番号2024114673
公報種別公開特許公報(A)
公開日2024-08-23
出願番号2024018878
出願日2024-02-09
発明の名称ビジョンセンサ、該ビジョンセンサのイベント信号処理方法、及び該ビジョンセンサを含む撮像処理装置
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.
代理人個人,個人
主分類H04N 25/47 20230101AFI20240816BHJP(電気通信技術)
要約【課題】ビジョンセンサ、該イベント信号処理方法及びそれを含むイメージ処理装置をS提供する。
【解決手段】本発明のビジョンセンサにおいて、入射された光の強度が変化するイベントを感知してイベント信号を生成する複数のピクセルを含むピクセルアレイ;及びピクセルアレイからイベント信号を読取り、イベント信号を処理するイベント検出回路;を含み、イベント検出回路は、第1フリップフロップ(flip-flop)及び第2フリップフロップを含む状態レジスタを含み、イベント信号に基づき、複数のピクセルそれぞれにおいてフリッカー(flicker)の発生有無を示す第1データを第1フリップフロップ(flip-flop)に保存し、複数のピクセルそれぞれのイベントの発生有無を示す第2データを第2フリップフロップに保存し、第1データと第2データとの比較結果に基づき、第2データのうちフリッカーが発生した部分を識別して削除することができる。
【選択図】図3
特許請求の範囲【請求項１】
ビジョンセンサにおいて、
入射された光の強度が変化するイベントを感知してイベント信号を生成する複数のピクセルを含むピクセルアレイと、
第１フリップフロップ(flip-flop)及び第２フリップフロップを含む状態レジスタを含むイベント検出回路と、を含み、
前記イベント検出回路は、
前記イベント信号に基づき、前記複数のピクセルそれぞれにおいてフリッカー(flicker)の発生有無を示す第１データを前記第１フリップフロップに保存し、
前記複数のピクセルそれぞれの前記イベントの発生有無を示す第２データを前記第２フリップフロップに保存し、
前記第１データと前記第２データとの比較結果に基づき、前記第２データのうち前記フリッカーが発生した部分を識別して削除することを特徴とするビジョンセンサ。
続きを表示（約 1,700 文字）【請求項２】
前記第１フリップフロップは、
前記複数のピクセルそれぞれにおいて前記フリッカーが発生したことに対応する第１状態に係わる情報、及び前記フリッカーが発生していないことに対応する第２状態に係わる情報を含む前記第１データを保存することを特徴とする請求項１に記載のビジョンセンサ。
【請求項３】
前記イベント検出回路は、
既設定のリセット周期ごとに前記第１データをリセットさせるための第１リセット信号を前記第１フリップフロップに送信し、
前記第１フリップフロップは、
受信された第１リセット信号に応答し、前記第１リセット信号を受信した周期の次の周期に前記第１データをリセットさせることを特徴とする請求項２に記載のビジョンセンサ。
【請求項４】
前記第２フリップフロップは、
前記複数のピクセルそれぞれにおいて前記イベントが発生したことに対応する第３状態に係わる情報、及び前記イベントが発生していないことに対応する第４状態に係わる情報を含む前記第２データを保存することを特徴とする請求項３に記載のビジョンセンサ。
【請求項５】
前記イベント検出回路は、
前記既設定のリセット周期ごとに前記第２データをリセットさせるための第２リセット信号を前記第２フリップフロップに送信し、
前記第２フリップフロップは、
前記第１フリップフロップがリセットされ、前記第２リセット信号を受信した場合、前記第２リセット信号を受信した周期に前記第２データをリセットさせることを特徴とする請求項４に記載のビジョンセンサ。
【請求項６】
前記イベント検出回路は、
対象イベント感知前の特定期間内に発生した他のイベントが存在する場合、前記対象イベントを前記フリッカーと識別するようにさらに構成されることを特徴とする請求項１に記載のビジョンセンサ。
【請求項７】
前記第１フリップフロップは、１ビット遅延(delayed)フリップフロップで構成され、
前記第２フリップフロップは、１ビットフリップフロップで構成され、
前記イベント検出回路は、
同期(synchronous)方式または非同期(asynchronous)方式を基盤に前記ピクセルアレイから前記イベント信号を読取り、前記イベント信号を処理することを特徴とする請求項１に記載のビジョンセンサ。
【請求項８】
ビジョンセンサの動作方法において、
入射された光の強度が変化するイベントを感知してイベント信号を生成する複数のピクセルを含むピクセルアレイから前記イベント信号を読み取る段階と、
前記イベント信号に基づき、前記複数のピクセルそれぞれにおいてフリッカー(flicker)の発生有無を示す第１データを第１フリップフロップ(flip-flop)に保存する段階と、
前記複数のピクセルそれぞれの前記イベントの発生有無を示す第２データを第２フリップフロップに保存する段階と、
前記第１データと前記第２データとの比較結果に基づき、前記第２データのうち前記フリッカーが発生した部分を識別して削除する段階と、を含むことを特徴とする方法。
【請求項９】
前記第１フリップフロップは、
前記複数のピクセルそれぞれにおいて前記フリッカーが発生したことに対応する第１状態に係わる情報、及び前記フリッカーが発生していないことに対応する第２状態に係わる情報を含む前記第１データを保存することを特徴とする請求項８に記載の方法。
【請求項１０】
既設定のリセット周期ごとに前記第１データをリセットさせる段階をさらに含み、
前記第１データをリセットさせる段階は、
前記既設定のリセット周期ごとに第１リセット信号を生成する段階と、
前記第１リセット信号が生成された時点の次のリセット周期に前記第１データをリセットさせる段階と、を含むことを特徴とする請求項９に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ビジョンセンサ、及びビジョンセンサを含む撮像処理装置に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
人間とコンピュータとの相互作用(Human-computer
interaction, HCI)は、ユーザインターフェースで発現されて作動する。ユーザ入力を認識する多様なユーザインターフェースは、人間とコンピュータとの間の自然な相互作用を提供することができる。ユーザ入力を認識するために多様なセンサが用いられうる。
【０００３】
一般的にイメージセンサは、大きく見て、同期式で動作するイメージセンサと非同期式で動作するイメージセンサとに区分されうる。同期式で動作するイメージセンサの代表的な例として、CMOS (Complementary Metal-Oxide Semiconductor)イメージセンサがある。非同期式で動作するイメージセンサの代表的な例として、動的ビジョンセンサ(DVS: dynamic vision sensor)がある。
【０００４】
動的ビジョンセンサは、入射される光の強度(intensity)の変化を感知してイベント信号（例えば、オンイベント信号またはオフイベント信号）を生成し、イベント信号をプロセッサに伝達する。
【０００５】
フリッカー(flicker)現象は、イメージ処理システムの周辺照明機器または、ディスプレイを含む電子機器などから放出される光の強度が周期的に変わる現象（例えば、点滅現象）を意味する。理想的な動的ビジョンセンサは、そのようなフリッカー現象をイベントとして探知しないように設計されるが、実際動的ビジョンセンサは、前述したフリッカー現象をイベントとして探知し、フリッカーによって発生したエラーによってイメージ処理システム全体の性能が低下する恐れがある。また、イメージ処理システム内のフリッカーを自体的に除去するために、ピクセルアレイのピクセルそれぞれのピクセルデータとタイムスタンプをマッピングさせて保存する場合、全体ピクセルにマッピングされたデータを処理する過程で相当なデータ処理量が発生し、それを収容するほどの別途のメモリが必要な点が問題になる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする技術的課題は、ビジョンセンサにおいてフリッカーを識別して除去することで、ビジョンセンサの性能を向上させることである。
【０００７】
本発明の技術的課題は、前述した技術的課題に制限されず、言及されていないさらに他の技術的課題は、下記記載から当業者に明確に理解されるであろう。
【課題を解決するための手段】
【０００８】
前記のような目的を達成するために、本開示の一側面によるビジョンセンサにおいて、入射された光の強度が変化するイベントを感知してイベント信号を生成する複数のピクセルを含むピクセルアレイ；並びに第１フリップフロップ(flip-flop)及び第２フリップフロップを含む状態レジスタを含むイベント検出回路を含み、前記イベント検出回路は、前記イベント信号に基づき、前記複数のピクセルそれぞれにおいてフリッカーの発生有無を示す第１データを前記第１フリップフロップに保存し、前記複数のピクセルそれぞれの前記イベントの発生有無を示す第２データを前記第２フリップフロップに保存し、前記第１データと前記第２データとの比較結果に基づき、前記第２データのうち前記フリッカーが発生した部分を識別して削除することができる。
【０００９】
前記のような目的を達成するための本開示の一側面によるビジョンセンサの動作方法において、入射された光の強度が変化するイベントを感知してイベント信号を生成する複数のピクセルを含むピクセルアレイから前記イベント信号を読み取る段階；前記イベント信号に基づき、前記複数のピクセルそれぞれにおいてフリッカーの発生有無を示す第１データを第１フリップフロップに保存する段階；前記複数のピクセルそれぞれの前記イベントの発生有無を示す第２データを第２フリップフロップに保存する段階；及び前記第１データと前記第２データとの比較結果に基づき、前記第２データのうち前記フリッカーが発生した部分を識別して削除する段階；を含みうる。
【００１０】
前記のような目的を達成するための本開示の一側面によるビジョンセンサにおいて、入射された光の強度が変化するイベントを感知してイベント信号を生成する複数のピクセルを含むピクセルアレイ；及び前記ピクセルアレイから前記イベント信号を読取り、前記イベント信号を処理するイベント検出回路を含み、前記イベント検出回路は、第１フリップフロップ及び第２フリップフロップを含む状態レジスタを含み、前記複数のピクセルそれぞれにおいてフリッカーが発生したことに対応する第１状態及び前記フリッカーが発生していないことに対応する第２状態をマッピングした第１データを前記第１フリップフロップに保存し、前記複数のピクセルそれぞれのオン(on)イベントが発生したことに対応する第３状態、オフ(off)イベントが発生したことに対応する第４状態、及び前記イベントが発生していないことに対応する第５状態をマッピングした第２データを第２フリップフロップに保存し、前記第１データと前記第２データとの比較結果に基づき、前記第２データのうち前記第１データの前記第１状態に対応する部分を識別して削除することができる。
【発明の効果】
（【００１１】以降は省略されています）

関連特許