特許ウォッチ

公開番号2024122913
公報種別公開特許公報(A)
公開日2024-09-09
出願番号2024026742
出願日2024-02-26
発明の名称イメージセンサ
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.
代理人個人,個人
主分類H04N 25/703 20230101AFI20240902BHJP(電気通信技術)
要約【課題】低速フレームレートのイメージデータとイメージデータに対する高速フレームレートのイベントデータを生成し、順次にパッキングして出力することにより、イメージデータ及びイベントデータの伝送効率を向上させるためのイメージセンサを提供する。
【解決手段】複数のピクセルを含むイメージセンサ100aは、複数のピクセル含むピクセルアレイ及び処理回路を含み、処理回路は、第1露出時間の間、複数のピクセルのそれぞれに受信される光学信号を電気信号に変換して第1イメージデータを生成し、第1露出時間の間に、複数のピクセルそれぞれに入射される光学信号の強度変化に係わる情報を含み第1イメージデータのフレームレートより高いフレームレートのイベントデータを生成し、第1イメージデータ及びイベントデータを受信し、第1イメージデータと第1露出時間に対応するイベントデータを順次にパッキングして出力データを生成することができる。
【選択図】図3
特許請求の範囲【請求項１】
イメージセンサにおいて、
複数のピクセルと、
処理回路と、を含み、
前記処理回路は、
第１露出時間の間に、前記複数のピクセルのそれぞれに受信される光学信号を電気信号に変換して第１イメージデータを生成し、前記第１露出時間の間に、前記複数のピクセルのそれぞれに入射される光学信号の強度変化に係わる情報を含み、前記第１イメージデータのフレームレートより高いフレームレートのイベントデータを生成し、
前記第１イメージデータ及び前記イベントデータを受信し、
前記第１イメージデータと前記第１露出時間に対応する前記イベントデータとを順次にパッキングして出力データを生成することを特徴とする、
イメージセンサ。
続きを表示（約 1,600 文字）【請求項２】
前記第１露出時間は、複数のサブ露出時間を含み、
前記処理回路は、
イメージフレームの複数のサブフレームに対応する第２イメージデータを生成し、前記複数のサブフレームは、前記複数のサブ露出時間に対応することを特徴とする、
請求項１に記載のイメージセンサ。
【請求項３】
前記イメージセンサは、
前記第２イメージデータを保存するメモリをさらに含むことを特徴とする、
請求項２に記載のイメージセンサ。
【請求項４】
前記処理回路は、
前記メモリから前記複数のサブフレームのそれぞれに対応する第２イメージデータのうちの少なくとも一部を受信するプリプロセッサをさらに含み、
前記複数のサブフレームのそれぞれに対応する第２イメージデータのうちの少なくとも一部を併合して前記第１イメージデータとして生成することを特徴とする、
請求項３に記載のイメージセンサ。
【請求項５】
前記処理回路は、
前記複数のサブフレームから生成された前記第２イメージデータ及び前記複数のサブフレームのそれぞれと連続した少なくとも１つの参照フレームで生成された第２イメージデータを用いて前記複数のサブフレームのそれぞれに対応するイベントデータを生成することを特徴とする、請求項２に記載のイメージセンサ。
【請求項６】
前記処理回路は、
前記複数のサブフレームのそれぞれに対応する第２イメージデータに基づいて前記複数のサブフレームのそれぞれに対応する変換イメージデータを生成し、
前記複数のサブフレームのそれぞれに対応する変換イメージデータと、前記複数のサブフレームのそれぞれに対応する前記少なくとも１つの参照フレームの変換イメージデータのそれぞれの差分を示し、前記複数のサブフレームのそれぞれに対応する差分データを生成し、
前記差分データに基づいて前記複数のサブフレームのそれぞれに対応するイベントデータを生成することを特徴とする、
請求項５に記載のイメージセンサ。
【請求項７】
前記処理回路は、
前記複数のサブフレームのそれぞれに対応する第２イメージデータをグレースケールに変換し、
前記グレースケールに変換した結果をログスケールに変換し、
前記複数のサブフレームのそれぞれに対応する変換イメージデータを生成することを特徴とする
請求項６に記載のイメージセンサ。
【請求項８】
前記処理回路は、
前記複数のサブフレームのそれぞれの差分データと既設定のしきい値とを比較して前記複数のサブフレームのそれぞれのイベントデータを生成することを特徴とする、請求項６に記載のイメージセンサ。
【請求項９】
前記処理回路は、
前記複数のサブフレームのそれぞれの差分データをピクセル単位で既設定のしきい値と比べて、前記ピクセル単位に対応する前記イベントデータの大きさは、１ビット(bit)であることを特徴とする、請求項６に記載のイメージセンサ。
【請求項１０】
前記処理回路は、
前記複数のサブフレームのそれぞれの第２イメージデータをｋ（ｋは、２以上の正数）個のピクセル単位にグルーピングし、
グルーピングされたピクセル単位で、前記複数のサブフレームのそれぞれに対応する第２イメージデータ及び前記複数のサブフレームのそれぞれに対応する参照フレームの第２イメージデータに基づき、前記複数のサブフレームのそれぞれに対応するイベントデータを生成することを特徴とする、
請求項５に記載のイメージセンサ。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、イメージデータを伝送するイメージセンサに係り、さらに詳細には、イメージデータ及びイメージデータをイメージ処理するためのイベントデータを伝送するイメージセンサに関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
イメージセンサ(image sensor)は、対象物の２次元または３次元イメージをキャプチャー(capture)する装置である。イメージセンサは、対象物から反射される光の強度によって反応する光電変換素子を用いて対象物のイメージを生成する。最近、コンピュータ産業と通信産業との発達によってデジタルカメラ、カムコーダ、PCS(Personal Communication System)、ゲーム機器、警備用カメラ、医療用マイクロカメラ、携帯電話など多様な電子機器で性能が向上したイメージセンサに対する需要が増加している。
【０００３】
イメージセンサは、イメージ信号プロセッサにイメージデータを出力することができる。撮像装置がスローモーションモード、スーパースローモーションモードなど高速フレーム速度でイメージを提供する動作モードを支援することにより、イメージセンサは、高速フレームレート(high frame rate)でイメージデータを生成及び出力することができる。高速フレームレートでイメージデータを出力するとき、伝送容量が制限されるか、データ伝送遅延が発生しうる。
【０００４】
これにより、伝送容量の制限なしにイメージデータを伝送する技術が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の技術的思想が解決しようとする課題は、低速フレームレートのイメージデータとイメージデータに対する高速フレームレートのイベントデータを生成し、低速フレームレートのイメージデータと高速フレームレートのイベントデータを順次にパッキングして出力することにより、イメージデータ及びイベントデータの伝送効率を向上させるためのイメージセンサを提供する。
【課題を解決するための手段】
【０００６】
上述した技術的課題を達成するための技術的手段として、本開示の第１側面は、複数のピクセル及び処理回路を含み、前記処理回路は、第１露出時間の間、前記複数のピクセルそれぞれに受信される光学信号を電気信号に変換して第１イメージデータを生成し、前記第１露出時間の間、前記複数のピクセルそれぞれに入射される光学信号の強度(intensity)変化に係わる情報を含み、前記第１イメージデータのフレームレートより高いフレームレートのイベントデータを生成し、前記第１イメージデータ及び前記イベントデータを受信し、前記第１イメージデータと前記第１露出時間に対応する前記イベントデータを順次にパッキングして出力データを生成することを特徴とするイメージセンサを提供することができる。
【０００７】
また、上述した技術的課題を達成するための技術的手段として、本開示の第２側面は、それぞれ光学信号を電気信号に変換する複数のピクセルを含むピクセルアレイから前記電気信号をリードアウトしてフレーム単位で初期イメージデータを生成する処理回路、及び前記初期イメージデータを保存するメモリを含み、前記処理回路は、前記初期イメージデータに基づいて第１イメージデータを生成し、前記第１イメージデータは、第１露出時間に含まれる複数のサブ露出時間それぞれによってフレームに含まれたｍ（ｍは、正数）個のサブフレームそれぞれの初期イメージデータを併合して生成され、前記ｍ個のサブフレームそれぞれに対応する初期イメージデータに基づいて前記ｍ個のサブフレームそれぞれに対応するイベントデータを生成し、前記第１イメージデータ及び前記イベントデータをいずれも順次にパッキングして出力データを生成することを特徴とするイメージセンサを提供することができる。
【０００８】
また、上述した技術的課題を達成するための技術的手段として、本開示の第３側面は、光学信号を電気信号に変換する少なくとも１つのCIS(CMOS Image Sensor)ピクセル及び前記光学信号の強度変化を感知してイベント信号を生成する少なくとも１つのDVS(Dynamic Vision Sensor)ピクセルを含むピクセルアレイ、及び処理回路を含み、前記処理回路は、前記電気信号に基づいて第１フレームレートの第１イメージデータを生成し、前記イベント信号に基づいて前記第１イメージデータの前記第１フレームレートより高い第２フレームレートのイベントデータを生成し、前記第１イメージデータ及び前記第１イメージデータの露出時間に対応する前記イベントデータを順次にパッキングして出力データを生成することを特徴とするイメージセンサを提供することができる。
【図面の簡単な説明】
【０００９】
本開示の例示的な実施例によるイメージ処理システムを示すブロック図である。
本開示の例示的な実施形態による出力データを説明するための図面である。
本開示の例示的な実施形態によるイメージセンサを説明するためのブロック図である。
本開示の例示的な実施形態によるイメージセンサの一部を説明するための図面である。
本開示の例示的な実施形態による第１イメージデータを生成する方法を説明するための図面である。
本開示の例示的な実施形態によるイベントデータを生成する方法を説明するための図面である。
本開示の例示的な実施形態によるイベントデータを生成する方法を具体的に説明するための図面である。
本開示の例示的な実施形態による第２イメージデータを説明するための図面である。
本開示の例示的実施形態によるイメージセンサを説明するための図面である。
本開示の例示的な実施形態による第１露出時間に対応するイベントデートを説明するための図面である。
本開示の例示的実施形態による電子装置を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、添付した図面を参照して本発明の実施例について詳細に説明する。図面上の同じ構成要素については、同じ参照符号を使用し、それらについての重複説明は省略する。
（【００１１】以降は省略されています）

関連特許