特許ウォッチ

公開番号2024115386
公報種別公開特許公報(A)
公開日2024-08-26
出願番号2023021056
出願日2023-02-14
発明の名称固体撮像装置及び画像処理システム
出願人日清紡マイクロデバイス株式会社,学校法人立命館
代理人個人,個人
主分類H04N 25/77 20230101AFI20240819BHJP(電気通信技術)
要約【課題】従来技術に比較して演算コストを小さくすることで、消費電力を低減できる固体撮像装置を提供する。
【解決手段】固体撮像装置は、それぞれ所定の画素色を有する光信号を光電変換して画素信号を出力する複数の光電変換素子と、前記複数の光電変換素子からの各画素信号を同時に出力端子に転送するように制御することで、所定の特徴量を有する画素輝度信号を出力する制御回路と、を備える。ここで、前記特徴量は水平エッジ量である。前記複数の光電変換素子は、赤色の信号レベルRを有する光信号を光電変換して画素信号を出力する光電変換素子と、緑色の信号レベルGを有する光信号を光電変換して画素信号を出力する2個の光電変換素子と、青色の信号レベルBを有する光信号を光電変換して画素信号を出力する光電変換素子と、を含み、前記固体撮像装置は、例えば輝度変換式がY=2G+R+Bである画素輝度信号を出力する。
【選択図】図3
特許請求の範囲【請求項１】
それぞれ所定の画素色を有する光信号を光電変換して画素信号を出力する複数の光電変換素子と、
前記複数の光電変換素子からの各画素信号を同時に出力端子に転送するように制御することで、所定の特徴量を有する画素輝度信号を出力する制御回路と、
を備える固体撮像装置。
続きを表示（約 1,300 文字）【請求項２】
前記特徴量は水平エッジ量である、
請求項１に記載の固体撮像装置。
【請求項３】
前記複数の光電変換素子は、
赤色の信号レベルＲを有する光信号を光電変換して画素信号を出力する光電変換素子と、
緑色の信号レベルＧを有する光信号を光電変換して画素信号を出力する２個の光電変換素子と、
青色の信号レベルＢを有する光信号を光電変換して画素信号を出力する光電変換素子と、
を含み、
前記固体撮像装置は、輝度変換式がＹ＝２Ｇ＋Ｒ＋Ｂである画素輝度信号を出力する、
請求項１に記載の固体撮像装置。
【請求項４】
前記複数の光電変換素子は、
赤色の信号レベルＲを有する光信号を光電変換して画素信号を出力する２個の光電変換素子と、
緑色の信号レベルＧを有する光信号を光電変換して画素信号を出力する光電変換素子と、
青色の信号レベルＢを有する光信号を光電変換して画素信号を出力する光電変換素子と、
を含み、
前記固体撮像装置は、輝度変換式がＹ＝Ｇ＋２Ｒ＋Ｂである画素輝度信号を出力する、
請求項１に記載の固体撮像装置。
【請求項５】
前記複数の光電変換素子は、
赤色の信号レベルＲを有する光信号を光電変換して画素信号を出力する光電変換素子と、
緑色の信号レベルＧを有する光信号を光電変換して画素信号を出力する光電変換素子と、
青色の信号レベルＢを有する光信号を光電変換して画素信号を出力する２個の光電変換素子と、
を含み、
前記固体撮像装置は、輝度変換式がＹ＝Ｇ＋Ｒ＋２Ｂである画素輝度信号を出力する、
請求項１に記載の固体撮像装置。
【請求項６】
前記固体撮像装置からの画素輝度信号を、隣接する列の画素輝度信号をしきい値として用いて、２値化して出力する２値化器をさらに備える、
請求項１～５のうちのいずれか１つに記載の固体撮像装置。
【請求項７】
前記２値化器は、前記複数の光電変換素子をそれぞれ含む各列の画素回路の後段に設けられる、
請求項６に記載の固体撮像装置。
【請求項８】
前記２値化器は、前記複数の光電変換素子をそれぞれ各列の画素回路からの画素輝度信号を読み出す読み出し回路に設けられる、
請求項６に記載の固体撮像装置。
【請求項９】
請求項１～５のうちのいずれか１つに記載の固体撮像装置と、
前記固体撮像装置からの画素輝度信号に基づいてクラスタリング処理を実行するニューラルネットワークとを備える画像処理システムであって、
前記ニューラルネットワークは、正解ラベル付き公開データセットから抽出された特徴量を含む正解ラベル付き特徴量データセットに基づいて学習された、
画像処理システム。
【請求項１０】
請求項１～５のうちのいずれか１つに記載の固体撮像装置と、
前記固体撮像装置からの画素輝度信号に基づいて画像認識処理を実行する画像認識装置と、
を備える画像処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、例えばイメージセンサなどの固体撮像装置と、前記固体撮像装置を備える画像処理システムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
画像認識システムにおいて、画像の特徴量抽出がなされる。画像認識には、例えば、機械学習モデルを用いる方式がある。機械学習モデルを用いた画像認識の場合、一例として、入力画像としての高解像度画像の特徴量が抽出され、特徴量に基づいて画像のクラス分け（クラスタリング）がなされる。
【０００３】
例えば非特許文献１は、チップ内部で特徴量演算（畳み込み演算）を行うイメージセンサを開示している。イメージセンサは、複数の画素を備える。各画素は、光電変換素子であるフォトダイオード及び読み出し回路を備える。各画素の読み出し回路は、受光強度に応じた電気信号である画素信号を出力する。非特許文献１に開示されたイメージセンサは、畳み込み演算を行うための光電変換素子の蓄積及び乗算のために、特殊な製造プロセス（ＩＧＺＯ）を必要とする。
【０００４】
チップ内部での特徴量演算を大規模集積回路の適したＣＭＯＳプロセスで実現するためのイメージセンサが例えば特許文献１において開示されている。このイメージセンサは、画像認識のための特徴量を出力するイメージセンサであって、複数の画素回路と、前記複数の画素回路を制御する第１モード制御を実行するよう構成されたコントローラと、を備え、前記複数の画素回路それぞれは、光電変換素子と、前記光電変換素子から電荷の転送を受ける電荷蓄積部と、を備えており、前記電荷蓄積部に蓄積された電荷量に応じた画素信号を出力するよう構成され、前記第１モード制御は、前記特徴量を求める演算のために、前記光電変換素子と前記電荷蓄積部との間における前記電荷の転送を制御することを含む。
【先行技術文献】
【特許文献】
【０００５】
特開２０２２－１０２６０４号公報
【非特許文献】
【０００６】
Seiichi Yoneda et al., "Image Sensor Capable of Analog Convolution for Real-time Image Recognition System Using Crystalline Oxide Semiconductor FET", International Image Sensor Workshop(IISW), 2019, pp.322-325.
山本航平ほか，「特徴量抽出可能なＣＭＯＳイメージセンサのためのニューラルネットワークを用いた画像分類」，映像情報メディア学会研究技術報告，Ｖｏｌ．４６，Ｎｏ．２９，ｐｐ．２１－２４，２０２２年９月１５日発行
奥村周平ほか，「特徴量抽出可能な低コストＣＭＯＳカラーイメージセンサに関する検討」，電子情報通信学会集積回路研究会（ＩＣＤ），学生・若手研究会，２０２２年３月２２日発表
大須賀裕宇ほか，「ＣＭＯＳイメージセンサ内で抽出可能な特徴量が画像認識に与える影響の解析」，電子情報通信学会集積回路研究会（ＩＣＤ），学生・若手研究会，２０２２年３月２２日発表
江上典文，「画像入力デバイスの基礎（第１回）光電変換の基礎」、映像情報メディア学会誌，Ｖｏｌ．６８，Ｎｏ．１，２０１４年
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記のような従来例に係る特徴量抽出可能なイメージセンサは、特徴量演算のみをチップ内で行い、それ以外の処理は画像認識器で行うため、固体撮像装置の出力データ量が大きいので、演算コストが比較的大きく、消費電力を低減することが難しいという課題があった。
【０００８】
本発明の目的は以上の課題を解決し、従来技術に比較して演算コストを小さくすることで、消費電力を低減できる固体撮像装置、及び固体撮像装置を備える画像処理システムを提供することにある。
【課題を解決するための手段】
【０００９】
本開示の一態様に係る固体撮像装置は、
それぞれ所定の画素色を有する光信号を光電変換して画素信号を出力する複数の光電変換素子と、
前記複数の光電変換素子からの各画素信号を同時に出力端子に転送するように制御することで、所定の特徴量を有する画素輝度信号を出力する制御回路と、
を備える。
【発明の効果】
【００１０】
従って、本開示の一態様に係る固体撮像装置によれば、従来技術に比較して演算コストを小さくすることで、消費電力を低減できる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許