TOP特許意匠商標
特許ウォッチ DM通知 Twitter
10個以上の画像は省略されています。
公開番号2022094319
公報種別公開特許公報(A)
公開日2022-06-24
出願番号2021190906
出願日2021-11-25
発明の名称イメージセンシング装置
出願人エスケーハイニックス株式会社,SK hynix Inc.
代理人特許業務法人三枝国際特許事務所
主分類G06T 5/00 20060101AFI20220617BHJP(計算;計数)
要約【課題】ディープラーニングに基づいてハイダイナミックレンジのイメージを生成できるイメージセンシング装置を提供する。
【解決手段】本発明の一実施形態は、シングルフレームの間に生成されたシングルイメージSIMGに基づいて、露出時間が互いに異なる複数のイメージI1S,I2S,I3S,I4Sをカラー別に生成するためのサンプリングモジュール210と、複数のイメージと予定された学習アルゴリズムとに基づいてシングルイメージの補正パラメータを学習し、複数のイメージから補正パラメータを除去して複数の補正されたイメージJ1S,J2S,J3S,J4Sを生成するための補正モジュール220と、複数の補正されたイメージに基づいてシングルイメージに対応するハイダイナミックレンジのイメージHDRIMGを生成するためのイメージ処理モジュール230とを備えるイメージセンシング装置を提供する。
【選択図】図3
特許請求の範囲【請求項1】
シングルフレーム(single frame)の間に生成されたシングルイメージに基づいて、露出時間が互いに異なる複数のイメージをカラー別に生成するためのサンプリングモジュールと、
予定された学習アルゴリズムを利用して前記複数のイメージに基づいた前記シングルイメージの補正パラメータを学習し、前記複数のイメージから前記補正パラメータを除去して複数の補正されたイメージを生成するための補正モジュールと、
前記複数の補正されたイメージに基づいて前記シングルイメージに対応するハイダイナミックレンジ(high dynamic range)のイメージを生成するためのイメージ処理モジュールと、
を備えるイメージセンシング装置。
続きを表示(約 2,700 文字)【請求項2】
前記補正パラメータは、ノイズ(noise)成分とゴースト(ghost)成分とを含む請求項1に記載のイメージセンシング装置。
【請求項3】
前記補正モジュールは、
第1の学習アルゴリズムを利用して前記複数のイメージに基づいた前記複数のイメージの各々のノイズ(noise)成分を学習し、前記複数のイメージの各々から前記ノイズ成分を除去して複数のデノイジングされたイメージを生成するためのデノイズモジュールと、
前記複数のデノイジングされたイメージとカラー別加重値とに基づいて複数のグレーイメージを生成するための計算モジュールと、
第2の学習アルゴリズムを利用して前記複数のグレーイメージに基づいた前記複数のグレーイメージの各々のゴースト(ghost)成分を学習し、前記複数のグレーイメージの各々から前記ゴースト成分を除去して前記複数の補正されたイメージを生成するためのデゴーストモジュールと、
を備える請求項1に記載のイメージセンシング装置。
【請求項4】
前記デノイズモジュールは、カラー別に第1の露出時間を有する複数の第1のイメージを複数の第1のデノイジングされたイメージとして生成し、
前記デノイズモジュールは、
前記複数の第1のイメージとカラー別に第2の露出時間を有する複数の第2のイメージとに基づいて、前記複数の第2のイメージに対応する複数の第2のデノイジングされたイメージを生成するための第1の学習モジュールと、
前記複数の第2のイメージとカラー別に第3の露出時間を有する複数の第3のイメージとに基づいて、前記複数の第3のイメージに対応する複数の第3のデノイジングされたイメージを生成するための第2の学習モジュールと、
前記複数の第3のイメージとカラー別に第4の露出時間を有する複数の第4のイメージとに基づいて、前記複数の第4のイメージに対応する複数の第4のデノイジングされたイメージを生成するための第3の学習モジュールと、
を備える請求項3に記載のイメージセンシング装置。
【請求項5】
前記第1の学習モジュールは、前記複数の第1のイメージの各々をラベル(label)として用い、前記複数の第2のイメージの各々を入力データとして用いて前記複数の第2のイメージの各々のノイズ成分を学習し、
前記第2の学習モジュールは、前記複数の第2のイメージの各々をラベルとして用い、前記複数の第3のイメージの各々を入力データとして用いて前記複数の第3のイメージの各々のノイズ成分を学習し、
前記第3の学習モジュールは、前記複数の第3のイメージの各々をラベルとして用い、前記複数の第4のイメージの各々を入力データとして用いて前記複数の第4のイメージの各々のノイズ成分を学習する請求項4に記載のイメージセンシング装置。
【請求項6】
前記第1の学習モジュールは、前記複数の第2のイメージの各々のノイズ成分を学習するとき、前記複数の第1のイメージに対応する第1の飽和マップ(saturation map)を生成及び利用し、
前記第2の学習モジュールは、前記複数の第3のイメージの各々のノイズ成分を学習するとき、前記複数の第2のイメージに対応する第2の飽和マップを生成及び利用し、
前記第3の学習モジュールは、前記複数の第4のイメージの各々のノイズ成分を学習するとき、前記複数の第3のイメージに対応する第3の飽和マップを生成及び利用する請求項5に記載のイメージセンシング装置。
【請求項7】
前記第1の学習モジュールは、前記複数の第2のイメージの各々のノイズ成分を学習する前に第1の露出割合(exposure ratio)に基づいて前記複数の第2のイメージをスケーリング(scaling)し、
前記第2の学習モジュールは、前記複数の第3のイメージの各々のノイズ成分を学習する前に第2の露出割合に基づいて前記複数の第3のイメージをスケーリングし、
前記第3の学習モジュールは、前記複数の第4のイメージの各々のノイズ成分を学習する前に第3の露出割合に基づいて前記複数の第4のイメージをスケーリングする請求項4に記載のイメージセンシング装置。
【請求項8】
前記第1ないし第4の露出時間のうち、前記第1の露出時間が最も長い露出時間であり、前記第2の露出時間は、前記第1の露出時間より短い露出時間であり、前記第3の露出時間は、前記第2の露出時間より短い露出時間であり、前記第4の露出時間は、最も短い露出時間である請求項4に記載のイメージセンシング装置。
【請求項9】
前記第1ないし第3の学習モジュールは、学習の際に用いられるカラー別加重値を共有する請求項4に記載のイメージセンシング装置。
【請求項10】
前記デノイズモジュールは、
第4の露出時間を有する第4のグレーイメージと第1の露出時間を有する第1のグレーイメージとに基づいて、前記第1のグレーイメージに対応する第1の補正されたグレーイメージを生成するための第4の学習モジュールと、
前記第1の補正されたグレーイメージに基づいて、カラー別に前記第1の露出時間を有する複数の第1の補正されたイメージを生成するための第1の生成モジュールと、
前記第4のグレーイメージと第2の露出時間を有する第2のグレーイメージとに基づいて、前記第2のグレーイメージに対応する第2の補正されたグレーイメージを生成するための第5の学習モジュールと、
前記第2の補正されたグレーイメージに基づいて、カラー別に前記第2の露出時間を有する複数の第2の補正されたイメージを生成するための第2の生成モジュールと、
前記第4のグレーイメージと第3の露出時間を有する第3のグレーイメージとに基づいて、前記第3のグレーイメージに対応する第3の補正されたグレーイメージを生成するための第6の学習モジュールと、
前記第3の補正されたグレーイメージに基づいて、カラー別に前記第3の露出時間を有する複数の第3の補正されたイメージを生成するための第3の生成モジュールと、
前記第4のグレーイメージに基づいて、カラー別に前記第4の露出時間を有する複数の第4の補正されたイメージを生成するための第4の生成モジュールと、
を備える請求項3に記載のイメージセンシング装置。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
本発明は、半導体設計技術に関し、より詳細には、イメージセンシング装置に関する。
続きを表示(約 2,200 文字)【背景技術】
【0002】
イメージセンシング装置は、光に反応する半導体の性質を利用してイメージをキャプチャ(capture)する素子である。イメージセンシング装置は、大別してCCD(Charge Coupled Device)を用いたイメージセンシング装置と、CMOS(Complementary Metal Oxide Semiconductor)を用いたイメージセンシング装置とに区分されることができる。近年、アナログ及びデジタル制御回路を1つの集積回路(IC)上に直接実現できるという長所により、CMOSを用いたイメージセンシング装置が多用されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の実施形態は、ディープラーニング(deep learning)に基づいてハイダイナミックレンジ(high dynamic range)イメージを生成できるイメージセンシング装置を提供する。
【課題を解決するための手段】
【0004】
本発明の一側面によれば、イメージセンシング装置は、シングルフレーム(single frame)の間に生成されたシングルイメージに基づいて、露出時間が互いに異なる複数のイメージをカラー別に生成するためのサンプリングモジュールと、予定された学習アルゴリズムを利用して前記複数のイメージに基づいた前記シングルイメージの補正パラメータを学習し、前記複数のイメージから前記補正パラメータを除去して複数の補正されたイメージを生成するための補正モジュールと、前記複数の補正されたイメージに基づいて前記シングルイメージに対応するハイダイナミックレンジ(high dynamic range)のイメージを生成するためのイメージ処理モジュールとを備えることができる。
【0005】
前記補正パラメータは、ノイズ(noise)成分とゴースト(ghost)成分とを含むことができる。
【0006】
前記補正モジュールは、第1の学習アルゴリズムを利用して前記複数のイメージに基づいた前記複数のイメージの各々のノイズ(noise)成分を学習し、前記複数のイメージの各々から前記ノイズ成分を除去して複数のデノイジングされたイメージを生成するためのデノイズモジュールと、前記複数のデノイジングされたイメージとカラー別加重値とに基づいて複数のグレーイメージを生成するための計算モジュールと、第2の学習アルゴリズムを利用して前記複数のグレーイメージに基づいた前記複数のグレーイメージの各々のゴースト(ghost)成分を学習し、前記複数のグレーイメージの各々から前記ゴースト成分を除去して前記複数の補正されたイメージを生成するためのデゴーストモジュールとを備えることができる。
【0007】
前記シングルイメージは、クアッド(quad)パターンを有することができ、前記ハイダイナミックレンジのイメージは、ベイヤー(bayer)パターンを有することができる。
【0008】
本発明の他の側面によれば、イメージセンシング装置は、クアッドパターンで配列されたカラーフィルタを有し、パターン別に互いに異なる露出時間で制御されるピクセルアレイを備え、シングルフレーム(single frame)の間、前記クアッドパターンに対応するシングルイメージを生成するためのイメージセンサと、予定された学習アルゴリズムを利用して前記シングルイメージに基づいたカラー別補正パラメータを学習し、前記補正パラメータに基づいてベイヤー(bayer)パターンを有するハイダイナミックレンジのイメージを生成するためのイメージプロセッサとを備えることができる。
【0009】
前記補正パラメータは、ノイズ(noise)成分とゴースト(ghost)成分とを含むことができる。
【0010】
本発明のさらに他の側面によれば、イメージセンシング装置は、クアッドパターンイメージを受信し、カラーチャネルによって前記クアッドパターンイメージをサンプリングし、複数のチャネルイメージを生成するためのサンプリングモジュールと、複数のデノイズされたチャネルイメージを生成するためのデノイズモジュールと、複数のデゴーストされたチャネルイメージを生成するためのデゴーストモジュールと、前記複数のデゴーストされたチャネルイメージに基づいてベイヤーパターンを有する出力イメージを生成するためのイメージ処理モジュールとを備えることができ、前記複数のデノイズされたチャネルイメージの各々は、2つのチャネルのイメージ対を用いて学習することによって生成されることができ、前記2つのチャネルのうち1つのチャネルは、相対的に長い露出時間と関連していることができ、前記2つのチャネルのうち残りのチャネルは、相対的に短い露出時間と関連していることができ、前記複数のデゴーストされたチャネルイメージの各々は、2つの選択チャネルのイメージ対を用いて学習することによって生成されることができ、前記2つの選択チャネルのうち、いずれか1つは、最も短い露出時間と関連していることができる。
【発明の効果】
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

株式会社理研
演算装置
10日前
個人
喋るハイテク家電
15日前
個人
曲目音声入力システム
15日前
日本精機株式会社
車載表示装置
今日
凸版印刷株式会社
メタルカード
3日前
個人
結婚活動支援システム
8日前
個人
情報提供システム
15日前
シャープ株式会社
家電システム
15日前
個人
統計モデルによる勤務時間の推定
11日前
株式会社ノーリツ
給湯装置
1日前
凸版印刷株式会社
非接触通信ICシート
今日
東洋計器株式会社
ガスの集中監視方法
16日前
オグラ金属株式会社
食品カウンタ装置
2日前
ビィデザイン株式会社
仮想空間システム
15日前
中国電力株式会社
業務時間管理システム
4日前
トヨタ自動車株式会社
情報処理装置
11日前
NISSHA株式会社
静電容量方式の圧力センサ
8日前
沖電気工業株式会社
制御装置
10日前
ソプラ株式会社
メタデータ抽出プログラム
4日前
個人
管理サーバおよび訃報自動送信システム
7日前
富士通株式会社
計算機および計算方法
今日
個人
紙葉類計数装置及び紙葉類計数システム
3日前
株式会社オープンロジ
事故情報共有システム
10日前
富士通株式会社
集計プログラム及び集計方法
10日前
三菱電機株式会社
品質状況可視化装置
3日前
富士通コンポーネント株式会社
タッチパネル
9日前
東京瓦斯株式会社
処理装置、プログラム
9日前
弁護士トーク株式会社
料金管理システム
1日前
株式会社コムテック
ホルダ
1日前
アトムスフィア株式会社
順番待ち管理システム
16日前
株式会社新星流通サービス
混載輸送支援システム
2日前
テクマトリックス株式会社
コメント投稿システム
今日
デジタルバード株式会社
ギフト資産管理システム
10日前
株式会社CopterOne
購入プログラムなど
14日前
理想科学工業株式会社
印刷制御装置
4日前
ダイハツ工業株式会社
整備点検情報管理システム
11日前
続きを見る