特許ウォッチ

公開番号2025013097
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023182180
出願日2023-10-24
発明の名称イメージ信号プロセッサ
出願人エスケーハイニックス株式会社,SK hynix Inc.
代理人弁理士法人三枝国際特許事務所
主分類H04N 25/11 20230101AFI20250117BHJP(電気通信技術)
要約【課題】ホワイトピクセルをノイズ低減やデモザイク処理に活用してイメージ品質を向上できるようにするイメージ信号プロセッサを提供する。
【解決手段】本発明の一実施形態に係るイメージ信号プロセッサは、カラーピクセル値42,43,44およびホワイトピクセル値41を含むイメージデータ40に基づいて2個以上のイメージを生成する解像度変換部100と、2個以上のイメージそれぞれに含まれる変換されたカラーピクセル値および変換されたホワイトピクセル値を用いてテクスチャ情報を抽出し、抽出されたテクスチャ情報に基づいて2個以上の処理イメージを生成する要素処理部200と、2個以上の処理イメージを合成して合成色差イメージおよび合成ホワイトイメージを生成する合成部300と、イメージデータ、合成色差イメージ、および合成ホワイトイメージに基づいて出力イメージを生成するイメージ取得部400と、を含むことができる。
【選択図】図5
特許請求の範囲【請求項１】
カラーピクセル値およびホワイトピクセル値を含むイメージデータに基づいて２個以上のイメージを生成する解像度変換部と、
前記２個以上のイメージそれぞれに含まれる変換されたカラーピクセル値および変換されたホワイトピクセル値を用いてテクスチャ情報を抽出し、抽出された前記テクスチャ情報に基づいて２個以上の処理イメージを生成する要素処理部と、
前記２個以上の処理イメージを合成して合成色差イメージおよび合成ホワイトイメージを生成する合成部と、
前記イメージデータ、前記合成色差イメージ、および前記合成ホワイトイメージに基づいて出力イメージを生成するイメージ取得部と、
を含む、イメージ信号プロセッサ。
続きを表示（約 2,100 文字）【請求項２】
前記解像度変換部は、
前記イメージデータの解像度を変換し、前記イメージデータに比べて縮小された大きさを有する第１イメージを生成する第１解像度変換部と、
前記第１イメージの解像度を変換し、前記第１イメージに比べて縮小された大きさを有する第２イメージを生成する第２解像度変換部と、を含む、請求項１に記載のイメージ信号プロセッサ。
【請求項３】
前記第１解像度変換部は、
前記イメージデータのベイヤーイメージに対する解像度を変換し、前記ベイヤーイメージに比べて縮小された大きさを有する第１レッドイメージ、第１グリーンイメージ、および第１ブルーイメージをそれぞれ出力するベイヤー解像度変換部と、
前記イメージデータのホワイトイメージに対する解像度を変換し、前記ホワイトイメージに比べて縮小された大きさを有する第１ホワイトイメージを出力するホワイト解像度変換部と、を含む、請求項２に記載のイメージ信号プロセッサ。
【請求項４】
前記ベイヤー解像度変換部は、
前記第１レッドイメージ、前記第１グリーンイメージ、および前記第１ブルーイメージそれぞれの中心ピクセルが前記第１ホワイトイメージの中心ピクセルと重心が一致するように補間を行う、請求項３に記載のイメージ信号プロセッサ。
【請求項５】
前記第２解像度変換部は、
前記第１レッドイメージに対する解像度を変換し、前記第１レッドイメージに比べて縮小された大きさを有する第２レッドイメージを出力するレッド解像度変換部と、
前記第１グリーンイメージに対する解像度を変換し、前記第１グリーンイメージに比べて縮小された大きさを有する第２グリーンイメージを出力するグリーン解像度変換部と、
前記第１ブルーイメージに対する解像度を変換し、前記第１ブルーイメージに比べて縮小された大きさを有する第２ブルーイメージを出力するブルー解像度変換部と、
前記第１ホワイトイメージに対する解像度を変換し、前記第１ホワイトイメージに比べて縮小された大きさを有する第２ホワイトイメージを出力するホワイト解像度変換部と、を含む、請求項３に記載のイメージ信号プロセッサ。
【請求項６】
前記要素処理部は、
前記イメージデータを用いてテクスチャ情報を抽出し、前記抽出された前記テクスチャ情報に基づいて第１処理イメージを生成する第１要素処理部と、
前記第１イメージに含まれる第１変換されたカラーピクセル値および第１変換されたホワイトピクセル値を用いて、前記第１イメージに対応する第２処理イメージを生成する第２要素処理部と、
前記第２イメージに含まれる第２変換されたカラーピクセル値および第２変換されたホワイトピクセル値を用いて、前記第２イメージに対応する第３処理イメージを生成する第３要素処理部と、を含む、請求項２に記載のイメージ信号プロセッサ。
【請求項７】
前記第１要素処理部は、
前記イメージデータのベイヤーイメージおよびホワイトイメージに基づいてテクスチャを判断し、テクスチャ情報および前記テクスチャ情報を変換した合成用イメージを出力する第１テクスチャ判定部と、
前記テクスチャ情報に基づいて、前記ホワイトイメージのピクセル値におけるノイズ低減処理を行い、ノイズ低減された第３ホワイトイメージを生成する第１ノイズ低減部と、
前記テクスチャ情報に基づいて、前記ベイヤーイメージと前記ホワイトイメージの第１色差値を算出する第１色差算出部と、を含む、請求項６に記載のイメージ信号プロセッサ。
【請求項８】
前記テクスチャ情報は、
前記ベイヤーイメージおよび前記ホワイトイメージが平坦なイメージ領域またはグラデーションイメージ領域であるかに関する情報、エッジや細い線が存在するかに関する情報、および前記細い線の方向情報のうち少なくとも１つ以上を含む、請求項７に記載のイメージ信号プロセッサ。
【請求項９】
前記第１ノイズ低減部は、
前記テクスチャ情報に基づいて、テクスチャが一定レベル以上である一部の領域と、前記テクスチャが一定レベル未満である他の一部の領域で互いに異なるノイズ低減処理を行う、請求項７に記載のイメージ信号プロセッサ。
【請求項１０】
前記第２要素処理部は、
前記第１変換されたカラーピクセル値および前記第１変換されたホワイトピクセル値に基づいてテクスチャを判断し、テクスチャ情報および前記テクスチャ情報を変換した合成用イメージを出力する第２テクスチャ判定部と、
前記テクスチャ情報に基づいて、前記第１変換されたホワイトピクセル値におけるノイズ低減処理を行い、ノイズ低減された第４ホワイトイメージを生成する第２ノイズ低減部と、
前記テクスチャ情報に基づいて、前記第１変換されたカラーピクセル値および前記第１変換されたホワイトピクセル値の第２色差値を算出する第２色差算出部と、を含む、請求項６に記載のイメージ信号プロセッサ。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、イメージ信号を処理するイメージ信号プロセッサに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、電子装置の機能が多様化するにつれ、電子装置を用いたイメージ撮影機能の向上への要求も増加している。このため、電子装置を介して取得されるイメージの品質を向上させるための技術が求められている。
【０００３】
撮像装置に用いられるイメージセンサは、センサ表面に各ピクセル単位で特定の波長成分の光（Ｒ、Ｇ、Ｂ）を透過させるカラーフィルタを取り付けた構成を有する。カラーフィルタの色配列には種々のタイプがあるが、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の特定の波長光のみを透過させる３種類のフィルタにより構成されたベイヤー配列が多く用いられている。
【０００４】
近年、イメージセンサのピクセルの微細化が進行するにつれ、各ピクセルに対する入射光量が減少し、信号対ノイズ比（ＳＮＲ；ｓｉｇｎａｌｔｏｎｏｉｓｅｒａｔｉｏ）が増加することで、イメージセンサの性能が急激に劣化し得る。このような低照度環境に対応し、フィルタの透過光率を高め、高感度化を実現するために、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）などの特定の波長光のみを透過させるフィルタの他に、ホワイト（Ｗｈｉｔｅ）が含まれたイメージセンサの活用度が高まっている。
【０００５】
すなわち、ＲＧＢチャネルに比べて比較的に信号ノイズに強い特性を有するホワイトチャネルが含まれたカラーパターンが提示されている。ホワイトチャネルは、特定の帯域の光を受光するＲＧＢチャネルに比べて全帯域の光を受光するように設計されているため、低照度環境で画像を取得しても信号ノイズが相対的に少ないという特性を有することになる。
【０００６】
ところが、ＲＧＢＷ配列は、Ｒ、Ｇ、Ｂ、Ｗフィルタをモザイク状に配列した単板型イメージセンサである。したがって、カラーイメージを生成する際には、各ピクセルに対応するＲＧＢピクセル値を生成するカラーコーディングとしてのリモザイク処理が必要である。
【０００７】
しかしながら、ホワイトピクセルを含むＲＧＢＷ配列は、ＲＧＢ配列と比較して、Ｒ、Ｇ、Ｂ成分のサンプリングレートが低下し得る。その結果、カラーイメージの生成処理時にＲＧＢＷ配列の取得データを用いた場合に偽色が発生し得る。このため、リモザイク処理段階でホワイトピクセルが破棄され、その後の段階でホワイトピクセルを活用することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の実施形態は、ホワイトピクセルを含むパターンにおいて、ホワイトピクセルをノイズ低減やデモザイク処理に活用してイメージ品質を向上できるようにするイメージ信号プロセッサを提供する。
【課題を解決するための手段】
【０００９】
本発明の実施形態に係るイメージ信号プロセッサは、カラーピクセル値およびホワイトピクセル値を含むイメージデータに基づいて２個以上のイメージを生成する解像度変換部と、２個以上のイメージそれぞれに含まれる変換されたカラーピクセル値および変換されたホワイトピクセル値を用いてテクスチャ情報を抽出し、抽出されたテクスチャ情報に基づいて２個以上の処理イメージを生成する要素処理部と、２個以上の処理イメージを合成して合成色差イメージおよび合成ホワイトイメージを生成する合成部と、イメージデータ、合成色差イメージ、および合成ホワイトイメージに基づいて出力イメージを生成するイメージ取得部と、を含むことができる。
【発明の効果】
【００１０】
本発明の実施形態は、イメージデータに含まれたノイズを低減させるとともに鮮鋭度の高いイメージを取得することができ、これにより、イメージ信号の品質を向上できるようにする効果を提供することができる。
（【００１１】以降は省略されています）

関連特許