特許ウォッチ

公開番号2024071366
公報種別公開特許公報(A)
公開日2024-05-24
出願番号2023193241
出願日2023-11-13
発明の名称斉次ニューラルネットワークを使用した色相再構成のための方法及びそのイメージ処理装置
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.
代理人個人,個人,個人
主分類H04N 23/12 20230101AFI20240517BHJP(電気通信技術)
要約【課題】斉次ニューラルネットワーク(NN)を使用した色相再構成のための方法及びそのイメージ処理装置を提供する。
【解決手段】イメージ処理方法及び装置に係り、カメラ装置のイメージセンサからイメージセンサデータを受信し、ニューラルネットワーク(NN)を使用し、イメージセンサデータに非線形色空間マッピングを適用し、イメージデータを獲得し、ここで、非線形色空間マッピングは、負ではない斉次関数を含三、イメージデータをカメラ装置のメモリに保存することができる。
【選択図】図1
特許請求の範囲【請求項１】
カメラ装置のイメージセンサからイメージセンサデータを受信する段階と、
ニューラルネットワーク（ＮＮ）を利用し、前記イメージセンサデータに、負ではない斉次関数を含む非線形色空間マッピングを適用し、イメージデータを獲得する段階と、
前記カメラ装置のメモリに前記イメージデータを保存する段階と、を含む、イメージ処理方法。
続きを表示（約 1,000 文字）【請求項２】
前記イメージセンサデータは、多重スペクトルイメージセンサデータを含むことを特徴とする請求項１に記載のイメージ処理方法。
【請求項３】
前記メモリにおいて前記イメージデータを検索する段階と、
前記イメージデータに基づき、イメージを表示する段階と、をさらに含むことを特徴とする請求項１に記載のイメージ処理方法。
【請求項４】
前記イメージデータを獲得する段階は、
前記イメージセンサデータに前記非線形色空間マッピングを適用し、前記イメージセンサデータを、第１色空間から第２色空間に変換する段階をさらに含み、
前記イメージデータは、第２色空間に基づく形式を使用して保存されることを特徴とする請求項１に記載のイメージ処理方法。
【請求項５】
前記非線形色空間マッピングを適用する前、前記イメージセンサデータに色補正を適用する段階をさらに含むことを特徴とする請求項１に記載のイメージ処理方法。
【請求項６】
前記イメージデータを保存する前、前記イメージデータに色補正を適用する段階をさらに含むことを特徴とする請求項１に記載のイメージ処理方法。
【請求項７】
前記非線形色空間マッピングは、前記イメージセンサデータを三次元色空間に変換することを特徴とする請求項１に記載のイメージ処理方法。
【請求項８】
前記非線形色空間マッピングは、前記イメージセンサデータをＣＩＥ－ＸＹＺ色空間に変換することを特徴とする請求項１に記載のイメージ処理方法。
【請求項９】
前記非線形色空間マッピングを適用する前、前記イメージセンサデータにデモザイク処理を適用する段階をさらに含むことを特徴とする請求項１に記載のイメージ処理方法。
【請求項１０】
第１色空間において、カラーサンプル及びグラウンドトゥルースイメージデータを含む訓練データを受信する段階と、
カメラ装置のセンサから、前記カラーサンプルに対応するイメージセンサデータを獲得する段階と、
ニューラルネットワーク（ＮＮ）を使用し、前記イメージセンサデータに非線形色空間マッピングを適用し、前記第１色空間において、予測イメージデータを獲得する段階と、
前記予測イメージデータと前記グラウンドトゥルースイメージデータとに基づき、前記ニューラルネットワーク（ＮＮ）の媒介変数をアップデートする段階と、を含む、イメージ処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、イメージ処理に係り、さらに具体的には、多重スペクトルイメージセンサ（ＭＩＳ）からの出力信号の色相再構成のためのシステム及びその方法に関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
多くのイメージングシステムの目標は、人間の目で認識された色相と、細部事項とを正確に再現するイメージを生成することである。実際、標準３カラーフィルタイメージセンサを使用し、場面の実際色相をキャプチャすることは、困難でもある。多重スペクトルイメージセンサ（ＭＩＳ：ｍｕｌｔｉｓｐｅｃｔｒａｌｉｍａｇｅｓｅｎｓｏｒ）システムのような追加フィルタを使用するイメージセンサでさえも、フィルタだけで人間の目の色相応答に対応することができない。
【０００３】
それを解決するために、一部システムは、センサ出力空間に変換をさらに適用し、人間の目の色相応答とさらに密接に一致する新たな色空間でイメージを生成することができる。そのような変換は、一般的に、出力空間と、必要な色空間との伝送行列である。しかしながら、該伝送行列を構成すれば、全てのセンサ設定及びフィルタ設定につき、追加開発時間がかかってしまい、該伝送行列は、ノイズ、基底関数（ｂａｓｉｓｆｕｎｃｔｉｏｎ）選択及び調整媒介変数に敏感になってしまう。それにより、具現時間を短縮させると共に、正確性及び堅固性が向上された色相変換のためのシステム及びその方法が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、センサ出力空間において、ＣＩＥ－ＸＹＺのような標準色空間マッピングのために非線形動作を適用することができる色相再構成のためのシステムとその方法とを提供することである。
【課題を解決するための手段】
【０００５】
本開示の技術的思想の一態様によるイメージ処理方法は、カメラ装置のイメージセンサからイメージセンサデータを受信する段階、ニューラルネットワーク（ＮＮ：ｎｅｕｒａｌｎｅｔｗｏｒｋ）を利用し、イメージセンサデータに、負ではない斉次関数（ｎｏｎ－ｎｅｇａｔｉｖｅｈｏｍｏｇｅｎｅｏｕｓｆｕｎｃｔｉｏｎ）を含む非線形色空間マッピングを適用し、イメージデータを獲得する段階、及びカメラ装置のメモリにイメージデータを保存する段階を含むことを特徴とする。
【０００６】
本開示の技術的思想の一態様によるイメージ処理方法は、第１色空間において、カラーサンプル及びグラウンドトゥルース（ｇｒｏｕｎｄｔｒｕｔｈ）イメージデータを含む訓練データを受信する段階、カメラ装置のセンサから、カラーサンプルに対応するイメージセンサデータを獲得する段階、ニューラルネットワークを使用し、イメージセンサデータに非線形色空間マッピングを適用し、第１色空間において、予測イメージデータを獲得する段階、及び予測イメージデータとグラウンドトゥルースイメージデータとに基づき、ニューラルネットワークの媒介変数をアップデートする段階を含むことを特徴とする。
【０００７】
本開示の技術的思想の一態様によるイメージ処理装置は、イメージセンサデータをキャプチャするように構成されたイメージセンサ、イメージデータを得るために、イメージセンサデータに非線形色空間マッピングを適用するように構成されたニューラルネットワーク、及びイメージデータを保存するように構成されたメモリを含むことを特徴とする。
【図面の簡単な説明】
【０００８】
本開示の実施形態による多重スペクトルイメージングシステムを示す図である。
本開示の実施形態による多重スペクトルイメージング装置を示す図である。
本開示の実施形態によるニューラルネットワークを示す図である。
本開示の実施形態によるイメージセンサを示す図である。
本開示の実施形態による多重スペクトルフィルタグループを示す図である。
本開示の実施形態による透過率グラフである。
本開示の実施形態による多重スペクトルフィルタを示す図である。
本開示の実施形態による多重スペクトルイメージを表示する方法を示す図である。
本開示の実施形態によるイメージセンサデータを変換する方法を示すフローチャートである。
本開示の実施形態によるイメージを表示する方法を示すフローチャートである。
本開示の実施形態によるニューラルネットワークを訓練させる方法を示すフローチャートである。
本開示の実施形態による色相再構成を示す図である。
本開示の実施形態によるニューラルネットワークを第２カメラ装置に伝送する過程を示す図である。
【発明を実施するための形態】
【０００９】
本開示による実施形態は、色相再構成のためのシステムとその方法とを提供する。一部実施形態は、センサ出力空間において、ＣＩＥ－ＸＹＺのような標準色空間にマッピングするために非線形動作を適用しうる。該非線形動作は、ノイズ、露出、及びその他環境要因にさらに強力でもある。一部実施形態は、イメージセンサデータ及びグラウンドトゥルース（ｇｒｏｕｎｄｔｒｕｔｈ）データについて訓練されたニューラルネットワーク（ＮＮ：ｎｅｕｒａｌｎｅｔｗｏｒｋ）を使用し、１以上の斉次（ｈｏｍｏｇｅｎｅｏｕｓ）関数を生成しうる。場合によっては、該ニューラルネットワークには、非線形動作に該当する複数の加重値（ｗｅｉｇｈｔ）が含まれるものでもあり、該ニューラルネットワークには、バイアス（ｂｉａｓｅｓ）が含まれないのである。
【００１０】
一部実施形態は、多重スペクトルフィルタがある多重スペクトルイメージセンサ（ＭＩＳ：ｍｕｌｔｉｓｐｅｃｔｒａｌｉｍａｇｅｓｅｎｓｏｒ）を含むものでもある。場合によっては、多重スペクトルフィルタには、多重スペクトルフィルタグループが含まれるものでもある。該多重スペクトルフィルタグループは、電磁気スペクトルの周波数帯域に対応する単位フィルタを含むものでもある。場合によっては、該単位フィルタは、可視光線スペクトルの帯域に対応しうる。１以上の実施形態において、該多重スペクトルフィルタグループは、４ｘ４アレイに配列された１６個の単位フィルタを含むものでもある。しかしながら、本開示によるシステム及びその方法は、任意のカラーフィルタに適用されうる。
（【００１１】以降は省略されています）

関連特許