特許ウォッチ

公開番号2024018454
公報種別公開特許公報(A)
公開日2024-02-08
出願番号2022121810
出願日2022-07-29
発明の名称符号化撮像装置
出願人日本放送協会
代理人個人,個人
主分類H04N 23/60 20230101AFI20240201BHJP(電気通信技術)
要約【課題】低解像度符号化画像から高解像度画像を再構成する際に、マスクされた画素領域に生じるノイズを原因とした、ダイナミックレンジの低下に伴う、画像全体の輝度レベルの低下や持ち上がりを抑制し、高解像度画像を取得し得る符号化撮像装置を得る。
【解決手段】所定の符号化パターンを表示し、被写体10の像の符号化パターンを生成する光変調器12と、被写体10の像の符号化パターンが、撮像素子14の画素サイズ以下になるように、被写体10の像の符号化パターンを収束するレンズ11と、被写体10の像の符号化パターンを撮像する撮像部14と、符号化パターンを撮像する際に、パターン形成のためにマスクされた画素領域において生じるノイズを低減する低ノイズ処理機構15A、および撮像部14で取得した低解像度符号化画像を高解像度画像に再構成する再構成計算機構15Bを含む再構成処理部15と、を備えている。
【選択図】図1

特許請求の範囲【請求項１】
所定の符号化パターンを表示し、被写体の像の符号化パターンを生成する機能を有する光変調器と、
該被写体の像の該符号化パターンが、撮像素子の画素サイズ以下になるように、該被写体の像の該符号化パターンを収束させるレンズと、
該被写体の像の該符号化パターンを撮像する該撮像素子を備えた撮像部と、
該符号化パターンを撮像する際に、パターン形成のためにマスクされた画素領域において生じるノイズを低減する低ノイズ処理機構、および前記撮像部で取得した低解像度符号化画像を高解像度画像に再構成する再構成計算機構を含む再構成処理部と、
を備えたことを特徴とする符号化撮像装置。
続きを表示（約 1,200 文字）【請求項２】
前記再構成処理部は、前記低ノイズ処理機構により前記ノイズを低減する処理を行った後、前記再構成計算機構により前記低解像度符号化画像を前記高解像度画像に再構成する処理を行うように構成されていることを特徴とする請求項１に記載の符号化撮像装置。
【請求項３】
前記光変調器に全画素をＯＦＦ状態にしたパターンを表示し、このパターンを、前記撮像部で撮像することにより、該光変調器の画素領域の全消灯時における低解像度画像Ｙ
OFF
を撮像するように構成されているとともに、該光変調器の画素領域を所定の画素数のブロックに分割し、各ブロック毎に所定数の画素をＯＮ状態にしたパターンを順次前記光変調器に表示して、各パターンについての低解像度符号化画像を撮像するように構成されていることを特徴とする請求項２に記載の符号化撮像装置。
【請求項４】
前記低ノイズ処理機構において、前記所定の符号化パターンに応じて取得された前記低解像度符号化画像の２値を反転してから、前記ノイズを低減する処理を行うことを特徴とする請求項３に記載の符号化撮像装置。
【請求項５】
前記再構成処理部は、前記再構成計算機構により前記低解像度符号化画像を前記高解像度画像に再構成する処理を行った後、前記低ノイズ処理機構により前記ノイズを低減する処理を行うように構成されていることを特徴とする請求項１に記載の符号化撮像装置。
【請求項６】
前記光変調器に全画素をＯＮ状態にしたパターンを表示し、このパターンを、前記撮像部で撮像することにより、該光変調器の画素領域の全点灯時における低解像度画像Ｙ
ON
を撮像するように構成されているとともに、該光変調器の画素領域を所定の画素数のブロックに分割し、各ブロック内毎に所定数の画素をＯＮ状態にしたパターンを順次前記光変調器に表示して、各パターンについての低解像度符号化画像を撮像するように構成されていることを特徴とする請求項５に記載の符号化撮像装置。
【請求項７】
前記被写体の像情報を担持した光が、前記所定の符号化パターンを表示してなる前記光変調器に照射され、該光変調器から出射された、前記被写体の像の符号化パターン情報を担持した光が前記撮像部で撮像されるように構成されていることを特徴とする請求項１～６のうちいずれか１項に記載の符号化撮像装置。
【請求項８】
前記所定の符号化パターンを表示してなる前記光変調器からの、所定の符号化パターン情報を担持してなる光が、前記被写体に照射され、該被写体から出射された、前記被写体の像の符号化パターン情報を担持した光が前記撮像部で撮像されるように構成されていることを特徴とする請求項１～６のうちいずれか１項に記載の符号化撮像装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、超解像技術を利用して高解像度画像を取得する符号化撮像装置に関するものである。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
低解像度画像から高解像度画像を作り出す技術として超解像技術が知られている。
超解像技術の手法としては、例えば図１２に示すように、被写体からの光（輝度情報）（ａ）を、複数枚のパターンを表示させた光変調器に照射して光学的に変調し、この光変調器からの、種々の符号化パターンを担持した被写体像（ｂ）をカメラで撮像し、撮像された複数枚の低解像度符号化画像（ｃ）を計算機によって高解像度画像（ｄ）に再構成する技術が知られている。
【０００３】
上述した、低解像度符号化画像（ｃ）を計算機によって高解像度画像（ｄ）に再構成する処理は、逆問題Ｙ＝ＡＸを解くことにより行われる。
すなわち、低解像度符号化画像（ｃ）をＹとし、光学系での符号化、リサンプリング情報を表す超解像ファクターをＡとし、光学系に即した方程式Ｙ＝ＡＸを解き、高解像度画像（ｄ）であるＸを得る。
【０００４】
また、一般に連立方程式において未知数を求めるためには未知数の個数以上の条件式の個数が必要であるが、未知数がスパース（疎）である場合には、未知数の個数未満の条件式によっても、未知数を推定することができる。この手法は圧縮センシングの技術として知られており、この技術を用いることにより、撮像する画像枚数を削減することが可能となる。
【０００５】
画像においては、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）、離散ウェーブレット変換（Discrete Wavelet Transform：ＤＷＴ）、離散フーリエ変換（Discrete Fourier Transform：ＤＦＴ）等の、何らかの情報量を圧縮し得る基底を用い、周波数成分への変換を行うことで、未知数にスパース性をもたせることができる。
このように、再構成処理に圧縮センシングの技術を用いて得られたスパースな解を逆ＤＣＴ、逆ＤＷＴあるいは逆ＤＦＴの処理を行うことで、高解像度画像を再構成することができる。
【０００６】
ところで、実際の光学系では、撮像素子のノイズや、光学系における迷光等によるノイズが存在しており、これらのノイズが過大となると、再構成された高解像度画像の品質が大幅に低下してしまう。
その主要因は、再構成処理で使用する超解像ファクターと、実際の光学系や撮像系との乖離にあり、そのノイズを低減するために、信号処理によりノイズ低減を行う手法と、光学系や撮像系のハードに着目してノイズ低減を行う手法が知られている。
【０００７】
例えば、下記非特許文献１に記載の技術は、多数の微小なミラーを格子状に配置し、ミラー毎に反射のＯＮ、ＯＦＦを切替え可能とした光変調器であるデジタルマイクロミラーデバイス（以下、ＤＭＤと称する）を利用して、被写体からの光を符号化している。これにより、超解像の再構成計算を行う際に圧縮センシングの技術を用いてハイパーパラメーターを調整し、周波数領域に表れるポアソン分布に従うノイズを除去することができる。
【０００８】
また、光学系をセットアップする際には、光変調器として使用するＤＭＤとカメラを画素レベルで正確に位置合わせすることで、位置ずれに起因するノイズを低減できる。例えば、下記特許文献１に記載の技術は、ＤＭＤとカメラの位置合わせを、モアレ縞を用いてサブピクセルレベルで行う手法である。この手法を用いることで、連立方程式のリサンプリングによって生じるノイズを低減することができる。
【０００９】
さらに、下記非特許文献２に記載の技術は、再構成処理を行う際に、光変調器として使用するＤＭＤとカメラのピクセルの位置ずれを補償するリサンプリングファクターを用いて、ピクセル間の位置ずれに起因するノイズの低減を図る手法である。
【先行技術文献】
【特許文献】
【００１０】
特許第３９３７０２４号
【非特許文献】
（【００１１】以降は省略されています）

関連特許