特許ウォッチ

公開番号2024082644
公報種別公開特許公報(A)
公開日2024-06-20
出願番号2022196621
出願日2022-12-08
発明の名称撮像装置及び撮像方法
出願人日本放送協会
代理人個人,個人,個人,個人
主分類G06T 3/4053 20240101AFI20240613BHJP(計算;計数)
要約【課題】符号化パターンやカメラの解像度以上の高解像度画像を生成できる、撮像装置及び撮像方法を提供する。
【解決手段】撮像装置は、撮像対象物の像を符号化パターンに基づいて空間的に強度変調する光変調器と、前記撮像対象物の像と撮像部の画素の相対的な位置関係をシフトさせて、前記符号化パターンで符号化された前記撮像対象物の像を低解像度画像として取得する第1撮像部と、前記撮像対象物の像と撮像部の画素の相対的な位置関係を前記第1撮像部とは異なる状態にシフトさせて、前記符号化パターンを反転したパターンで符号化された前記撮像対象物の像を低解像度画像として取得する第2撮像部と、圧縮センシングにより前記低解像度画像及び前記符号化パターンよりも高解像度の前記撮像対象物の像を生成する画像生成部と、を備えることを特徴とする。
【選択図】図1
特許請求の範囲【請求項１】
複数の撮像部により低解像度画像を取得し、高解像度画像を生成する撮像装置であって、
撮像対象物の像を符号化パターンに基づいて空間的に強度変調する光変調器と、
符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係をシフトさせて、前記符号化パターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第１撮像部と、
符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を前記第１撮像部とは異なる状態にシフトさせて、前記符号化パターンを反転したパターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第２撮像部と、
少なくとも、前記低解像度画像、符号化された前記撮像対象物の像に対する前記第１撮像部及び前記第２撮像部の位置関係、前記第１撮像部及び前記第２撮像部のリサンプリングの情報、及び前記符号化パターンに基づいて、圧縮センシングにより前記符号化パターンよりも高解像度の前記撮像対象物の像を生成する画像生成部と、
を備えることを特徴とする、撮像装置。
続きを表示（約 1,600 文字）【請求項２】
請求項１に記載の撮像装置において、
前記第１撮像部と前記第２撮像部は、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を、前記符号化パターンのピッチよりも小さい単位で縦方向及び横方向にシフトさせることを特徴とする、撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記第１撮像部と前記第２撮像部の画素ピッチは前記符号化パターンのピッチの２倍であり、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係の縦横のシフトは、前記符号化パターンのピッチの半分であることを特徴とする、撮像装置。
【請求項４】
請求項２に記載の撮像装置において、
さらに、第３撮像部と第４撮像部を備え、
前記第１撮像部乃至前記第４撮像部の画素ピッチは前記符号化パターンのピッチの４倍であり、符号化された前記撮像対象物の像と前記第１撮像部の画素の相対的な位置関係の縦横のシフトは前記符号化パターンのピッチの半分であり、前記第１撮像部と前記第２撮像部、前記第２撮像部と前記第３撮像部、及び前記第３撮像部と前記第４撮像部の相対的な位置関係の縦横のシフトは前記符号化パターンのピッチと同じであることを特徴とする、撮像装置。
【請求項５】
請求項１に記載の撮像装置において、
前記第１撮像部及び前記第２撮像部の少なくとも一方に取り付けたステージ、又は、前記第１撮像部及び前記第２撮像部の少なくとも一方と前記光変調器との間に配置した光路変調素子により、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を制御することを特徴とする、撮像装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の撮像装置において、
前記高解像度画像を、離散コサイン変換、離散ウェーブレット変換、離散フーリエ変換、あるいは辞書学習により求めた二次元基底関数とその係数成分に分解し、前記画像生成部において、撮像装置の光学系を表す線形方程式からなる最適化問題を解き、前記低解像度画像から前記高解像度画像の二次元基底関数に対応する係数成分を求めることで、高解像度の前記撮像対象物の像を生成することを特徴とする、撮像装置。
【請求項７】
撮像対象物の像を符号化パターンに基づいて空間的に強度変調する符号化ステップと、
符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係をシフトさせて、前記符号化パターンで符号化された前記撮像対象物の像を、前記符号化パターンより解像度が低い低解像度画像として取得する第１の低解像度画像取得ステップと、
符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を前記第１の低解像度画像取得ステップとは異なる状態にシフトさせて、前記符号化パターンを反転したパターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第２の低解像度画像取得ステップと、
少なくとも、前記低解像度画像、前記第１及び第２の低解像度画像取得ステップにおける相対的な位置関係、前記第１及び第２の低解像度画像取得ステップにおけるリサンプリングの情報、及び前記符号化パターンから、圧縮センシングにより前記符号化パターンよりも高解像度の前記撮像対象物の像を生成する画像生成ステップと、を備えることを特徴とする、撮像方法。
【請求項８】
請求項７に記載の撮像方法において、
前記第１の低解像度画像取得ステップと前記第２の低解像度画像取得ステップは、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を、前記符号化パターンのピッチよりも小さい単位で縦方向及び横方向にシフトさせて、それぞれ前記低解像度画像を取得することを特徴とする、撮像方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関し、特に、圧縮センシングを利用した超解像を行う撮像装置及び撮像方法に関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
超解像技術は、低画素の画像から高画素の画像を作り出す技術であり、４Ｋや８Ｋ技術の発展に伴い、高解像度化に対応するためにさまざまなデジタルデバイスで利用される技術である。その手法も多様であるが、一般的なものとして、低解像度の画像を複数用意し、サブピクセルレベルで位置合わせをすることで高解像度の画像データを作る手法が挙げられる。例えば３２×３２画素の画像を縦横に半画素ずつずらしてサンプリングした４枚の画像があれば、６４×６４画素の画像を生み出すことができる。多画素化に伴いカメラ（撮像素子）の画素サイズの微細化が光の回折限界によって制限されるほど進んでいるため、撮像においても超解像技術が近年発達している。
【０００３】
前述のように、超解像では高解像度化の程度によって低解像度画像を複数枚必要とするため、撮像においてはフレームレートの低下が問題となる。そのため、少ない低解像度画像から圧縮センシング（Compressive Sensing）によって超解像された高解像度画像を生成する手法が提案されている。画像の場合には、ＤＣＴ（Discrete Cosine Transform，離散コサイン変換）やＤＷＴ（Discrete Wavelet Transform，離散ウェーブレット変換）といった処理をすることで情報を圧縮できることが知られているように、何らかの基底によりスパース（疎）な空間に変換することができるため、圧縮センシングを適用することが可能である。一般に連立方程式は、未知数以上の条件式が無ければ解を求めることができないのに対し、圧縮センシングにおいては、条件式数が少ない場合であっても、スパースであるという仮定の下であれば解を推定できる。画像の超解像においては、画像を１次元の信号として取り扱えば、未知数は「高解像度画像の画素数」であり、条件式数は「低解像度画像の画素数」と「異なる条件下で符号化した低解像度画像の枚数」の積とおける。解は「高解像度画像の画素値」であるが、前述したＤＣＴやＤＷＴによってスパースな値である係数成分（ＤＣＴ成分やＤＷＴ成分）に変換できるため、圧縮センシングによって解を求めることができる。最後に推定解を逆ＤＣＴや逆ＤＷＴすれば、高解像度画像が再構成できる。
【０００４】
従来から、超解像処理を高性能化するために様々な提案がなされており、例えば、画素の受光感度分布をランダムにする手法が提案されている（非特許文献１）。非特許文献１では、超解像における解像度がカメラの画素形状に依存することに着目し、被写体を符号化するために画素サイズよりも細かいトナー粉をセンサー上にランダムに振りまき、被写体とカメラの相対的な位置関係を変えながら２０枚の低解像度画像（１２０×１００）を撮影し、ＤＷＴによるスパース性を使った圧縮センシングによって、高解像度画像（１６００×１２００）を生成している。本手法では、トナー粉のサイズと、カメラの位置シフト量が再構成される高解像度画像の画素数を決定している。
【０００５】
ＤＭＤ（デジタルマイクロミラー）にランダムなパターンを表示させることで、ＤＭＤに入射する像を符号化し、超解像を行うことも提案されている（非特許文献２、非特許文献３）。非特許文献２では、縦横各６４倍の超解像をしている。圧縮センシングにより、４０９６枚のパターン数（撮影枚数）が本来必要なのに対し、１６００枚や２７００枚で画像を再構成させている。また、非特許文献３では、縦横各４倍超解像を行い、パターン数が１枚から１６枚までの場合についてそれぞれの再構成画像を比較している。これらの手法では、ＤＭＤの画素数（符号化パターンの解像度）が高解像度画像の画素数を決定している。
【先行技術文献】
【非特許文献】
【０００６】
笹尾朋貴、日浦慎作、佐藤宏介、“画素形状のランダム符号化に基づく超解像”、電子情報通信学会論文誌 D、Vol.J96-D No.8、(2013)、pp.1778-1789
D. Takhar et al. “A New Compressive Imaging Camera Architecture using Optical-Domain Compression,” Electronic Imaging, (2006)
J. Flake et al. “Experimental study of super-resolution using a compressive sensing architecture,” Proceedings of SPIE, (2014)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１の手法では、トナー粉の位置が固定されておりシーケンシャルに変調できないため、符号化条件を変えるためにカメラの位置を物理的に複数回移動させる必要がある。このため符号化像の取得に時間がかかり、高速化のボトルネックとなる。加えて、トナー粉により光が遮光される形での符号化であり、光の利用効率がトナー粉の量に応じて低下するという課題がある。
【０００８】
非特許文献２及び非特許文献３の手法では、ＤＭＤを用いることで任意のパターンによる符号化が可能となっている。ＤＭＤはマイクロミラーが二次元に並べられたものであり、各ミラーをそれぞれＯＮ状態かＯＦＦ状態のいずれかに高速に制御できるが、符号化された光のうち、ＯＮ画素（あるいはＯＦＦ画素）の光のみをカメラで取得する。片方の光を取得するため光の利用効率はトナー粉を利用した場合と同等であり、ＤＭＤの１パターンごとに１枚の低解像度画像を取得することから、低解像度画像の取得に長時間かかってしまう。
【０００９】
なお、非特許文献１では、超解像にあたって使用される高解像度情報が、［１］画素サイズよりも細かいトナー粉（符号化パターン）及び［２］カメラの位置シフト量の２つのパラメーターに依存するのに対し、非特許文献２及び非特許文献３ではＤＭＤのマイクロミラーのサイズに依存する。すなわち、非特許文献１の手法では、位置シフト量の精度にはよるが原理上は任意の解像度の画像に超解像でき、非特許文献２及び３においてはマイクロミラーの解像度よりも高解像度の画像を超解像することはできない。
【００１０】
従来技術の超解像における、カメラ、符号化パターン、及び再構成（超解像）される高解像度画像の解像度の関係を、図１８～図２０の例を用いて説明する。ここでは、カメラと符号化パターンの各画素サイズは、符号化パターンの４つのピクセル（例えば、ＤＭＤのミラー）がカメラの１ピクセル（画素）に相当する関係となっている。
（【００１１】以降は省略されています）

関連特許