特許ウォッチ

公開番号2024077420
公報種別公開特許公報(A)
公開日2024-06-07
出願番号2022189510
出願日2022-11-28
発明の名称撮像装置
出願人日本放送協会
代理人個人,個人,個人,個人
主分類H04N 23/951 20230101AFI20240531BHJP(電気通信技術)
要約【課題】符号化像の画素情報の欠損を無くすることと、再構成画像間のクロストークを低減することを両立し、再構成画像の画質を向上することができる撮像装置を提供する。
【解決手段】符号化撮像画像から時間軸に沿った複数枚の画像を復元する撮像装置は、被写体像を分割して、各分割光を符号化パターンで複数回変調し、複数の符号化像を生成する光変調部と、分割光ごとに、複数の前記符号化像を1回の露光で取得し、前記符号化撮像画像を生成する撮像部と、前記符号化撮像画像及び前記符号化パターンに基づいて、時間軸に沿った符号化パターン枚数分の画像を再構成する再構成処理部と、を備えることを特徴とする。
【選択図】図1
特許請求の範囲【請求項１】
符号化撮像画像から時間軸に沿った複数枚の画像を復元する撮像装置であって、
被写体像を複数の分割光に分割して、各分割光を符号化パターンで複数回変調し、複数の符号化像を生成する光変調部と、
前記分割光ごとに、複数の前記符号化像を１回の露光で取得し、前記符号化撮像画像を生成する撮像部と、
前記符号化撮像画像及び前記符号化パターンに基づいて、時間軸に沿った符号化パターン枚数分の画像を再構成する再構成処理部と、
を備えることを特徴とする、撮像装置。
続きを表示（約 680 文字）【請求項２】
請求項１に記載の撮像装置において、
前記光変調部は、複数の前記分割光のうち、少なくとも２つの前記分割光を、互いに相補的な符号化パターンで変調することを特徴とする、撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記光変調部は、入射光を２つに分割してそれぞれを相補的な符号化パターンで変調する分割・符号化部を多段に接続して構成されることを特徴とする、撮像装置。
【請求項４】
請求項２に記載の撮像装置において、
前記光変調部は、デジタルマイクロミラーデバイスで構成されることを特徴とする、撮像装置。
【請求項５】
請求項２に記載の撮像装置において、
前記光変調部は、ビームスプリッター及び空間光変調器で構成されることを特徴とする、撮像装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の撮像装置において、
前記再構成処理部は、再構成する画像を、離散コサイン変換、離散ウェーブレット変換、離散フーリエ変換、又は辞書学習で求めた基底関数により画素成分に変換して、前記画素成分を推定する線形方程式を最適化問題により解を求めることで、再構成画像を生成することを特徴とする、撮像装置。
【請求項７】
請求項１乃至５のいずれか一項に記載の撮像装置において、
前記再構成処理部は、圧縮センシング、ＣＧＩ(計算機ゴーストイメージング)、又は機械学習を用いて、画像を再構成することを特徴とする、撮像装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は撮像装置に関し、特に、符号化パターンを利用した撮像装置に関する。
続きを表示（約 3,200 文字）【背景技術】
【０００２】
近年、カメラのフレームレート以上の動画を取得する手法の１つとして、符号化パターンを用いた高フレームレート動画撮影技術の開発が進んでいる。この技術では、被写体とカメラの間に符号化パターンを挿入し、符号化パターンを通して被写体を撮影する。カメラの１回の露光中に符号化パターンを一定時間ごとに複数回変化させて被写体像を変調し、複数の符号化された像（符号化像）を１回の露光で撮影して符号化撮像画像を取得する。１枚の符号化撮像画像と複数枚の符号化パターンから計算機で像を再構成処理することで、１枚の符号化撮像画像から符号化パターン枚数分の画像を時間軸に沿って復元でき、カメラのフレームレート以上の動画を取得することができる。
【０００３】
この再構成処理では、逆問題Ｙ＝ＡＸを解くことが行われている。カメラで取得した画像をＹ、符号化パターンを用いて表される高フレームレートファクターをＡとし、光学系に即した方程式Ｙ＝ＡＸを解くことでパターン枚数分の画像情報Ｘを得ることができ、高フレームレート化が行える。
【０００４】
上述の方程式を解くにあたっては、方程式の条件式数が未知数未満であるため、計算には圧縮センシングが用いられている。圧縮センシングとは、一般に連立方程式において未知数を求めるためには未知数の個数以上の条件式が必要である一方で、未知数がスパース（疎）である場合、条件式が未知数の個数以下の場合でも未知数を推定することができる手法である。画像の場合、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）、離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）などの、何らかの情報量が圧縮できる基底を用い、周波数成分に変換することで未知数にスパース性をもたせることができる。そして、圧縮センシングを用いて得られたスパースな解を逆ＤＣＴ、逆ＤＷＴ、逆ＤＦＴ等の変換処理を行うことで、時間軸に沿った符号化パターン枚数分の画像を再構成できる。
【０００５】
従来より、再構成画像の画質向上に向けて、符号化パターンの重畳方法と再構成処理について様々な手法が試みられている。例えば、固定パターンマスクを光軸に直交する方向に機械的に動かして被写体に符号化パターンを与える方法がある（非特許文献１）。図１２は、非特許文献１に記載の従来技術の撮像装置の構成例である。被写体からの光をレンズ１で集光し、符号化パターンマスク（Coded Aperture）２に結像する。符号化パターンマスク２は、例えばピエゾ素子（図示せず）により光軸に直交する方向に移動し、被写体の像に符号化パターンを与える。符号化された像は、レンズ３によりカメラ４に結像する。演算処理装置５は、得られた撮像画像と符号化パターンに基づいて、画像を再構成する。非特許文献１では、ＤＣＴ基底を用いたスパース推定により画像を再構成している。
【０００６】
非特許文献２は、空間光位相変調器に符号化パターンを表示して被写体像を変調する手法を提案している。非特許文献２は、辞書学習により非特許文献１よりも解をスパースに与えられる基底を用いてスパース推定して画像を再構成している。また、非特許文献３は、デジタルマイクロミラーデバイス（ＤＭＤ）を用いて被写体像に符号化パターンを与える手法を開示している。非特許文献３は、深層学習により画像を再構成している。非特許文献４は、光電変換部１画素から出力される信号を２つのメモリーに記録する回路部を有するイメージセンサーを用いてカメラを構成している。１度の露光中に双方のメモリーへ複数回適宜切り替えながら信号量を記録することで、イメージセンサー側で被写体像に相補的な符号化パターンを与えている。
【先行技術文献】
【非特許文献】
【０００７】
Patrick Llull, et al. ,“Coded aperture compressive temporal imaging”, Optics Express, Vol.21, No.9, pp.10526-10545, (2013)
Dengyu Liu, et al. ,“Efficient Space-Time Sampling with Pixel-Wise Coded Exposure for High-Speed Imaging”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.36, No.2, pp.248-260, (2013)
Mu Qiao, et al. ,“Deep learning for video compressive sensing”, APL Photonics, Vol.5, No.3, 030801, (2020)
Rahul Gulve, et al. ,“A 39,000 Subexposures/s CMOS Image Sensor with Dual-tap Coded-exposure Data-memory Pixel for Adaptive Single-shot Computational Imaging”, 2022 IEEE Symposium on VLSI Technology and Circuits, Digest of Technical Papers pp.78-79, (2022)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
非特許文献１～３では１つの符号化像を生成し、１台のカメラで符号化像を撮影している。そのため、被写体の符号化パターンによってマスクされた箇所の情報は符号化像では欠損し、再構成の際に推定することで欠損個所の情報を復元しているが、画質の低下は免れない。また、画質向上の目的で符号化パターンのマスク箇所を減少させて符号化像の欠損を減らすと、符号化パターン１枚に対して取得できる情報量は増加する一方で、符号化パターン同士の類似度が高くなるため、パターン間の分離性が低下して、再構成画像間のクロストークが増加する。
【０００９】
図１３は、従来技術による、パターンマスクの開口率と再構成画像の関係を示す図である。具体的には、非特許文献１に記載の手法により、符号化パターンを４枚として、画像の復元（再構成）を行った。（ａ）は真値（元の被写体の画像）であり、（ｂ）は符号化パターンの開口率を５０％としたときの再構成画像をシミュレーションで求めたものである。また、（ｃ）は開口率を１００％としたときの再構成画像をシミュレーションで求めたものである。開口率５０％では画質が低く、開口率１００％（全透過）では画像が分離できないことが見て取れる。
【００１０】
一方、非特許文献４のイメージセンサーは、画素数が３２０×３２０であり、ＱＶＧＡ（Quarter Video Graphics Array）以下の規格での撮影しか行えず、表示規格との兼ね合いから用途は限定的となる。撮影には特別なカメラを使用するため、画素数の変更等も容易ではない。また、１画素に対して２個のメモリーを配置しているため、被写体像に同時に３パターン以上の符号化パターンを与えることができない。
（【００１１】以降は省略されています）

関連特許