特許ウォッチ

公開番号2024125791
公報種別公開特許公報(A)
公開日2024-09-19
出願番号2023033857
出願日2023-03-06
発明の名称撮像装置
出願人株式会社デンソー,トヨタ自動車株式会社,株式会社ミライズテクノロジーズ
代理人弁理士法人快友国際特許事務所
主分類H04N 23/60 20230101AFI20240911BHJP(電気通信技術)
要約【課題】ボケ補正処理の精度を高めつつ、演算負荷を軽減することが可能な技術を提供する。
【解決手段】撮像装置(10)は、レンズ(16)を含む光学系(18)を介して撮影した画像を示す画像データを出力する撮像素子(20)と、ボケ補正処理部(26)を備えている。ボケ補正処理部は、(a)切出画像データを取得する処理と、(b)補正後の切出画像データを算出する処理と、(c)再構成画像データを取得する処理と、(d)演算範囲と、フィルタと、再構成範囲を変更して、(a)-(c)の処理を繰り返し実行する処理と、(e)補正後の画像データを取得する処理と、を実行するように構成されている。演算範囲の位置および形状が、対応する再構成範囲の位置および形状と、対応する再構成範囲に含まれる画素の位置に対応したPSF(Point Spread Function)の大きさに応じて設定される。
【選択図】図6
特許請求の範囲【請求項１】
レンズ（１６）を含む光学系（１８）を介して撮影した画像を示す画像データを出力する撮像素子（２０）と、
ボケ補正処理部（２６）を備えており、
前記ボケ補正処理部は、
（ａ）前記画像データから演算範囲に含まれる画素のデータを切り出して、切出画像データを取得する処理と、
（ｂ）前記切出画像データに対してフィルタを用いたボケ補正処理を実行して、補正後の切出画像データを算出する処理と、
（ｃ）前記補正後の切出画像データから再構成範囲に含まれる画素のデータを切り出して、再構成画像データを取得する処理と、
（ｄ）前記演算範囲と、前記フィルタと、前記再構成範囲を変更して、前記（ａ）－（ｃ）の処理を繰り返し実行する処理と、
（ｅ）複数回の前記（ｃ）の処理によって取得された複数の前記再構成画像データを結合して、補正後の画像データを取得する処理と、
を実行するように構成されており、
前記演算範囲の位置および形状が、対応する前記再構成範囲の位置および形状と、対応する前記再構成範囲に含まれる画素の位置に対応したＰＳＦ（Point Spread Function）の大きさに応じて設定される、撮像装置（１０）。
続きを表示（約 280 文字）【請求項２】
前記演算範囲の中心位置が、対応する前記再構成範囲の中心位置からオフセットしている、請求項１に記載の撮像装置。
【請求項３】
前記再構成範囲に含まれる任意の２つの画素のそれぞれの位置に対応した前記ＰＳＦの間の誤差が、所定のしきい値を下回る、請求項２に記載の撮像装置。
【請求項４】
前記光学系が、光軸に対して対称な特性を有する、請求項１に記載の撮像装置。
【請求項５】
前記撮像素子の受光面（２０ａ）が、前記光軸から離れるほど、前記レンズ側に近づく湾曲形状を有する、請求項４に記載の撮像装置。

発明の詳細な説明【技術分野】
【０００１】
本明細書に開示の技術は、撮像装置に関する。
続きを表示（約 2,100 文字）【０００２】
特許文献１には、撮像装置が開示されている。この撮像装置では、画像を一律のサイズに分割して、分割画像のそれぞれに対してフィルタを用いたボケ補正処理を行う。
【先行技術文献】
【特許文献】
【０００３】
特許第７０２７７３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像を一律のサイズに分割して、分割画像のそれぞれに対してボケ補正処理を行う場合、ボケの度合いが小さい箇所に合わせたサイズで画像を分割すると、ボケの度合いが大きい箇所についてはボケ補正処理の精度が低下してしまう。逆に、ボケの度合いが大きい箇所に合わせたサイズで画像を分割すると、ボケの度合いが小さい箇所については演算負荷が過剰なものとなってしまう。本明細書では、ボケ補正処理の精度を高めつつ、演算負荷を軽減することが可能な技術を提供する。
【課題を解決するための手段】
【０００５】
本明細書が開示する撮像装置は、レンズを含む光学系を介して撮影した画像を示す画像データを出力する撮像素子と、ボケ補正処理部を備えている。前記ボケ補正処理部は、（ａ）前記画像データから演算範囲に含まれる画素のデータを切り出して、切出画像データを取得する処理と、（ｂ）前記切出画像データに対してフィルタを用いたボケ補正処理を実行して、補正後の切出画像データを算出する処理と、（ｃ）前記補正後の切出画像データから再構成範囲に含まれる画素のデータを切り出して、再構成画像データを取得する処理と、（ｄ）前記演算範囲と、前記フィルタと、前記再構成範囲を変更して、前記（ａ）－（ｃ）の処理を繰り返し実行する処理と、（ｅ）複数回の前記（ｃ）の処理によって取得された複数の前記再構成画像データを結合して、補正後の画像データを取得する処理と、を実行するように構成されている。前記演算範囲の位置および形状が、対応する前記再構成範囲の位置および形状と、対応する前記再構成範囲に含まれる画素の位置に対応したＰＳＦ（Point Spread Function）の大きさに応じて設定される。
【０００６】
画像データにおける画素ごとのボケの度合いは、それぞれの画素の位置に対応したＰＳＦ（Point Spread Function）の大きさに応じたものとなる。なお、本明細書でいうＰＳＦの大きさとは、ＰＳＦの広がりの度合いを示す指標のことをいう。例えばＰＳＦが輝度の分布として示される場合には、ＰＳＦの大きさは輝度が所定のしきい値以上となる範囲の広さを意味する。上記の構成によれば、演算範囲の位置および形状が、再構成範囲の位置および形状と、再構成範囲に含まれる画素の位置に対応したＰＳＦの大きさに応じて設定されるので、それぞれの切出画像データのサイズを、その箇所でのボケの度合いに合わせたものとすることができる。このような構成とすることによって、ボケ補正処理の精度を高めつつ、演算負荷を軽減することができる。
【図面の簡単な説明】
【０００７】
実施例の撮像装置１０の全体構成を模式的に示す図である。
実施例の撮像装置１０においてボケ補正処理部２６が行う処理のフローチャートである。
実施例の撮像装置１０において、補正前の画像データから、補正後の画像データが生成される様子を模式的に示す図である。
実施例の撮像装置１０における光学系１８を模式的に示す図である。
実施例の撮像装置１０における中心からの画素数とＰＳＦの大きさの関係を示すグラフである。
実施例の撮像装置１０における再構成範囲と演算範囲を模式的に示す図である。
【発明を実施するための形態】
【０００８】
本明細書が開示する一例の撮像装置では、前記演算範囲の中心位置が、対応する前記再構成範囲の中心位置からオフセットしていてもよい。
【０００９】
再構成範囲に含まれる画素の位置に対応したＰＳＦの大きさは、一定ではなく、ある程度のばらつきが存在する。このため、再構成範囲に含まれる画素のうち、その位置に対応したＰＳＦが大きい画素の近傍では演算範囲を大きく設定し、その位置に対応したＰＳＦが小さい画素の近傍では演算範囲を小さく設定した場合、演算範囲の中心位置は再構成範囲の中心位置からオフセットすることになる。上記の構成によれば、再構成範囲に含まれる画素の位置に対応したＰＳＦのばらつきに応じた演算範囲を設定することができる。
【００１０】
本明細書が開示する一例の撮像装置では、前記再構成範囲に含まれる任意の２つの画素のそれぞれの位置に対応した前記ＰＳＦの間の誤差が、所定のしきい値を下回ってもよい。なお、ＰＳＦの誤差としては、例えば平均二乗誤差（Mean Squared Error）を用いてもよいし、平均絶対誤差（Mean Absolute Error）を用いてもよいし、ＰＳＦの大きさの差を用いてもよい。
（【００１１】以降は省略されています）

関連特許