特許ウォッチ

公開番号2024166790
公報種別公開特許公報(A)
公開日2024-11-29
出願番号2023083131
出願日2023-05-19
発明の名称デプスマップの生成装置、生成方法、及びプログラム
出願人株式会社ジャパンディスプレイ
代理人弁理士法人はるか国際特許事務所
主分類G06T 7/55 20170101AFI20241122BHJP(計算;計数)
要約【課題】デプスマップに表示されるデプスの精度を向上することができるデプスマップ生成装置を提供する。
【解決手段】液晶パネル、撮像素子及びレンズの他に、制御部と、記憶部と、入力部とを有するデスマップ生成装置において、制御部の画素選択部11dは、開口パターンに対応する点広がり関数(PSF)を利用して、キャプチャ画像と、キャプチャ画像から再生された参照デプス復元画像と、に基づいて、参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各画素について算出する。画素選択部11dは、画素走査方向に沿って並ぶ画素の乖離値の変化に基づいて、デプス表示画素を選択する。
【選択図】図3
特許請求の範囲【請求項１】
符号化開口を通してキャプチャされたキャプチャ画像から、それぞれがデプスを表す複数の画素を含むデプスマップを生成するデプスマップの生成装置であって、
前記複数の画素についてデプスを算出するデプス算出部と、
前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択部と、
予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶している記憶部と
を含み、
前記画素選択部は、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素を選択する
デプスマップの生成装置。
続きを表示（約 2,000 文字）【請求項２】
前記記憶部は、離散的に設定された複数の参照デプスにそれぞれ対応し且つ前記符号化開口の開口パターンに対応している複数のＰＳＦを記憶し、
前記複数の参照デプスは、少なくとも、第１参照デプスと第２参照デプスとを含み、
前記複数のＰＳＦは、第１参照デプスに対応している第１ＰＳＦと、第２参照デプスに対応している第２ＰＳＦとを含み、
前記画素選択部は、
前記第１ＰＳＦを利用して前記キャプチャ画像から再生された第１参照デプス復元画像と、前記キャプチャ画像とに基づいて、前記第１参照デプスと実際のデプスとの乖離度合いを表す第１乖離値を、各画素について算出し、
所定の方向に沿って並ぶ画素の前記第１乖離値の変化に基づいて、１又は複数の画素を第１候補画素として選択し、
前記第２ＰＳＦを利用して前記キャプチャ画像から再生された第２参照デプス復元画像と、前記キャプチャ画像とに基づいて、前記第２参照デプスと実際のデプスとの乖離度合いを表す第２乖離値を、各画素について算出し、
前記所定の方向に沿って並ぶ前記画素の前記第２乖離値の変化に基づいて、１又は複数の画素を第２候補画素として選択し、
前記第１候補画素と前記第２候補画素とが所定の条件を満たす場合に、前記第１候補画素と前記第２候補画素とを前記デプス表示画素として選択する
請求項１に記載されるデプスマップの生成装置。
【請求項３】
前記候補画素は、前記所定の方向に沿って並ぶ前記画素の前記乖離値の極大を与える画素である
請求項１に記載されるデプスマップの生成装置。
【請求項４】
前記画素選択部は、複数の参照デプス復元画像から、前記第１候補画素と前記第２候補画素とを含む複数の候補画素をそれぞれ選択し、
前記画素選択部は、前記複数の候補画素に含まれる所定数の候補画素の位置が一致しているときに、その一致している候補画素を前記デプス表示画素として選択する
請求項２に記載されるデプスマップの生成装置。
【請求項５】
前記符号化開口は第１開口パターンと第２開口パターンとを含み、
前記デプスマップ生成装置は、前記第１開口パターンを通してキャプチャされた第１キャプチャ画像と、前記第２開口パターンを通してキャプチャされた第２キャプチャ画像とから、前記デプスマップを生成する
請求項１に記載されるデプスマップ生成装置。
【請求項６】
前記所定の方向は前記第１開口パターンと前記第２開口パターンとに応じて決まる方向である
請求項１に記載されるデプスマップ生成装置。
【請求項７】
前記第１開口パターンと前記第２開口パターンは、直線に対して互いに対称であり、
前記所定の方向は前記直線に対して交差する方向である
請求項６に記載されるデプスマップ生成装置。
【請求項８】
符号化開口を通してキャプチャされたキャプチャ画像から、それぞれがデプスを表す複数の画素を含むデプスマップを生成するデプスマップの生成方法であって、
前記複数の画素についてデプスを算出するデプス算出工程と、
前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択工程と、
予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶部から取得する工程と
を含み、
前記画素選工程では、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素を選択する
デプスマップの生成方法。
【請求項９】
符号化開口を通してキャプチャされたキャプチャ画像から、それぞれがデプスを表す複数の画素を含むデプスマップを生成するデプスマップの生成装置として、コンピュータを機能させるプログラムであって、
前記複数の画素についてデプスを算出するデプス算出手段、
前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択手段、及び
予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶部から取得する手段
としてコンピュータを機能させ、
前記画素選択手段が、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素を選択する
プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明はデプスマップの生成装置、生成方法、及びプログラムに関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
非特許文献１では、符号化開口を通してキャプチャした画像からデプスマップを生成する技術が提案されている。この文献では、開口パターン（透光領域と遮光領域の形状）が異なる２つの符号化開口が利用されている。２つの符号化開口を組み合わせて利用することで、デプスマップの生成過程で使用するフィルタ（復元画像を生成するためのフィルタ）に、パワースペクトルが０になる周波数帯が生じることを抑えている。
【０００３】
非特許文献１においては、次のようにして、デプスが算出される。（１）１００ｍｍや３００ｍｍなど予め規定された参照デプスに応じたサイズを有し且つ符号化開口の開口パターンに応じたＰＳＦが、用意される。（２）２つの符号化開口を通してそれぞれ取得した２つのキャプチャ画像とＰＳＦとを利用して、複数の参照デプスのそれぞれについて、復元画像を生成する。（３）キャプチャ画像の各画素の階調値と、復元画像の各画素の階調値との乖離を算出し、小さな乖離を得ることのできるＰＳＦに対応する参照デプスが、被写体が表示されている各画素のデプスとして算出される。
【先行技術文献】
【非特許文献】
【０００４】
Ｃ．Ｚｈｏｕ，Ｓ．Ｌｉｎ，ａｎｄＳ．Ｎａｙａｒ：ＣｏｄｅｄＡｐｅｒｔｕｒｅＰａｉｒｓｆｏｒＤｅｐｔｈｆｒｏｍＤｅｆｏｃｕｓ，ＩＥＥＥｉｎｔｅｒｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，２００９
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１に開示されている方法で算出されるデプスには、精度の低いデプス（実際のデプスとの差が大きいデプス）が含まれる場合があった。
【課題を解決するための手段】
【０００６】
本開示で提案するデプスマップの生成装置は、符号化開口を通してキャプチャされたキャプチャ画像から、それぞれがデプスを表す複数の画素を含むデプスマップを生成するデプスマップの生成装置である。前記生成装置は、前記複数の画素についてデプスを算出するデプス算出部と、前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択部と、予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶している記憶部とを含む。前記画素選択部は、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素を選択する。
【０００７】
本開示で提案するデプスマップの生成方法は、符号化開口を通してキャプチャされたキャプチャ画像から、それぞれがデプスを表す複数の画素を含むデプスマップを生成するデプスマップの生成方法である。前記生成方法は、前記複数の画素についてデプスを算出するデプス算出工程と、前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択工程と、予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶部から取得する工程とを含む。前記画素選工程では、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素を選択する。
【０００８】
本開示で提案するプログラムは、符号化開口を通してキャプチャされたキャプチャ画像から、それぞれがデプスを表す複数の画素を含むデプスマップを生成するデプスマップの生成装置として、コンピュータを機能させるプログラムである。このプログラムは、前記複数の画素についてデプスを算出するデプス算出手段、前記デプスマップにおいてデプスを示す画素であるデプス表示画素を選択する画素選択手段、及び、予め規定された参照デプスに対応し且つ前記符号化開口の開口パターンに対応しているＰＳＦを記憶部から取得する手段、としてコンピュータを機能させる。前記画素選択手段が、前記ＰＳＦを利用して前記キャプチャ画像から再生された参照デプス復元画像と前記キャプチャ画像とに基づいて、前記参照デプスと実際のデプスとの乖離度合いを表す乖離値を、各画素について算出し、所定の方向に沿って並ぶ画素の前記乖離値の変化に基づいて、前記デプス表示画素とを選択する。
【０００９】
本開示で提案するデプスマップの生成装置、生成方法、及びプログラムによると、デプスマップに表示されるデプスの精度を向上できる。
【図面の簡単な説明】
【００１０】
デプスマップ生成装置の撮像系の例を示す模式図である。
デプスマップ生成装置のハードウェアを示すブロック図である。
デプスマップ生成装置が有している制御部の機能を示すブロック図である。
符号化開口部の２つの開口パターンの例を示す図である。
図３で示すデプス算出部、画素選択部、及び生成部が実行する処理の例を示すフロー図である。
デプス算出部が生成する乖離値マップを説明するための図である。
キャプチャ画像の例を示す図である。
図７で例示する２つの画素について算出される乖離値の変化を示す図である。
画素選択部の処理を実行することなく、全画素のデプスを表示したデプスマップを説明するための図である。
画素選択部による画素の走査を説明するための図である。
画素選択部によってなされる、デプス表示画素を選択する処理を説明するための図である。
デプス算出部によってなされる、デプス表示画素のデプスを算出する処理を説明するための図である。
図１２を参照して説明する処理の結果として生成されるデプスマップの例を示す図である。
符号化開口部の２つの開口パターンの変形例を示す図である。
図１４で示す開口パターンを通してキャプチャ画像が取得された場合に実行される処理を説明するための図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許