特許ウォッチ

公開番号2024081056
公報種別公開特許公報(A)
公開日2024-06-17
出願番号2022194490
出願日2022-12-05
発明の名称画像生成装置及びそのプログラム
出願人日本放送協会
代理人弁理士法人磯野国際特許商標事務所
主分類G06T 19/00 20110101AFI20240610BHJP(計算;計数)
要約【課題】計算コストを抑制し、高品質な任意視点画像又は三次元画像を生成できる画像生成装置を提供する。
【解決手段】画像生成装置3は、デプス画像から点群データを生成する点群化部30と、デプス画像に対するカラー画像の重みを表す融合情報を生成する融合情報生成部31と、被写体が存在する奥行き位置で密となり、かつ、被写体が存在しない奥行き位置で疎となるように奥行きレイヤの配置を最適化する奥行きレイヤ配置最適化部32と、カラー画像、デプス画像及び融合情報から、最適化された奥行きレイヤを用いた画像処理により任意視点画像又は三次元画像を生成する画像生成部33とを備える。
【選択図】図1
特許請求の範囲【請求項１】
被写体が含まれるカラー画像及びデプス画像を用いて、任意視点画像又は三次元画像を生成する画像生成装置であって、
前記デプス画像から、前記被写体を構成する各点の三次元座標を表す点群データを生成する点群化部と、
前記デプス画像及び前記点群データから、デプス推定のための重みを表す融合情報を生成する融合情報生成部と、
前記被写体が存在する奥行き位置で密となり、かつ、前記被写体が存在しない奥行き位置で疎となるように、予め設定された数の奥行きレイヤの配置を最適化する奥行きレイヤ配置最適化部と、
前記カラー画像、前記デプス画像及び前記融合情報から、前記奥行き位置が最適化された奥行きレイヤを用いた画像処理により、前記任意視点画像又は前記三次元画像を生成する画像生成部と、
を備えることを特徴とする画像生成装置。
続きを表示（約 370 文字）【請求項２】
前記奥行きレイヤ配置最適化部は、
所定の奥行き範囲に含まれる前記被写体の点の数を表すヒストグラムを生成し、前記点の数が多い順に前記奥行き範囲の中央を前記奥行きレイヤの初期位置として設定する初期位置設定部と、
前記被写体の各点と、当該各点に最近傍の前記奥行きレイヤとの距離の合計が最小となるように最適化問題を解くことで、前記初期位置に設定された奥行きレイヤの配置を決定する最適化部と、
を備えることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記点群化部は、前記点群データに含まれる各点を間引くことを特徴とする請求項１に記載の画像生成装置。
【請求項４】
コンピュータを、請求項１から請求項３の何れか一項に記載の画像生成装置として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、任意視点画像又は三次元画像を生成する画像生成装置及びそのプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
任意視点画像や三次元画像は、新しい映像表現として期待されている技術である。任意視点画像は二次元ディスプレイで様々な方向から被写体を観察でき、三次元画像は三次元ディスプレイで両眼視差や運動視差のある画像として被写体を観察できる。
【０００３】
実物を被写体とした任意視点画像や三次元画像を生成するためには、複数のカメラで様々な方向から被写体を撮影し、その撮影画像に対する計算処理で生成する必要がある。この計算処理では、生成する画像の品質に応じて計算コストが増加し、一般的に高い計算コストが求められる。任意視点画像や三次元映像を様々な分野で活用することを考えた場合、被写体の撮影からその画像の生成まで、高速に高品質な画像を生成する必要がある。つまり、低い計算コスト（処理時間が短い）で高品質（実際の視点からの画像との誤差が少なく、違和感がない）な任意視点画像や三次元画像の生成技術が求められている。
【０００４】
また、複数のカメラで構成された撮影装置で得た画像から任意視点画像や三次元画像を生成するための様々な手法が提案されている。例えば、撮影装置としてカラーカメラを使用する従来手法が提案されている（非特許文献１，２）。この従来手法では、撮影装置がカラーカメラで構成されるため構築しやすいが、被写体の奥行き推定に誤差が発生しやすく、高品質な画像を生成することが難しい。
【０００５】
このため、複数台のカラーカメラ及びデプスカメラを備えた撮影装置で撮影したカラー画像及びデプス画像から、任意視点画像や三次元画像を生成する従来手法が提案されている（特許文献１、非特許文献３，５）。この従来手法では、カラー画像から推定した奥行き情報とデプス画像で得た奥行き情報を融合（併用）することで、奥行き推定の精度を向上させて、高品質な画像を生成することできる。
【０００６】
ここで、カラーカメラとデプスカメラで構成される撮影装置において、複数のカラー画像から被写体の奥行きを推定する際、プレーンスイーピングが用いられる（非特許文献４，５）。このプレーンスイーピングでは、被写体が存在する空間内の奥行き方向に平面状の奥行きレイヤを複数設定し、その平面上に被写体があると仮定して奥行きを推定する。
【先行技術文献】
【特許文献】
【０００７】
特開２０２２－２４６８８号公報
【非特許文献】
【０００８】
Eric Penner, and Zhang Li, “Soft 3D reconstruction for view synthesis”, ACM Transactions on Graphics, Vol. 22, No. 11, pp. 1330-1334 (2008)
田口裕一他、“ネットワークカメラアレイを用いた実時間全焦点自由視点映像合成システム”、電子情報通信学会技術研究報告、107(538)、79-86(2017)
Pietro Zanuttigh et al., “Time-of-flight and structured light depth cameras”, Springer (2016)
Robert T. Collins et al., “A Space-Sweep Approach to True Multi-Image Matching”, IEEE Conference on Computer Vision and Pattern Recognition, pp. 358-363 (1996)
“コンピュータビジョン－アルゴリズムと応用”、共立出版、2013
【発明の概要】
【発明が解決しようとする課題】
【０００９】
非特許文献４，５に記載の従来技術では、原理上、奥行きレイヤのない場所で奥行き情報を得ることができない。また、これら従来技術では、奥行きレイヤを空間内に密に配置すれば被写体の奥行きを推定することは可能であるが、奥行きレイヤが増えるために計算コストが増大してしまう。
【００１０】
ここで、奥行きレイヤは、奥行きの推定だけでなく、任意視点画像や三次元画像の合成にも使用される。このため、奥行きレイヤの数や配置は、計算コストだけでなく、生成画像の品質においても重要である。一般的には、奥行きレイヤは、被写体のある空間内に均等な間隔、又は、カメラからの距離に比例した間隔（カメラから近いほど密、遠いほど疎）で配置される。しかし、このような奥行きレイヤの配置では、被写体の存在する領域が考慮されていないので、計算コストを抑制しつつ、高品質な任意視点画像や三次元画像を生成するのが困難である。
（【００１１】以降は省略されています）

関連特許