TOP
|
特許
|
意匠
|
商標
特許ウォッチ
Twitter
他の特許を見る
公開番号
2024081056
公報種別
公開特許公報(A)
公開日
2024-06-17
出願番号
2022194490
出願日
2022-12-05
発明の名称
画像生成装置及びそのプログラム
出願人
日本放送協会
代理人
弁理士法人磯野国際特許商標事務所
主分類
G06T
19/00 20110101AFI20240610BHJP(計算;計数)
要約
【課題】計算コストを抑制し、高品質な任意視点画像又は三次元画像を生成できる画像生成装置を提供する。
【解決手段】画像生成装置3は、デプス画像から点群データを生成する点群化部30と、デプス画像に対するカラー画像の重みを表す融合情報を生成する融合情報生成部31と、被写体が存在する奥行き位置で密となり、かつ、被写体が存在しない奥行き位置で疎となるように奥行きレイヤの配置を最適化する奥行きレイヤ配置最適化部32と、カラー画像、デプス画像及び融合情報から、最適化された奥行きレイヤを用いた画像処理により任意視点画像又は三次元画像を生成する画像生成部33とを備える。
【選択図】図1
特許請求の範囲
【請求項1】
被写体が含まれるカラー画像及びデプス画像を用いて、任意視点画像又は三次元画像を生成する画像生成装置であって、
前記デプス画像から、前記被写体を構成する各点の三次元座標を表す点群データを生成する点群化部と、
前記デプス画像及び前記点群データから、デプス推定のための重みを表す融合情報を生成する融合情報生成部と、
前記被写体が存在する奥行き位置で密となり、かつ、前記被写体が存在しない奥行き位置で疎となるように、予め設定された数の奥行きレイヤの配置を最適化する奥行きレイヤ配置最適化部と、
前記カラー画像、前記デプス画像及び前記融合情報から、前記奥行き位置が最適化された奥行きレイヤを用いた画像処理により、前記任意視点画像又は前記三次元画像を生成する画像生成部と、
を備えることを特徴とする画像生成装置。
続きを表示(約 370 文字)
【請求項2】
前記奥行きレイヤ配置最適化部は、
所定の奥行き範囲に含まれる前記被写体の点の数を表すヒストグラムを生成し、前記点の数が多い順に前記奥行き範囲の中央を前記奥行きレイヤの初期位置として設定する初期位置設定部と、
前記被写体の各点と、当該各点に最近傍の前記奥行きレイヤとの距離の合計が最小となるように最適化問題を解くことで、前記初期位置に設定された奥行きレイヤの配置を決定する最適化部と、
を備えることを特徴とする請求項1に記載の画像生成装置。
【請求項3】
前記点群化部は、前記点群データに含まれる各点を間引くことを特徴とする請求項1に記載の画像生成装置。
【請求項4】
コンピュータを、請求項1から請求項3の何れか一項に記載の画像生成装置として機能させるためのプログラム。
発明の詳細な説明
【技術分野】
【0001】
本発明は、任意視点画像又は三次元画像を生成する画像生成装置及びそのプログラムに関する。
続きを表示(約 2,000 文字)
【背景技術】
【0002】
任意視点画像や三次元画像は、新しい映像表現として期待されている技術である。任意視点画像は二次元ディスプレイで様々な方向から被写体を観察でき、三次元画像は三次元ディスプレイで両眼視差や運動視差のある画像として被写体を観察できる。
【0003】
実物を被写体とした任意視点画像や三次元画像を生成するためには、複数のカメラで様々な方向から被写体を撮影し、その撮影画像に対する計算処理で生成する必要がある。この計算処理では、生成する画像の品質に応じて計算コストが増加し、一般的に高い計算コストが求められる。任意視点画像や三次元映像を様々な分野で活用することを考えた場合、被写体の撮影からその画像の生成まで、高速に高品質な画像を生成する必要がある。つまり、低い計算コスト(処理時間が短い)で高品質(実際の視点からの画像との誤差が少なく、違和感がない)な任意視点画像や三次元画像の生成技術が求められている。
【0004】
また、複数のカメラで構成された撮影装置で得た画像から任意視点画像や三次元画像を生成するための様々な手法が提案されている。例えば、撮影装置としてカラーカメラを使用する従来手法が提案されている(非特許文献1,2)。この従来手法では、撮影装置がカラーカメラで構成されるため構築しやすいが、被写体の奥行き推定に誤差が発生しやすく、高品質な画像を生成することが難しい。
【0005】
このため、複数台のカラーカメラ及びデプスカメラを備えた撮影装置で撮影したカラー画像及びデプス画像から、任意視点画像や三次元画像を生成する従来手法が提案されている(特許文献1、非特許文献3,5)。この従来手法では、カラー画像から推定した奥行き情報とデプス画像で得た奥行き情報を融合(併用)することで、奥行き推定の精度を向上させて、高品質な画像を生成することできる。
【0006】
ここで、カラーカメラとデプスカメラで構成される撮影装置において、複数のカラー画像から被写体の奥行きを推定する際、プレーンスイーピングが用いられる(非特許文献4,5)。このプレーンスイーピングでは、被写体が存在する空間内の奥行き方向に平面状の奥行きレイヤを複数設定し、その平面上に被写体があると仮定して奥行きを推定する。
【先行技術文献】
【特許文献】
【0007】
特開2022-24688号公報
【非特許文献】
【0008】
Eric Penner, and Zhang Li, “Soft 3D reconstruction for view synthesis”, ACM Transactions on Graphics, Vol. 22, No. 11, pp. 1330-1334 (2008)
田口裕一 他、“ネットワークカメラアレイを用いた実時間全焦点自由視点映像合成システム”、電子情報通信学会技術研究報告、107(538)、79-86(2017)
Pietro Zanuttigh et al., “Time-of-flight and structured light depth cameras”, Springer (2016)
Robert T. Collins et al., “A Space-Sweep Approach to True Multi-Image Matching”, IEEE Conference on Computer Vision and Pattern Recognition, pp. 358-363 (1996)
“コンピュータビジョン-アルゴリズムと応用”、共立出版、2013
【発明の概要】
【発明が解決しようとする課題】
【0009】
非特許文献4,5に記載の従来技術では、原理上、奥行きレイヤのない場所で奥行き情報を得ることができない。また、これら従来技術では、奥行きレイヤを空間内に密に配置すれば被写体の奥行きを推定することは可能であるが、奥行きレイヤが増えるために計算コストが増大してしまう。
【0010】
ここで、奥行きレイヤは、奥行きの推定だけでなく、任意視点画像や三次元画像の合成にも使用される。このため、奥行きレイヤの数や配置は、計算コストだけでなく、生成画像の品質においても重要である。一般的には、奥行きレイヤは、被写体のある空間内に均等な間隔、又は、カメラからの距離に比例した間隔(カメラから近いほど密、遠いほど疎)で配置される。しかし、このような奥行きレイヤの配置では、被写体の存在する領域が考慮されていないので、計算コストを抑制しつつ、高品質な任意視点画像や三次元画像を生成するのが困難である。
(【0011】以降は省略されています)
この特許をJ-PlatPatで参照する
関連特許
日本放送協会
ルータ
7か月前
日本放送協会
撮像装置
3か月前
日本放送協会
撮像素子
9か月前
日本放送協会
受信装置
9か月前
日本放送協会
撮像装置
8か月前
日本放送協会
撮像装置
3か月前
日本放送協会
撮像装置
7か月前
日本放送協会
透光性基板
11か月前
日本放送協会
信号測定装置
12か月前
日本放送協会
衛星追尾装置
6か月前
日本放送協会
液晶表示装置
10日前
日本放送協会
視聴予測装置
7か月前
日本放送協会
全天周カメラ
10か月前
日本放送協会
カメラ正対治具
4か月前
日本放送協会
磁性細線メモリ
8か月前
日本放送協会
符号化撮像装置
7か月前
日本放送協会
光制御デバイス
20日前
日本放送協会
積層型撮像素子
9か月前
日本放送協会
バックプレーン
7か月前
日本放送協会
機械学習システム
7か月前
日本放送協会
情報提示システム
2か月前
日本放送協会
360度撮影装置
2か月前
日本放送協会
有機光電変換素子
1か月前
日本放送協会
三次元映像表示装置
11か月前
日本放送協会
データ管理システム
5か月前
日本放送協会
三次元撮像システム
5か月前
日本放送協会
3次元映像表示装置
4か月前
日本放送協会
撮像素子の製造方法
9か月前
日本放送協会
光バイパススイッチ
8か月前
日本放送協会
LDM送信システム
2か月前
日本放送協会
表示端末、プログラム
5か月前
日本放送協会
送信装置及び受信装置
4か月前
日本放送協会
送信装置及び受信装置
7か月前
日本放送協会
送信装置及び受信装置
4か月前
日本放送協会
撮像装置及び撮像方法
2か月前
日本放送協会
撮像素子及び撮像装置
7か月前
続きを見る
他の特許を見る