TOP
|
特許
|
意匠
|
商標
特許ウォッチ
Twitter
他の特許を見る
公開番号
2024092837
公報種別
公開特許公報(A)
公開日
2024-07-08
出願番号
2022209026
出願日
2022-12-26
発明の名称
画像生成装置、画像生成方法、及び、プログラム
出願人
日本放送協会
代理人
個人
,
個人
,
個人
,
個人
主分類
G06T
7/55 20170101AFI20240701BHJP(計算;計数)
要約
【課題】より品質が高い補間デプス画像を取得可能とする。
【解決手段】画像生成装置10は、第1、第2、第3時刻に撮影された第1、第2、第3カメラ画像を取得し、第1、第3時刻に撮影された第1、第3デプス画像を取得し、第1、第2、第3カメラ画像と、第1、第3デプス画像と、に基づき、第2時刻のデプス画像である第2デプス画像を生成する、制御部11を備える。制御部11は、第2デプス画像の注目画素について、第1、第2カメラ画像に基づき第1動きベクトルを取得し、第2、第3カメラ画像に基づき第2動きベクトルを取得し、第1動きベクトルに基づき、第1デプス画像の注目画素に対応する画素における第1デプス値を取得し、第2動きベクトルに基づき、第3デプス画像の注目画素に対応する画素における第3デプス値を取得し、第1、第3デプス値の重み付き調和平均により、第2デプス画像の注目画素のデプス値である第2デプス値を取得する。
【選択図】図2
特許請求の範囲
【請求項1】
被写体を含む撮影範囲における輝度に関する情報を画素毎に含むカメラ画像であって、第1時刻に撮影された第1カメラ画像と、前記第1時刻の後の時刻である第2時刻に撮影された第2カメラ画像と、前記第2時刻の後の時刻である第3時刻に撮影された第3カメラ画像と、を取得し、
前記撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、前記第1時刻に撮影された第1デプス画像と、前記第3時刻に撮影された第3デプス画像と、を取得し、
前記第1カメラ画像と、前記第2カメラ画像と、前記第3カメラ画像と、前記第1デプス画像と、前記第3デプス画像と、に基づき、前記第2時刻の前記デプス画像である第2デプス画像を生成し、
生成した前記第2デプス画像を出力する、
制御部を備え、
前記制御部は、
前記第2デプス画像の注目画素について、
前記第1カメラ画像と、前記第2カメラ画像とに基づき、前記第1時刻と前記第2時刻との間における前記被写体の動きを示す第1動きベクトルを取得し、
前記第2カメラ画像と、前記第3カメラ画像とに基づき、前記第2時刻と前記第3時刻との間における前記被写体の動きを示す第2動きベクトルを取得し、
前記第1動きベクトルに基づき、前記第1デプス画像の前記注目画素に対応する画素における第1デプス値を取得し、
前記第2動きベクトルに基づき、前記第3デプス画像の前記注目画素に対応する画素における第3デプス値を取得し、
前記第1デプス値と、前記第3デプス値と、の重み付き調和平均により、前記第2デプス画像の前記注目画素のデプス値である第2デプス値を取得する、
画像生成装置。
続きを表示(約 3,300 文字)
【請求項2】
前記制御部は、前記第1デプス値に対しては前記第1動きベクトルのノルムを重みとし、前記第3デプス値に対しては前記第2動きベクトルのノルムを重みとする重み付き調和平均により、前記第2デプス値を取得する、請求項1に記載の画像生成装置。
【請求項3】
前記制御部は、
前記第2カメラ画像を複数のブロックに区分し、
前記複数のブロックの各々について、前記第2カメラ画像の前記ブロックと前記第1カメラ画像とを比較して、当該ブロックとの類似度が最も高い領域の当該ブロックの画素位置に対する位置関係に基づき、前記第1動きベクトルを取得し、
前記複数のブロックの各々について、前記第2カメラ画像の前記ブロックと前記第3カメラ画像とを比較して、当該ブロックとの類似度が最も高い領域の当該ブロックの画素位置に対する位置関係に基づき、前記第2動きベクトルを取得する、
請求項1に記載の画像生成装置。
【請求項4】
前記制御部は、
前記第1デプス画像の全画素にわたる平均デプス値と、前記第3デプス画像の全画素にわたる平均デプス値とに基づいて、前記第2カメラ画像の前記ブロックの大きさを前記第1デプス画像に合わせて変更し、当該大きさが変更された前記第2カメラ画像の前記ブロックと前記第1カメラ画像とを比較して、前記第1動きベクトルを取得し、
前記第1デプス画像の全画素にわたる平均デプス値と、前記第3デプス画像の全画素にわたる平均デプス値とに基づいて、前記第2カメラ画像の前記ブロックの大きさを前記第3デプス画像に合わせて変更し、当該大きさが変更された前記第2カメラ画像の前記ブロックと前記第3カメラ画像とを比較して、前記第2動きベクトルを取得する、
請求項3に記載の画像生成装置。
【請求項5】
前記制御部は、
カメラにより前記第1時刻、前記第2時刻、前記第3時刻に撮影された前記カメラ画像を、前記第1カメラ画像、前記第2カメラ画像、前記第3カメラ画像として取得し、
デプスカメラにより前記第1時刻、前記第3時刻に撮影された前記デプス画像を、前記第1デプス画像、前記第3デプス画像として取得する、
請求項1に記載の画像生成装置。
【請求項6】
前記制御部は、
第1カメラにより前記第1時刻、前記第2時刻、前記第3時刻に撮影された前記カメラ画像を、前記第1カメラ画像、前記第2カメラ画像、前記第3カメラ画像として取得し、
前記第1カメラに対して予め定められた位置関係に設けられた第2カメラにより前記第1時刻、前記第3時刻に撮影された前記カメラ画像を、第4カメラ画像、第5カメラ画像として取得し、
前記第1カメラ画像と、前記第4カメラ画像と、のステレオマッチングにより取得されたデプス画像を前記第1デプス画像として取得し、
前記第3カメラ画像と、前記第5カメラ画像と、のステレオマッチングにより取得されたデプス画像を前記第3デプス画像として取得する、
請求項1に記載の画像生成装置。
【請求項7】
前記制御部は、
第1カメラにより前記第1時刻、前記第2時刻、前記第3時刻に撮影された前記カメラ画像を、前記第1カメラ画像、前記第2カメラ画像、前記第3カメラ画像として取得し、
前記第1カメラに対して予め定められた位置関係に設けられた第2カメラにより前記第1時刻、前記第3時刻に撮影された前記カメラ画像を、第4カメラ画像、第5カメラ画像として取得し、
デプスカメラにより前記第1時刻、前記第2時刻、前記第3時刻に撮影された前記デプス画像を、第4デプス画像、第5デプス画像、第6デプス画像として取得し、
前記第1カメラ画像と前記第4デプス画像とを比較して、前記第4デプス画像における前記被写体の領域の欠損部分に当たる第1切抜範囲を判定し、前記第1カメラ画像及び前記第4カメラ画像のステレオマッチングにより、前記第1切抜範囲におけるデプス画像である第1切抜デプス画像を取得し、
前記第3カメラ画像と前記第6デプス画像とを比較して、前記第6デプス画像における前記被写体の領域の欠損部分に当たる第3切抜範囲を判定し、前記第3カメラ画像及び前記第5カメラ画像のステレオマッチングにより、前記第3切抜範囲におけるデプス画像である第3切抜デプス画像を取得し、
前記第2カメラ画像と前記第5デプス画像とを比較して、前記第5デプス画像における前記被写体の領域の欠損部分に当たる第2切抜範囲を判定し、
前記第1切抜範囲における前記第1カメラ画像と、前記第2切抜範囲における前記第2カメラ画像とに基づき、前記第2切抜範囲における前記第1動きベクトルを取得し、
前記第2切抜範囲における前記第2カメラ画像と、前記第3切抜範囲における前記第3カメラ画像とに基づき、前記第2切抜範囲における前記第2動きベクトルを取得し、
前記第1切抜デプス画像のデプス値と、前記第3切抜デプス画像のデプス値と、の前記第1動きベクトル及び前記第2動きベクトルに基づく重み付き調和平均により、前記第2切抜範囲におけるデプス画像である第2切抜デプス画像を取得する、
請求項1に記載の画像生成装置。
【請求項8】
前記制御部は、
カメラにより前記第1時刻、前記第2時刻、前記第3時刻に撮影された前記カメラ画像を、前記第1カメラ画像、前記第2カメラ画像、前記第3カメラ画像として取得し、
前記被写体の3次元画像から取得された前記第1時刻、前記第3時刻の前記デプス画像を、前記第1デプス画像、前記第3デプス画像として取得する、
請求項1に記載の画像生成装置。
【請求項9】
制御部を備える画像生成装置の画像生成方法であって、
前記制御部が、
被写体を含む撮影範囲における輝度に関する情報を画素毎に含むカメラ画像であって、第1時刻に撮影された第1カメラ画像と、前記第1時刻の後の時刻である第2時刻に撮影された第2カメラ画像と、前記第2時刻の後の時刻である第3時刻に撮影された第3カメラ画像と、を取得する工程と、
前記撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、前記第1時刻に撮影された第1デプス画像と、前記第3時刻に撮影された第3デプス画像と、を取得する工程と、
前記第1カメラ画像と、前記第2カメラ画像と、前記第3カメラ画像と、前記第1デプス画像と、前記第3デプス画像と、に基づき、前記第2時刻の前記デプス画像である第2デプス画像を生成する工程と、
生成した前記第2デプス画像を出力する工程と、
を含み、
前記制御部は、
前記第2デプス画像の注目画素について、
前記第1カメラ画像と、前記第2カメラ画像とに基づき、前記第1時刻と前記第2時刻との間における前記被写体の動きを示す第1動きベクトルを取得し、
前記第2カメラ画像と、前記第3カメラ画像とに基づき、前記第2時刻と前記第3時刻との間における前記被写体の動きを示す第2動きベクトルを取得し、
前記第1動きベクトルに基づき、前記第1デプス画像の前記注目画素に対応する画素における第1デプス値を取得し、
前記第2動きベクトルに基づき、前記第3デプス画像の前記注目画素に対応する画素における第3デプス値を取得し、
前記第1デプス値と、前記第3デプス値と、の重み付き調和平均により、前記第2デプス画像の前記注目画素のデプス値である第2デプス値を取得する、
画像生成方法。
【請求項10】
コンピュータを請求項1に記載の画像生成装置として動作させるプログラム。
発明の詳細な説明
【技術分野】
【0001】
本開示は、画像生成装置、画像生成方法、及び、プログラムに関する。
続きを表示(約 2,200 文字)
【背景技術】
【0002】
被写体を取り囲むように配置した複数台の同期のとれたカメラ及びセンサ等が取得したデータを使って、被写体の3次元形状データを取得するボリュメトリックキャプチャー技術が知られている。
【0003】
3次元形状データを取得するためには、被写体までの3次元的な距離を含む3次元位置情報が必要となる。3次元位置情報を取得するための代表的な方式として、2台のカメラを用いて三角測量法を適応して求める方式(ステレオ法)、及び、深度センサを用いて3次元位置を物理的に計測する方式が知られている。これらの方式に対応して、一般的なボリュメトリックキャプチャースタジオには、カメラのみを使用するスタジオと、深度センサを組合せて使用するスタジオとの大きく2つの種類のスタジオが知られている。
【0004】
カメラのみを使用する場合は、ステレオ法による2台のカメラ間の視差を利用するため、カメラから被写体までの距離に関係なく被写体の3次元位置を求めることができる。一方で、カメラのみを使用する場合においては、対応点探索の計算量が大きく、被写体を取り囲むカメラの解像度又は台数が増えれば、それに応じて処理時間が増加する。
【0005】
カメラの解像度又は台数を変更せずに、ステレオ法でリアルタイムに3次元位置を得る手法として、処理する対象のフレームを間引くことが知られている。しかし、フレームを間引けば動画像間の滑らかさが失われてしまうため、3次元形状データにおいても滑らかな動きを再現することができなくなる。そこで、低フレームレートの動画像の時間分解能を向上させる方式であるフレーム補間技術(例えば、特許文献1)を3次元位置が記録されたデプス画像に適用することで、3次元位置の時間分解能を高めることが知られている(特許文献2)。
【0006】
深度センサを用いる手法では、被写体までの3次元位置を直接計測することができるため、カメラのみに比べて高速に3次元形状を取得することができる。例えば、照射した光が被写体に反射して戻ってくるまでの時間にて距離を計算するToF(Time of Flight)を使用する深度センサが知られている。このような深度センサは、実際にボリュメトリックキャプチャーの撮影サービスとして展開されている。しかし、多くの深度センサは赤外光を用いているため、複数台の深度センサを用いる場合は同時に発光してしまうと機器間で干渉してしまうため、発光タイミングの調整、配置の工夫、及び、計測間隔の調整等をする必要がある。
【先行技術文献】
【特許文献】
【0007】
特許第6313588号公報
特許第5887267号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、特許文献2では、デプス画像(距離画像)とカメラ画像(テクスチャ画像)が同一のフレームレートで得られることが前提であり、デプス画像と比べてカメラ画像のフレームレートが高い状況においてはデプス画像の補間結果に改善の余地があった。
【0009】
そこで、本開示の目的は、より品質が高い補間デプス画像を取得可能とすることである。
【課題を解決するための手段】
【0010】
本開示によれば、画像生成装置は、
(1)被写体を含む撮影範囲における輝度に関する情報を画素毎に含むカメラ画像であって、第1時刻に撮影された第1カメラ画像と、前記第1時刻の後の時刻である第2時刻に撮影された第2カメラ画像と、前記第2時刻の後の時刻である第3時刻に撮影された第3カメラ画像と、を取得し、
前記撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、前記第1時刻に撮影された第1デプス画像と、前記第3時刻に撮影された第3デプス画像と、を取得し、
前記第1カメラ画像と、前記第2カメラ画像と、前記第3カメラ画像と、前記第1デプス画像と、前記第3デプス画像と、に基づき、前記第2時刻の前記デプス画像である第2デプス画像を生成し、
生成した前記第2デプス画像を出力する、
制御部を備え、
前記制御部は、
前記第2デプス画像の注目画素について、
前記第1カメラ画像と、前記第2カメラ画像とに基づき、前記第1時刻と前記第2時刻との間における前記被写体の動きを示す第1動きベクトルを取得し、
前記第2カメラ画像と、前記第3カメラ画像とに基づき、前記第2時刻と前記第3時刻との間における前記被写体の動きを示す第2動きベクトルを取得し、
前記第1動きベクトルに基づき、前記第1デプス画像の前記注目画素に対応する画素における第1デプス値を取得し、
前記第2動きベクトルに基づき、前記第3デプス画像の前記注目画素に対応する画素における第3デプス値を取得し、
前記第1デプス値と、前記第3デプス値と、の重み付き調和平均により、前記第2デプス画像の前記注目画素のデプス値である第2デプス値を取得する。
(【0011】以降は省略されています)
この特許をJ-PlatPatで参照する
関連特許
日本放送協会
ルータ
7か月前
日本放送協会
撮像装置
3か月前
日本放送協会
撮像素子
9か月前
日本放送協会
受信装置
9か月前
日本放送協会
撮像装置
8か月前
日本放送協会
撮像装置
3か月前
日本放送協会
撮像装置
7か月前
日本放送協会
透光性基板
11か月前
日本放送協会
信号測定装置
12か月前
日本放送協会
衛星追尾装置
6か月前
日本放送協会
液晶表示装置
10日前
日本放送協会
視聴予測装置
7か月前
日本放送協会
全天周カメラ
10か月前
日本放送協会
カメラ正対治具
4か月前
日本放送協会
磁性細線メモリ
8か月前
日本放送協会
符号化撮像装置
7か月前
日本放送協会
光制御デバイス
20日前
日本放送協会
積層型撮像素子
9か月前
日本放送協会
バックプレーン
7か月前
日本放送協会
機械学習システム
7か月前
日本放送協会
情報提示システム
2か月前
日本放送協会
360度撮影装置
2か月前
日本放送協会
有機光電変換素子
1か月前
日本放送協会
三次元映像表示装置
11か月前
日本放送協会
データ管理システム
5か月前
日本放送協会
三次元撮像システム
5か月前
日本放送協会
3次元映像表示装置
4か月前
日本放送協会
撮像素子の製造方法
9か月前
日本放送協会
光バイパススイッチ
8か月前
日本放送協会
LDM送信システム
2か月前
日本放送協会
表示端末、プログラム
5か月前
日本放送協会
送信装置及び受信装置
4か月前
日本放送協会
送信装置及び受信装置
7か月前
日本放送協会
送信装置及び受信装置
4か月前
日本放送協会
撮像装置及び撮像方法
2か月前
日本放送協会
撮像素子及び撮像装置
7か月前
続きを見る
他の特許を見る