特許ウォッチ

公開番号2024092837
公報種別公開特許公報(A)
公開日2024-07-08
出願番号2022209026
出願日2022-12-26
発明の名称画像生成装置、画像生成方法、及び、プログラム
出願人日本放送協会
代理人個人,個人,個人,個人
主分類G06T 7/55 20170101AFI20240701BHJP(計算;計数)
要約【課題】より品質が高い補間デプス画像を取得可能とする。
【解決手段】画像生成装置10は、第1、第2、第3時刻に撮影された第1、第2、第3カメラ画像を取得し、第1、第3時刻に撮影された第1、第3デプス画像を取得し、第1、第2、第3カメラ画像と、第1、第3デプス画像と、に基づき、第2時刻のデプス画像である第2デプス画像を生成する、制御部11を備える。制御部11は、第2デプス画像の注目画素について、第1、第2カメラ画像に基づき第1動きベクトルを取得し、第2、第3カメラ画像に基づき第2動きベクトルを取得し、第1動きベクトルに基づき、第1デプス画像の注目画素に対応する画素における第1デプス値を取得し、第2動きベクトルに基づき、第3デプス画像の注目画素に対応する画素における第3デプス値を取得し、第1、第3デプス値の重み付き調和平均により、第2デプス画像の注目画素のデプス値である第2デプス値を取得する。
【選択図】図2
特許請求の範囲【請求項１】
被写体を含む撮影範囲における輝度に関する情報を画素毎に含むカメラ画像であって、第１時刻に撮影された第１カメラ画像と、前記第１時刻の後の時刻である第２時刻に撮影された第２カメラ画像と、前記第２時刻の後の時刻である第３時刻に撮影された第３カメラ画像と、を取得し、
前記撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、前記第１時刻に撮影された第１デプス画像と、前記第３時刻に撮影された第３デプス画像と、を取得し、
前記第１カメラ画像と、前記第２カメラ画像と、前記第３カメラ画像と、前記第１デプス画像と、前記第３デプス画像と、に基づき、前記第２時刻の前記デプス画像である第２デプス画像を生成し、
生成した前記第２デプス画像を出力する、
制御部を備え、
前記制御部は、
前記第２デプス画像の注目画素について、
前記第１カメラ画像と、前記第２カメラ画像とに基づき、前記第１時刻と前記第２時刻との間における前記被写体の動きを示す第１動きベクトルを取得し、
前記第２カメラ画像と、前記第３カメラ画像とに基づき、前記第２時刻と前記第３時刻との間における前記被写体の動きを示す第２動きベクトルを取得し、
前記第１動きベクトルに基づき、前記第１デプス画像の前記注目画素に対応する画素における第１デプス値を取得し、
前記第２動きベクトルに基づき、前記第３デプス画像の前記注目画素に対応する画素における第３デプス値を取得し、
前記第１デプス値と、前記第３デプス値と、の重み付き調和平均により、前記第２デプス画像の前記注目画素のデプス値である第２デプス値を取得する、
画像生成装置。
続きを表示（約 3,300 文字）【請求項２】
前記制御部は、前記第１デプス値に対しては前記第１動きベクトルのノルムを重みとし、前記第３デプス値に対しては前記第２動きベクトルのノルムを重みとする重み付き調和平均により、前記第２デプス値を取得する、請求項１に記載の画像生成装置。
【請求項３】
前記制御部は、
前記第２カメラ画像を複数のブロックに区分し、
前記複数のブロックの各々について、前記第２カメラ画像の前記ブロックと前記第１カメラ画像とを比較して、当該ブロックとの類似度が最も高い領域の当該ブロックの画素位置に対する位置関係に基づき、前記第１動きベクトルを取得し、
前記複数のブロックの各々について、前記第２カメラ画像の前記ブロックと前記第３カメラ画像とを比較して、当該ブロックとの類似度が最も高い領域の当該ブロックの画素位置に対する位置関係に基づき、前記第２動きベクトルを取得する、
請求項１に記載の画像生成装置。
【請求項４】
前記制御部は、
前記第１デプス画像の全画素にわたる平均デプス値と、前記第３デプス画像の全画素にわたる平均デプス値とに基づいて、前記第２カメラ画像の前記ブロックの大きさを前記第１デプス画像に合わせて変更し、当該大きさが変更された前記第２カメラ画像の前記ブロックと前記第１カメラ画像とを比較して、前記第１動きベクトルを取得し、
前記第１デプス画像の全画素にわたる平均デプス値と、前記第３デプス画像の全画素にわたる平均デプス値とに基づいて、前記第２カメラ画像の前記ブロックの大きさを前記第３デプス画像に合わせて変更し、当該大きさが変更された前記第２カメラ画像の前記ブロックと前記第３カメラ画像とを比較して、前記第２動きベクトルを取得する、
請求項３に記載の画像生成装置。
【請求項５】
前記制御部は、
カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
デプスカメラにより前記第１時刻、前記第３時刻に撮影された前記デプス画像を、前記第１デプス画像、前記第３デプス画像として取得する、
請求項１に記載の画像生成装置。
【請求項６】
前記制御部は、
第１カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記第１カメラに対して予め定められた位置関係に設けられた第２カメラにより前記第１時刻、前記第３時刻に撮影された前記カメラ画像を、第４カメラ画像、第５カメラ画像として取得し、
前記第１カメラ画像と、前記第４カメラ画像と、のステレオマッチングにより取得されたデプス画像を前記第１デプス画像として取得し、
前記第３カメラ画像と、前記第５カメラ画像と、のステレオマッチングにより取得されたデプス画像を前記第３デプス画像として取得する、
請求項１に記載の画像生成装置。
【請求項７】
前記制御部は、
第１カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記第１カメラに対して予め定められた位置関係に設けられた第２カメラにより前記第１時刻、前記第３時刻に撮影された前記カメラ画像を、第４カメラ画像、第５カメラ画像として取得し、
デプスカメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記デプス画像を、第４デプス画像、第５デプス画像、第６デプス画像として取得し、
前記第１カメラ画像と前記第４デプス画像とを比較して、前記第４デプス画像における前記被写体の領域の欠損部分に当たる第１切抜範囲を判定し、前記第１カメラ画像及び前記第４カメラ画像のステレオマッチングにより、前記第１切抜範囲におけるデプス画像である第１切抜デプス画像を取得し、
前記第３カメラ画像と前記第６デプス画像とを比較して、前記第６デプス画像における前記被写体の領域の欠損部分に当たる第３切抜範囲を判定し、前記第３カメラ画像及び前記第５カメラ画像のステレオマッチングにより、前記第３切抜範囲におけるデプス画像である第３切抜デプス画像を取得し、
前記第２カメラ画像と前記第５デプス画像とを比較して、前記第５デプス画像における前記被写体の領域の欠損部分に当たる第２切抜範囲を判定し、
前記第１切抜範囲における前記第１カメラ画像と、前記第２切抜範囲における前記第２カメラ画像とに基づき、前記第２切抜範囲における前記第１動きベクトルを取得し、
前記第２切抜範囲における前記第２カメラ画像と、前記第３切抜範囲における前記第３カメラ画像とに基づき、前記第２切抜範囲における前記第２動きベクトルを取得し、
前記第１切抜デプス画像のデプス値と、前記第３切抜デプス画像のデプス値と、の前記第１動きベクトル及び前記第２動きベクトルに基づく重み付き調和平均により、前記第２切抜範囲におけるデプス画像である第２切抜デプス画像を取得する、
請求項１に記載の画像生成装置。
【請求項８】
前記制御部は、
カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記被写体の３次元画像から取得された前記第１時刻、前記第３時刻の前記デプス画像を、前記第１デプス画像、前記第３デプス画像として取得する、
請求項１に記載の画像生成装置。
【請求項９】
制御部を備える画像生成装置の画像生成方法であって、
前記制御部が、
被写体を含む撮影範囲における輝度に関する情報を画素毎に含むカメラ画像であって、第１時刻に撮影された第１カメラ画像と、前記第１時刻の後の時刻である第２時刻に撮影された第２カメラ画像と、前記第２時刻の後の時刻である第３時刻に撮影された第３カメラ画像と、を取得する工程と、
前記撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、前記第１時刻に撮影された第１デプス画像と、前記第３時刻に撮影された第３デプス画像と、を取得する工程と、
前記第１カメラ画像と、前記第２カメラ画像と、前記第３カメラ画像と、前記第１デプス画像と、前記第３デプス画像と、に基づき、前記第２時刻の前記デプス画像である第２デプス画像を生成する工程と、
生成した前記第２デプス画像を出力する工程と、
を含み、
前記制御部は、
前記第２デプス画像の注目画素について、
前記第１カメラ画像と、前記第２カメラ画像とに基づき、前記第１時刻と前記第２時刻との間における前記被写体の動きを示す第１動きベクトルを取得し、
前記第２カメラ画像と、前記第３カメラ画像とに基づき、前記第２時刻と前記第３時刻との間における前記被写体の動きを示す第２動きベクトルを取得し、
前記第１動きベクトルに基づき、前記第１デプス画像の前記注目画素に対応する画素における第１デプス値を取得し、
前記第２動きベクトルに基づき、前記第３デプス画像の前記注目画素に対応する画素における第３デプス値を取得し、
前記第１デプス値と、前記第３デプス値と、の重み付き調和平均により、前記第２デプス画像の前記注目画素のデプス値である第２デプス値を取得する、
画像生成方法。
【請求項１０】
コンピュータを請求項１に記載の画像生成装置として動作させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像生成装置、画像生成方法、及び、プログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
被写体を取り囲むように配置した複数台の同期のとれたカメラ及びセンサ等が取得したデータを使って、被写体の３次元形状データを取得するボリュメトリックキャプチャー技術が知られている。
【０００３】
３次元形状データを取得するためには、被写体までの３次元的な距離を含む３次元位置情報が必要となる。３次元位置情報を取得するための代表的な方式として、２台のカメラを用いて三角測量法を適応して求める方式（ステレオ法）、及び、深度センサを用いて３次元位置を物理的に計測する方式が知られている。これらの方式に対応して、一般的なボリュメトリックキャプチャースタジオには、カメラのみを使用するスタジオと、深度センサを組合せて使用するスタジオとの大きく２つの種類のスタジオが知られている。
【０００４】
カメラのみを使用する場合は、ステレオ法による２台のカメラ間の視差を利用するため、カメラから被写体までの距離に関係なく被写体の３次元位置を求めることができる。一方で、カメラのみを使用する場合においては、対応点探索の計算量が大きく、被写体を取り囲むカメラの解像度又は台数が増えれば、それに応じて処理時間が増加する。
【０００５】
カメラの解像度又は台数を変更せずに、ステレオ法でリアルタイムに３次元位置を得る手法として、処理する対象のフレームを間引くことが知られている。しかし、フレームを間引けば動画像間の滑らかさが失われてしまうため、３次元形状データにおいても滑らかな動きを再現することができなくなる。そこで、低フレームレートの動画像の時間分解能を向上させる方式であるフレーム補間技術（例えば、特許文献１）を３次元位置が記録されたデプス画像に適用することで、３次元位置の時間分解能を高めることが知られている（特許文献２）。
【０００６】
深度センサを用いる手法では、被写体までの３次元位置を直接計測することができるため、カメラのみに比べて高速に３次元形状を取得することができる。例えば、照射した光が被写体に反射して戻ってくるまでの時間にて距離を計算するＴｏＦ（Time of Flight）を使用する深度センサが知られている。このような深度センサは、実際にボリュメトリックキャプチャーの撮影サービスとして展開されている。しかし、多くの深度センサは赤外光を用いているため、複数台の深度センサを用いる場合は同時に発光してしまうと機器間で干渉してしまうため、発光タイミングの調整、配置の工夫、及び、計測間隔の調整等をする必要がある。
【先行技術文献】
【特許文献】
【０００７】
特許第６３１３５８８号公報
特許第５８８７２６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献２では、デプス画像（距離画像）とカメラ画像（テクスチャ画像）が同一のフレームレートで得られることが前提であり、デプス画像と比べてカメラ画像のフレームレートが高い状況においてはデプス画像の補間結果に改善の余地があった。
【０００９】
そこで、本開示の目的は、より品質が高い補間デプス画像を取得可能とすることである。
【課題を解決するための手段】
【００１０】
本開示によれば、画像生成装置は、
（１）被写体を含む撮影範囲における輝度に関する情報を画素毎に含むカメラ画像であって、第１時刻に撮影された第１カメラ画像と、前記第１時刻の後の時刻である第２時刻に撮影された第２カメラ画像と、前記第２時刻の後の時刻である第３時刻に撮影された第３カメラ画像と、を取得し、
前記撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、前記第１時刻に撮影された第１デプス画像と、前記第３時刻に撮影された第３デプス画像と、を取得し、
前記第１カメラ画像と、前記第２カメラ画像と、前記第３カメラ画像と、前記第１デプス画像と、前記第３デプス画像と、に基づき、前記第２時刻の前記デプス画像である第２デプス画像を生成し、
生成した前記第２デプス画像を出力する、
制御部を備え、
前記制御部は、
前記第２デプス画像の注目画素について、
前記第１カメラ画像と、前記第２カメラ画像とに基づき、前記第１時刻と前記第２時刻との間における前記被写体の動きを示す第１動きベクトルを取得し、
前記第２カメラ画像と、前記第３カメラ画像とに基づき、前記第２時刻と前記第３時刻との間における前記被写体の動きを示す第２動きベクトルを取得し、
前記第１動きベクトルに基づき、前記第１デプス画像の前記注目画素に対応する画素における第１デプス値を取得し、
前記第２動きベクトルに基づき、前記第３デプス画像の前記注目画素に対応する画素における第３デプス値を取得し、
前記第１デプス値と、前記第３デプス値と、の重み付き調和平均により、前記第２デプス画像の前記注目画素のデプス値である第２デプス値を取得する。
（【００１１】以降は省略されています）

関連特許