特許ウォッチ

公開番号2024055093
公報種別公開特許公報(A)
公開日2024-04-18
出願番号2022161719
出願日2022-10-06
発明の名称画像処理装置、制御方法、およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 7/70 20170101AFI20240411BHJP(計算;計数)
要約【課題】仮想視点映像の生成において、人物の位置の追跡を容易にする。
【解決手段】画像処理装置は、被写体を複数の方向から撮像する撮像手段と、前記撮像手段によって取得された撮影画像を用いて前記被写体の三次元形状を推定する推定手段と、仮想視点情報を出力する視点指示手段と、前記撮影画像、前記三次元形状、および前記仮想視点情報に基づいて仮想視点映像を生成する映像生成手段と、前記三次元形状の一部を切り出して抽出形状として出力する形状抽出手段と、前記抽出形状に識別子を設定する識別設定手段と、前記抽出形状の位置の追跡を行う追跡手段と、前記追跡手段の追跡結果に基づき同一識別子を付与された抽出形状の代表位置を求めそれを被写体位置として出力する被写体位置算出手段を有する。
【選択図】図1
特許請求の範囲【請求項１】
被写体を複数の方向から撮像する撮像手段と、
前記撮像手段によって取得された撮影画像を用いて前記被写体の三次元形状を推定する推定手段と、
仮想視点情報を出力する視点指示手段と、
前記撮影画像、前記三次元形状、および前記仮想視点情報に基づいて仮想視点映像を生成する映像生成手段と、
前記三次元形状の一部を切り出して抽出形状として出力する形状抽出手段と、
前記抽出形状に識別子を設定する識別設定手段と、
前記抽出形状の位置の追跡を行う追跡手段と、
前記追跡手段の追跡結果に基づき同一識別子を付与された抽出形状の代表位置を求めそれを被写体位置として出力する被写体位置算出手段と
を有する画像処理装置。
続きを表示（約 900 文字）【請求項２】
前記識別設定手段は、前記抽出形状に対して、初期状態の識別子を設定することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記識別設定手段は、各抽出形状間の距離に基づいて、各抽出形状に識別子を設定することを特徴とする、請求項１または２に記載の画像処理装置。
【請求項４】
前記識別設定手段は、各抽出形状がいずれの前記三次元形状の外接直方体の中に含まれるか否かを判定し、同じ外接直方体に含まれる場合には同一の識別子を設定することを特徴とする、請求項１または２に記載の画像処理装置。
【請求項５】
前記識別設定手段は、所定の識別子を付与する領域を設定し、該領域に含まれる抽出形状に対して該領域に設定された所定の識別子を設定することを特徴する、請求項１または２に記載の画像処理装置。
【請求項６】
前記識別設定手段は、割り当てた識別子に対してユーザの指示に応じて識別子の再割り当てを行うことを特徴とする、請求項１または２に記載の画像処理装置。
【請求項７】
前記形状抽出手段は、前記抽出形状を床面に相当する二次元平面に平行投影した二次元画像としたうえで、二次元画像上で独立した領域ごとに切り出すとともに、該二次元画像上の各領域の外接矩形を抽出形状として出力することを特徴とする、請求項１に記載の画像処理装置。
【請求項８】
前記形状抽出手段は、各三次元形状の外接直方体の底面から所定の高さまでの形状を切り出すことを特徴とする、請求項１に記載の画像処理装置。
【請求項９】
前記形状抽出手段は、撮影領域の床面から所定の高さまでの形状を切り出すことを特徴とする、請求項１に記載の画像処理装置。
【請求項１０】
前記形状抽出手段は、撮影領域に設置している構造物の上に前記三次元形状が位置している場合には、前記構造物の上面から所定の高さまでの形状を抽出することを特徴とする、請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、仮想視点映像を生成する画像処理装置に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
複数のカメラを用いた撮影システムで撮像された画像をもとに、ユーザが指定した仮想視点から見た画像である仮想視点映像を生成する仮想視点映像生成システムがある。特許文献１では、複数のカメラで撮像した画像を伝送したのち、画像コンピューティングサーバ（画像処理装置）で、撮像した画像のうち変化が大きいものを前景画像とし、変化が小さいものを背景画像として抽出するシステムが記載されている。
【０００３】
また、近年、ヘッドマウントディスプレイ（ＨＭＤ）などを用いた仮想現実（ＶｉｒｔｕａｌＲｅａｌｉｔｙ：ＶＲ）などにおいて、３ＤＣＧで作られた仮想空間内にいるような視聴体験が行えるようになってきている。また、その仮想現実の中でアバターなどを用いたバーチャルアーティストがコンサートを開催することもなされてきている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１７－２１１８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このようなコンサートにおいて、前述の仮想視点映像によって、実際のアーティストのコンサートを仮想の３Ｄ空間に再現することが求められてきている。実際のアーティストのコンサートを仮想視点映像によって仮想の３Ｄ空間に再現する場合では、例えばアーティストの位置に合わせて音源を合成するために、アーティストの位置の追跡が必要である。しかし、特にアーティストが複数人いる場合において、個々の人物の位置を追跡することが難しい場合があった。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、被写体を複数の方向から撮像する撮像手段と、前記撮像手段によって取得された撮影画像を用いて前記被写体の三次元形状を推定する推定手段と、仮想視点情報を出力する視点指示手段と、前記撮影画像、前記三次元形状、および前記仮想視点情報に基づいて仮想視点映像を生成する映像生成手段と、前記三次元形状の一部を切り出して抽出形状として出力する形状抽出手段と、前記抽出形状に識別子を設定する識別設定手段と、前記抽出形状の位置の追跡を行う追跡手段と、前記追跡手段の追跡結果に基づき同一識別子を付与された抽出形状の代表位置を求めそれを被写体位置として出力する被写体位置算出手段を有する。
【発明の効果】
【０００７】
本発明によれば、仮想視点映像の生成において、人物の位置の追跡を容易にする。
【図面の簡単な説明】
【０００８】
画像処理システムの一例を示すブロック図である。
（ａ）被写体の位置の一例を示す図である。（ｂ）形状抽出部によって抽出された被写体の一例を表す図である。（ｃ）状態のことなる被写体の位置の一例を示す図である。（ｄ）形状抽出部によって抽出された被写体の一例を表す図である。（ｅ）抽出形状の一例を示す図である。
（ａ）識別子を付与された抽出形状の一例である。（ｂ）抽出形状および識別子を表示するためのグラフィカルユーザインタフェースの一例である。
代表位置の一例を示す図である。
追跡部による追跡解析の処理の一例を示すフローチャートである。
抽出形状に識別子を付与する方法の一例である。
グラフィカルユーザインターフェースから識別子の再割り当てを行うことを説明するための図である。
視点指示部が被写体位置情報を利用することを説明するための図である。
コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【０００９】
［第一の実施形態］
（画像処理装置のシステム構成と動作）
本実施形態に係わる仮想視点映像を生成する画像処理システムの構成の一例を図１に示す。画像処理システムは例えば撮像部１、同期部２、三次元形状推定部３、蓄積部４、視点指示部５、映像生成部６、表示部７、収音部８、音響信号生成部９，音響出力部１０、形状抽出部１１、追跡部１２、被写体位置算出部１３，識別設定部１４を含んで構成される。なお、画像処理システムは、１つの画像処理装置によって構成されてもよいし、複数の画像処理装置によって構成されるシステムでもよい。以下の説明では、画像処理システムは、１つの画像処理装置であるとして説明する。
【００１０】
本システムを適用する仮想視点映像を生成する画像処理装置における、各構成の動作の概略を説明する。まず複数の撮像部１が、同期部２による同期信号に基づいて互いに同期して撮像を行う。撮像部１は撮影した撮影画像を三次元形状推定部３に出力する。なお、撮像部１は、被写体を複数の方向から撮影可能とするため、被写体を含む撮影領域を囲むように設置される。三次元形状推定部３は、入力された複数視点からの撮影画像を用いて、たとえば被写体のシルエットを抽出したうえで、視体積交差法などを用いて被写体の三次元形状を生成する。また三次元形状推定部３は生成した被写体の三次元形状及び、撮影画像を蓄積部４に出力する。ここで、被写体は三次元形状生成の対象となる物体のことであり、人物や人物が扱う物品などを含む。
（【００１１】以降は省略されています）

関連特許