特許ウォッチ

公開番号2024178710
公報種別公開特許公報(A)
公開日2024-12-25
出願番号2023097066
出願日2023-06-13
発明の名称画像処理装置、制御方法、およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 19/00 20110101AFI20241218BHJP(計算;計数)
要約【課題】仮想視点映像中の選手に関する情報を仮想視点映像の試聴体験を妨げずに視聴者に提供する。
【解決手段】画像処理装置は、被写体の位置を検出する検出手段と、仮想視点素材から仮想視点映像を生成する映像生成手段と、前記検出手段の検出する被写体位置情報に基づいた位置に被写体情報として被写体の移動に関する情報を表示する表示手段とを備える。
【選択図】図1
特許請求の範囲【請求項１】
被写体の位置を検出する検出手段と
仮想視点素材から仮想視点映像を生成する映像生成手段と
前記検出手段の検出する被写体位置情報に基づいた位置に被写体情報として被写体の移動に関する情報を表示する表示手段とを備える画像処理装置。
続きを表示（約 920 文字）【請求項２】
前記表示手段が複数の時刻の前記被写体位置情報より前記被写体の速度および進行方向を求める算出手段を備え、前記被写体情報として、速度および進行方向を表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示手段が前記被写体情報として、被写体位置の近傍に矢印ないしは三角形またはそれに類するアイコンを用いて被写体の進行方向を指し示すことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記表示手段が前記被写体情報として、算出した被写体の速度に基づき、進行方向を示す前記アイコンの大きさ、長さ、色の少なくとも一つを変更することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記表示手段が前記被写体情報として、前記被写体位置情報に基づき前記被写体の足とも近傍に円形ないしは被写体を囲む他のアイコンを表示することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記仮想視点素材に複数の被写体が含まれる場合に、前記表示手段がそれぞれの被写体に対して前記被写体位置情報に基づいた情報を表示することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記表示手段が、前記仮想視点素材に含まれる被写体であっても、あらかじめ指定されていない被写体に関しては被写体情報の表示を行わないことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
被写体の位置を検出する検出工程と
仮想視点素材から仮想視点映像を生成する映像生成工程と
前記検出工程で検出した被写体位置情報に基づいた位置に被写体情報として被写体の移動に関する情報を表示する表示工程を有することを特徴とする制御方法。
【請求項９】
被写体の位置を検出する検出工程と
仮想視点素材から仮想視点映像を生成する映像生成工程と
前記検出工程で検出した被写体位置情報に基づいた位置に被写体情報として被写体の移動に関する情報を表示する表示工程とをコンピュータに実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、仮想視点映像を生成する画像処理装置に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
複数のカメラを用いた撮影システムで撮像された画像をもとに、ユーザが指定した仮想視点から見た画像である仮想視点映像を生成する仮想視点映像生成システムがある。特許文献１では、複数のカメラで撮像した画像を伝送したのち、画像コンピューティングサーバ（画像処理装置）で、撮像した画像のうち変化が大きいものを前景画像とし、変化が小さいものを背景画像として抽出するシステムが記載されている。
【０００３】
また、スポーツなどにおいては選手に取り付けたセンサや、複数方向の映像から選手の位置情報を検出することがなされている。選手の位置情報は、例えば、選手へのコーチングや、放送における解説などに使われる。
【先行技術文献】
【特許文献】
【０００４】
特開２０１７－２１１８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で選手の移動速度や進行方向などの情報は、目まぐるしく変動する情報である。そのため、選手の情報を例えば数値で示した場合、視聴者にとって一見して把握することが難しい場合があった。また、それによりユーザの視聴体験を妨げる可能性があった。
【課題を解決するための手段】
【０００６】
画像処理装置は、被写体の位置を検出する検出手段と、仮想視点素材から仮想視点映像を生成する映像生成手段と前記検出手段の検出する被写体位置情報に基づいた位置に被写体情報として被写体の移動に関する情報を表示する表示手段とを備える。
【発明の効果】
【０００７】
本発明によれば、仮想視点映像中の選手に関する情報を仮想視点映像の試聴体験を妨げずに視聴者に提供することができる。
【図面の簡単な説明】
【０００８】
画像処理システムの一例を示すブロック図である。
（ａ）被写体の位置の一例を示す図である。（ｂ）形状抽出部によって抽出された被写体の一例を表す図である。（ｃ）状態のことなる被写体の位置の一例を示す図である。（ｄ）形状抽出部によって抽出された被写体の一例を表す図である。（ｅ）抽出形状の一例を示す図である。
（ａ）識別子を付与された抽出形状の一例である。（ｂ）抽出形状および識別子を表示するためのグラフィカルユーザインタフェースの一例である。
代表位置の一例を示す図である。
追跡部による追跡解析の処理の一例を示すフローチャートである。
映像生成部による被写体情報重畳の処理の一例を示すフローチャート。
映像生成部による生成される映像の例。
被写体の速度および進行方向を表示するマークの例。
コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【０００９】
［第一の実施形態］
（画像処理装置のシステム構成と動作）
本実施形態に係わる仮想視点映像を生成する画像処理システムの構成の一例を図１に示す。画像処理システムは例えば撮像部１、同期部２、三次元形状推定部３、蓄積部４、視点指示部５、映像生成部６、表示部７、被写体位置検出部８を含んで構成される。また、映像生成部６は前景映像生成部６１、背景映像生成部６２、被写体情報映像生成部６３、映像合成部６４を含み構成され、被写体位置検出部８は形状抽出部１１、追跡部１２、被写体位置算出部１３，識別設定部１４を含み構成される。なお、画像処理システムは、１つの画像処理装置によって構成されてもよいし、複数の画像処理装置によって構成されるシステムでもよい。以下の説明では、画像処理システムは、１つの画像処理装置であるとして説明する。
【００１０】
本システムを適用する仮想視点映像を生成する画像処理装置における、各構成の動作の概略を説明する。まず複数の撮像部１が、同期部２による同期信号に基づいて互いに同期して撮像を行う。撮像部１は撮影した撮影画像を三次元形状推定部３に出力する。なお、撮像部１は、被写体を複数の方向から撮影可能とするため、被写体を含む撮影領域を囲むように設置される。三次元形状推定部３は、入力された複数視点からの撮影画像を用いて、たとえば被写体のシルエットを抽出したうえで、視体積交差法などを用いて被写体の三次元形状を生成する。また三次元形状推定部３は生成した被写体の三次元形状及び、撮影画像を蓄積部４に出力する。ここで、被写体は三次元形状生成の対象となる物体のことであり、人物や人物が扱う物品などを含む。
（【００１１】以降は省略されています）

関連特許