特許ウォッチ

公開番号2025007251
公報種別公開特許公報(A)
公開日2025-01-17
出願番号2023108527
出願日2023-06-30
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 19/00 20110101AFI20250109BHJP(計算;計数)
要約【課題】ユーザに対する仮想視点画像の魅力をより高める。
【解決手段】被写体の仮想視点画像を生成する画像処理装置。被写体の三次元モデルを取得する。被写体の状況を示す情報を取得する。被写体の三次元モデル及び被写体の状況を示す情報に応じた被写体の仮想視点画像を生成する。
【選択図】図7
特許請求の範囲【請求項１】
被写体の仮想視点画像を生成する画像処理装置であって、
前記被写体の三次元モデルを取得するモデル取得手段と、
前記被写体の状況を示す情報を取得する情報取得手段と、
前記被写体の三次元モデル及び前記被写体の状況を示す情報に応じた前記被写体の仮想視点画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。
続きを表示（約 800 文字）【請求項２】
複数のカメラのそれぞれによる前記被写体の撮像画像に基づいて前記被写体の姿勢を推定する姿勢推定手段をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記被写体は人であり、前記姿勢推定手段は、前記人の関節の位置に基づいて前記被写体の姿勢を推定することを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記情報取得手段は、前記被写体の撮像画像に基づいて前記被写体の状況を示す情報を生成することを特徴とする、請求項１に記載の画像処理装置。
【請求項５】
前記情報取得手段は、前記被写体の姿勢の推定結果に基づいて前記被写体の状況を示す情報を生成することを特徴とする、請求項１に記載の画像処理装置。
【請求項６】
前記被写体の状況を示す情報は、複数の時刻にわたる被写体の位置、姿勢、形状、又は外観の変化に基づいて算出される情報であることを特徴とする、請求項１に記載の画像処理装置。
【請求項７】
前記被写体の状況を示す情報は、被写体に関して生じたイベントを示す情報であることを特徴とする、請求項１に記載の画像処理装置。
【請求項８】
前記被写体の状況を示す情報は、前記被写体の動き、姿勢変化、形状変化、又は状況の分類結果を示す情報であることを特徴とする、請求項１に記載の画像処理装置。
【請求項９】
前記被写体の状況を示す情報は、被写体について特定の動き又は姿勢変化が生じたことを示す情報であることを特徴とする、請求項１に記載の画像処理装置。
【請求項１０】
前記被写体の状況を示す情報は、前記被写体の動きの解析結果を示す情報であることを特徴とする、請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、及びプログラムに関し、特に仮想視点映像の表示に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
それぞれ異なる位置に配置された複数の撮像装置による同期撮影を行い、こうして得られた複数視点からの画像を用いて指定された仮想視点からの仮想視点画像を生成する技術が注目されている。この技術によれば、例えばサッカー又はバスケットボールのハイライトシーンを様々な角度から見ることができる。このため、通常の画像と比較して、ユーザは高い臨場感を受けることができる。
【０００３】
また、複数の撮像装置によって撮影された被写体の画像を用いて、被写体である人物の姿勢を推定する技術が知られている。例えば、非特許文献１では、サッカーなどの競技が複数のカメラで撮影される。また、それぞれの撮像画像における選手の二次元の姿勢情報が算出される。そして、複数の二次元の姿勢情報を組み合わせることで、選手の三次元の姿勢情報が推定される。
【先行技術文献】
【非特許文献】
【０００４】
Lewis Bridgeman et al. "Multi-person 3d pose estimation and tracking in sports." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops. 2019.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
仮想視点画像コンテンツの魅力をより高めることが求められている。例えば、仮想視点を設定できるために、様々な仮想視点画像が生成されうる。いくつかの仮想視点画像においては、仮想視点画像が表すシーンの把握が容易ではないかもしれない。仮想視点画像が表すシーンの把握をより容易にすることにより、ユーザにとっての仮想視点画像の魅力が高まるものと考えられる。
【０００６】
本発明は、ユーザに対する仮想視点画像の魅力をより高めることを目的とする。
【課題を解決するための手段】
【０００７】
一実施形態に係る画像処理装置は以下の構成を備える。すなわち、
被写体の仮想視点画像を生成する画像処理装置であって、
前記被写体の三次元モデルを取得するモデル取得手段と、
前記被写体の状況を示す情報を取得する情報取得手段と、
前記被写体の三次元モデル及び前記被写体の状況を示す情報に応じた前記被写体の仮想視点画像を生成する生成手段と、
を備える。
【発明の効果】
【０００８】
ユーザに対する仮想視点画像の魅力をより高めることができる。
【図面の簡単な説明】
【０００９】
一実施形態に係る仮想視点映像生成システムの例を示す図。
カメラ配置の例を示す図。
撮像画像及び前景マスク画像の例を示す図。
視体積交差法について説明する図。
三次元モデルについて説明する図。
三次元モデルに対する色付け方法を説明する図。
一実施形態に係る画像処理装置の機能構成例を示す図。
姿勢情報の例を示す図。
被写体の姿勢推定方法について説明する図。
仮想視点画像の例を示す図。
被写体情報に応じて生成された仮想視点画像の例を示す図。
被写体情報に応じて生成された仮想視点画像の例を示す図。
一実施形態に係る画像処理装置のハードウェア構成例を示す図。
一実施形態に係る画像処理方法のフローチャート。
表示モードを選択するためのユーザインタフェースの例を示す図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許