特許ウォッチ

公開番号2024132701
公報種別公開特許公報(A)
公開日2024-10-01
出願番号2023043585
出願日2023-03-17
発明の名称情報処理システム、情報処理装置、情報処理方法、およびプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類H04N 23/61 20230101AFI20240920BHJP(電気通信技術)
要約【課題】
オブジェクトの状況に応じた適切な仮想視点を、予め登録された仮想視点の情報に基づき容易に設定できるようにすること。
【解決手段】
オブジェクト情報取得部は、視点プリセット情報の読み出しを指示する入力において指定されたタイムコードにおける、生成されたオブジェクトの3次元モデルからオブジェクト情報を取得する。解析部は、視点プリセット情報に含まれる補正基準オブジェクト管理テーブルの情報と、オブジェクト情報取得部で取得したオブジェクト情報とに基づき、補正基準オブジェクトを検出する。解析部は、補正基準オブジェクトのオブジェクト情報と視点プリセット情報に含まれる補正方法情報管理テーブルの情報とに基づいて、読み出された視点プリセット値のカメラパラメータの補正値を計算する。
【選択図】図6
特許請求の範囲【請求項１】
複数の撮像装置で同期して撮像することにより得られた複数の画像から少なくとも１つのオブジェクトの特徴を示す特徴情報を抽出する抽出手段と、
前記複数の画像に基づき仮想視点画像を生成する際に用いる仮想視点パラメータと、当該仮想視点パラメータの補正の方法及び条件を規定する補正情報とを含むプリセット情報を取得する取得手段と、
前記抽出手段により抽出された前記特徴情報と前記取得手段により取得された前記プリセット情報とに基づき、前記仮想視点パラメータを補正する補正手段と、
を備えたことを特徴とする情報処理システム。
続きを表示（約 1,000 文字）【請求項２】
前記補正手段は、前記特徴情報と当該特徴情報の満たしている前記補正の条件が規定された補正情報を含む前記プリセット情報に含まれる前記補正の方法とに基づき、当該プリセット情報に含まれる前記仮想視点パラメータを補正する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記補正の条件とは、補正の基準とすべきオブジェクトが満たすべき条件である、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項４】
オブジェクトを指定するための指定情報を受け付ける受け付け手段をさらに備え、
前記抽出手段は、前記受け付け手段により受け付けた指定情報に対応するオブジェクトの特徴情報を抽出する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項５】
前記指定情報は、前記複数の画像のタイムコードと、オブジェクトの識別情報、オブジェクトの位置情報、及びオブジェクトの外観情報の少なくとも１つとを含み、
前記抽出手段は、前記指定情報に含まれるタイムコードに対応する前記複数の画像からオブジェクトを抽出する、
ことを特徴とする請求項４に記載の情報処理システム。
【請求項６】
前記受け付け手段は、ユーザが入力した前記指定情報を受け付ける、
ことを特徴とする請求項４に記載の情報処理システム。
【請求項７】
前記特徴情報は、オブジェクトの識別情報、オブジェクトの位置情報、及びオブジェクトの外観情報の少なくとも１つを含む、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項８】
前記補正の条件は、オブジェクトの識別情報、オブジェクトの位置情報、及びオブジェクトの外観情報の少なくとも１つを含む、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項９】
前記プリセット情報は、補正の有効又は無効を示すステータス情報をさらに含み、
前記補正手段は、前記ステータス情報が有効である場合のみ前記仮想視点パラメータを補正する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項１０】
前記補正手段により補正された前記仮想視点パラメータに基づき前記仮想視点画像を生成する生成手段、
をさらに備えたことを特徴とする請求項１に記載の情報処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、仮想視点映像を生成するために用いる仮想視点の制御技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、複数の撮像装置を異なる位置に設置して多視点で同期撮像し、当該撮像により得られた複数視点画像を用いて、各撮像装置の撮像画像だけでなく任意の視点からの見えを表す仮想視点画像を生成する技術が注目されている。この技術をスポーツの試合の放送または配信に適用することで、従来の撮像画像の映像と比べ、自由度や臨場感の高い映像を提供することができる。一方で仮想視点画像を生成するシステムには、よく利用される仮想視点を予め登録しておき、ユーザは登録された複数の仮想視点の中から１つを選択することで素早く簡便に仮想視点を切り替えたり、移動させたりすることができる仕組みも提供されている。例えば、仮想視点パスの開始点として登録された仮想視点を利用することで、生成する仮想視点画像の開始フレームをいつでも同じ構図にすることができる。特許文献１には、ユーザが登録された仮想視点の中からユーザが選択を行う際に、登録されている各仮想視点に基づく仮想視点画像をプレビュー表示することで、ユーザが所望の仮想視点を選択し易くできるようにした技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－１１４８６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の技術では、例えばユーザがプレビュー表示を見て、撮像対象のオブジェクトに対する仮想視点のスタート位置として適切でないと判断した場合でも、登録された仮想視点の中から選択せざるを得なかった。仮に、仮想視点の登録数を増やしてユーザによる仮想視点の選択可能性を高めたとしても、今度は多数の仮想視点の中から所望の仮想視点を見つけ出すという煩雑さが生じ、ユーザ負担が増してしまうことになる。
【０００５】
そこで本開示は、オブジェクトの状況に応じた適切な仮想視点を、予め登録された仮想視点の情報に基づき容易に設定できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本開示は、情報処理システムであって、複数の撮像装置で同期して撮像することにより得られた複数の画像から少なくとも１つのオブジェクトの特徴を示す特徴情報を抽出する抽出手段と、
前記複数の画像に基づき仮想視点画像を生成する際に用いる仮想視点パラメータと、当該仮想視点パラメータの補正の方法及び条件を規定する補正情報とを含むプリセット情報を取得する取得手段と、
前記抽出手段により抽出された前記特徴情報と前記取得手段により取得された前記プリセット情報とに基づき、前記仮想視点パラメータを補正する補正手段と、
を備えたことを特徴とする。
【発明の効果】
【０００７】
本開示によれば、オブジェクトの状況に応じた適切な仮想視点を、予め登録された仮想視点の情報に基づき容易に設定できる。
【図面の簡単な説明】
【０００８】
本実施形態に係る画像処理システム全体の構成図
世界座標系及びカメラ座標系を示す図
本実施形態に係る情報処理装置のハードウェア構成例を示す図
本実施形態に係る視点プリセット値情報の構成例を示す図
本実施形態に係る画像処理装置および情報処理装置の機能構成例を表すブロック図
本実施形態に係る仮想視点画像生成処理を表すフローチャート
本実施形態に係る読み出された視点プリセット値情報の一例を示す図
本実施形態に係る仮想カメラのカメラパラメータの補正例を示す図
本実施形態に係る視点プリセット値の読み出し操作を行うためのＵＩ画面の一例を示す図
本実施形態に係る視点プリセット値の決定処理の流れを表すフローチャート
本実施形態に係る視点プリセット情報の編集・登録操作を行うためのＵＩ画面の一例を示す図
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本開示は図示された構成に限定されるものではない。
【００１０】
［実施形態１］
図１は、本実施形態に係る画像処理システム全体の構成図である。画像処理システム１０は、撮像システム１０１、画像処理装置１０２、情報処理装置１０３から構成される。画像処理システム１０は、仮想視点画像を生成することが可能である。
（【００１１】以降は省略されています）

関連特許