特許ウォッチ

公開番号2024058941
公報種別公開特許公報(A)
公開日2024-04-30
出願番号2022166369
出願日2022-10-17
発明の名称制御装置、制御方法及びコンピュータプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 19/00 20110101AFI20240422BHJP(計算;計数)
要約【課題】仮想カメラの操縦者が自動制御を行うカメラパラメータを手動操作したい場合に、操作者の意図通りに仮想カメラを移動できなくなる虞がある。
【解決手段】仮想カメラの位置または仮想カメラの姿勢を変更する変更情報を取得し、仮想カメラの位置を変更する情報か、仮想カメラの姿勢を変更する情報かを判定し、判定結果に基づいて特定のオブジェクトが仮想カメラの光軸上に位置するように仮想カメラの位置および姿勢を変更する。
【選択図】図4
特許請求の範囲【請求項１】
複数の撮像装置により撮像される複数の撮像画像に基づいて生成される仮想視点画像に対応する仮想カメラの位置または仮想カメラの姿勢を変更する変更情報を取得する取得手段と、
前記変更情報が、仮想カメラの位置を変更する情報か、仮想カメラの姿勢を変更する情報かを判定する判定手段と、
前記変更情報が前記仮想カメラの位置を変更する情報である場合、前記変更情報に基づいて前記仮想カメラの位置を変更しつつ前記特定のオブジェクトが前記仮想カメラの光軸上に位置するように前記仮想カメラの姿勢を変更し、前記変更情報が前記仮想カメラの姿勢を変更する情報である場合、前記変更情報に基づいて前記仮想カメラの姿勢を変更しつつ前記特定のオブジェクトが前記仮想カメラの光軸上に位置するように前記仮想カメラの位置を変更する変更手段と、
を有することを特徴とする情報処理装置。
続きを表示（約 990 文字）【請求項２】
前記変更手段は、前記変更情報が前記仮想カメラの姿勢を変更する情報である場合、前記変更情報に基づいて前記仮想カメラの姿勢を変更し、さらに前記特定のオブジェクトと前記仮想カメラのとの距離を一定に保つように前記仮想カメラの位置を変更することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
更に、前記変更手段による変更を行うか否かを判定する変更判定手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記変更判定手段は、前記仮想カメラの注視点から所定の距離に前記特定のオブジェクトが位置していない場合に前記変更手段による変更を行うと判定し、前記仮想カメラの注視点から所定の距離に前記特定のオブジェクトが位置している場合に前記変更手段による変更を行わないと判定することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記取得手段は、オブジェクトの３次元モデルを取得し、
前記変更手段は、前記特定のオブジェクトの３次元モデルの重心位置が前記仮想カメラの光軸上に位置するように前記仮想カメラの位置および姿勢を変更することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記仮想カメラの位置は、Ｘ軸、Ｙ軸、Ｚ軸のパラメータで表現され、
前記仮想カメラの姿勢は、パン、チルト、ロールのパラメータで表現されることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
更に、特定のオブジェクトを設定する設定手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記設定手段は、操作者による操作に基づいて、前記特定のオブジェクトを設定することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記設定手段は、複数のオブジェクトの中から前記特定のオブジェクトを指定する入力に基づいて、前記特定のオブジェクトを設定することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記設定手段は、前記仮想カメラの注目点に最も近いオブジェクトを前記特定オブジェクトと設定することを特徴とする請求項７に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、仮想視点映像を生成する仮想カメラの制御装置、制御方法およびコンピュータプログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。この技術をテレビ等のスポーツ中継に適用した場合、従来の撮影画像と比較して高い自由度かつ臨場感のある映像コンテンツを生成することができる。
【０００３】
このとき、仮想カメラの操作者は、試合のシーン、具体的には選手やボールの動きなどに応じて、そのシーンに適した映像となるように仮想カメラの位置や向きを指定する必要がある。仮想カメラは、併進および回転に対してそれぞれ３自由度を持ち、被写体に合わせて位置や向きを自由に操作可能である。仮想カメラの操縦者は、仮想カメラが常に特定の選手やボールを向くよう姿勢を変化させる、といったシーンを撮影する場合、移動する被写体を画角内の所望の位置に捉え続けるために複数の自由度を操作しなければならない。そのため、移動する被写体を画角内の所望の位置にとらえ続けるために、仮想カメラの位置だけを手動操作し、仮想カメラの姿勢は被写体に常に向くように自動制御するなど、移動操作を簡易化したいという要望がある。
【０００４】
特許文献１では、自動制御を行うカメラパラメータと手動操作を行うカメラパラメータを予め設定することにより、被写体が速く複雑に移動するシーンであっても、仮想カメラの画角内に被写体の所望の場所を捉え続けることを可能とする技術が示されている。
【先行技術文献】
【特許文献】
【０００５】
特開２０２１－１７７３５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、自動制御を行うカメラパラメータと手動操作を行うカメラパラメータを予め設定するため、操作者（ユーザ）が手動操作したいカメラパラメータが変化した場合、操作者の意図通りに仮想カメラを移動できなくなる虞がある。
【０００７】
本開示は上記の課題に鑑みてなされたものであり、仮想カメラの操作者が意図した仮想視点画像を、容易な操作で撮影することを目的とする。
【課題を解決するための手段】
【０００８】
本開示の一態様に係る情報処理装置は、
複数の撮像装置により撮像される複数の撮像画像に基づいて生成される仮想視点画像に対応する仮想カメラの位置または仮想カメラの姿勢を変更する変更情報を取得する取得手段と、
特定のオブジェクトを設定する設定手段と、
前記変更情報が、仮想カメラの位置を変更する情報か、仮想カメラの姿勢を変更する情報かを判定する判定手段と、
前記変更情報と前記判定手段の判定結果とに基づいて、前記特定のオブジェクトが前記仮想カメラの光軸上に位置するように前記仮想カメラの位置および姿勢を変更する変更手段と、
を有することを特徴とする。
【発明の効果】
【０００９】
本開示によれば、仮想カメラの操縦者が意図した仮想視点画像を、容易な操作で撮影することができる。
【図面の簡単な説明】
【００１０】
画像処理システム全体の構成図である。
情報処理装置の構成図である。
世界座標系及び仮想カメラのカメラパラメータ・移動操作を示す図である。
画像処理装置の機能構成例を示す図である。
仮想カメラの移動操作と注視時に自動制御されるカメラパラメータの対応例を示す図である。
実施形態１に係る仮想カメラのカメラパラメータの修正例を示す図である。
実施形態１に係る画像処理装置の処理を表すフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許