特許ウォッチ

公開番号2025026664
公報種別公開特許公報(A)
公開日2025-02-21
出願番号2024215978,2023056850
出願日2024-12-10,2023-03-31
発明の名称情報処理装置、情報処理方法およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 19/00 20110101AFI20250214BHJP(計算;計数)
要約【課題】予め設定した仮想カメラの変化速度では、被写体の動きに対応できない虞がある。
【解決手段】仮想カメラ制御装置110は、第1部材に対する操作に対応する入力であって、仮想カメラの位置または前記仮想カメラに対応する注視点の位置に対応するパラメータと、前記仮想カメラの向きに対応するパラメータと、前記仮想カメラの画角に対応するパラメータとを含む仮想カメラパラメータを変更する入力に対応する入力情報を取得し、第2部材に対する操作に基づいて特定される前記第1調整パラメータを取得し、第3部材に対する操作量に応じて変更される前記第2調整パラメータを取得し、前記入力と前記第1調整パラメータと前記第2調整パラメータとに基づいて、前記仮想カメラパラメータの変更量を決定する。
【選択図】図4
特許請求の範囲【請求項１】
第１部材に対する操作に対応する入力であって、複数の撮像装置により被写体を撮像することによって得られる複数の撮像画像に基づいて生成される仮想視点画像に対応する仮想カメラの位置または前記仮想カメラに対応する注視点の位置に対応するパラメータと、
前記仮想カメラの向きに対応するパラメータと、前記仮想カメラの画角に対応するパラメータとを含む仮想カメラパラメータを変更する入力に対応する入力情報を取得する第１取得手段と、
前記操作の操作量に対する前記仮想カメラパラメータの変更量を調整し、第２部材に対する操作に基づいて特定される第１調整パラメータであって、前記第２部材に対する操作がない場合、直前の入力にて取得した前記第１調整パラメータを保持する前記第１調整パラメータを取得する第２取得手段と、
前記操作の操作量に対する前記仮想カメラパラメータの変更量を調整し、第３部材に対する操作に基づいて特定される第２調整パラメータであって、前記第３部材に対する操作がない場合、初期値に変更される前記第２調整パラメータを取得する第３取得手段と、
前記入力情報と前記第１調整パラメータと前記第２調整パラメータとに基づいて、前記仮想カメラパラメータの変更量を決定する決定手段と
を有する事を特徴とする情報処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記第１調整パラメータは、前記仮想カメラの位置を示すＸ、Ｙ、Ｚ、前記仮想カメラの位置と前記注視点の位置との距離、前記仮想カメラの向きを示すパン、チルト、ロール、前記仮想カメラの画角、それぞれに対応するパラメータに対し、前記操作の操作量に対する変更量を調整することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第２調整パラメータは、前記仮想カメラパラメータの変化速度を大きくするためのパラメータまたは前記仮想カメラパラメータの変化速度を小さくするためのパラメータであることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記第２調整パラメータは、前記第３部材に対する操作がある場合、前記第３部材に対する操作量に基づいて決定されることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記第１部材は、ジョイスティックであることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記第２部材は、つまみであることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記第３部材は、フットペダルであることを特徴とする請求項１に記載の情報処理装置。
【請求項８】
更に、前記操作の操作量に対する前記仮想カメラの位置および前記仮想カメラの向きを変更する変更量を調整するパラメータである第３調整パラメータであって、第４部材に対する操作量に応じて変更される前記第３調整パラメータを取得する第４取得手段と、
前記決定手段は、前記入力と、前記第１調整パラメータと、前記第２調整パラメータと、前記第３調整パラメータとに基づいて、前記変更量を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項９】
更に、前記操作の操作量に対する前記仮想カメラの位置および前記仮想カメラの向きの感度を変更するパラメータである第４調整パラメータを取得する第５取得手段と、
前記決定手段は、前記入力と、前記第１調整パラメータと、前記第２調整パラメータと、前記第４調整パラメータとに基づいて、前記変更量を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記感度は、反応曲線に基づいて決定されることを特徴とする請求項９に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、仮想視点映像を生成する技術に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
複数の撮像装置を異なる位置に設置し多視点で同期撮像し、当該撮像により得られた複数の撮像画像を用いて、仮想空間上の任意の視点（仮想カメラ）からの見えを表す仮想視点画像を生成する技術が注目されている。仮想カメラを操作するユーザは、生成される仮想視点画像を参考に仮想カメラを操作する。そのため、ライブ配信用の仮想視点画像を生成したい場合、ユーザは被写体をどのように撮像するか仮想視点画像における構図を考え、予め被写体の動きを予想し、仮想カメラの位置と向き、画角を操作する。この時、仮想カメラの操作を容易にするために、仮想カメラの位置および方向を操作する際の１フレームあたりの変化速度を、ユーザの好みに合わせて変更する技術が存在する。さらに、特許文献１には、生成される仮想視点画像がオンエア中か否かにより、予め仮想カメラの変化速度が変化するように設定することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１９０９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、被写体を撮像した複数の撮像画像を用いて仮想視点画像を生成する場合、被写体の動きが予想できないことがあり、予め設定した仮想カメラの変化速度では対応できない虞がある。例えば、被写体に徐々に近づく映像を生成している際に、被写体が急に大きく移動した場合、予め設定した仮想カメラの変化速度では対応できず、被写体を適切な位置に映す映像を生成できない。また、野球やサッカーなど、選手とボールといった被写体ごとに移動速度が大きく異なる競技において、仮想カメラの変化速度を予め設定する場合、両方の被写体に適した仮想カメラの変化速度を設定できない虞があった。
【０００５】
そこで、本開示は、被写体の動きに対応した仮想カメラの操作を容易にすることを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するための本開示の画像処理装置は以下の構成を有する。すなわち、第１部材に対する操作に対応する入力であって、複数の撮像装置により被写体を撮像することによって得られる複数の撮像画像に基づいて生成される仮想視点画像に対応する仮想カメラの位置または前記仮想カメラに対応する注視点の位置に対応するパラメータと、前記仮想カメラの向きに対応するパラメータと、前記仮想カメラの画角に対応するパラメータとを含む仮想カメラパラメータを変更する入力に対応する入力情報を取得する第１取得手段と、
前記操作の操作量に対する前記仮想カメラパラメータの変更量を調整し、第２部材に対する操作に基づいて特定される第１調整パラメータであって、前記第２部材に対する操作がない場合、直前の入力にて取得した前記第１調整パラメータを保持する前記第１調整パラメータを取得する第２取得手段と、
前記操作の操作量に対する前記仮想カメラパラメータの変更量を調整し、第３部材に対する操作に基づいて特定される第２調整パラメータであって、前記第３部材に対する操作がない場合、初期値に変更される前記第２調整パラメータを取得する第３取得手段と、
前記入力情報と前記第１調整パラメータと前記第２調整パラメータとに基づいて、前記仮想カメラパラメータの変更量を決定する決定手段と
を有する。
【発明の効果】
【０００７】
本開示によれば、被写体の動きに対応した仮想カメラの操作を容易にすることができる。
【図面の簡単な説明】
【０００８】
実施形態１に係る画像処理システム１００のシステム構成図である。
実施形態１に係る仮想カメラ制御装置１１０のハードウェア構成図である。
実施形態１に係る注視点座標と仮想カメラ位置の関係を説明する図である。
実施形態１に係る仮想カメラ制御装置１１０の仮想カメラパラメータを算出する処理のフローチャートである。
実施形態１に係るコントローラの値を表示するＧＵＩの一例を示す図である。
実施形態１に係るジョイスティックの一例を示す図である。
実施形態１に係るフットペダルの一例を示す図である。
実施形態１に係るつまみを有するコントローラの一例を示す図である。
実施形態２に係る画像処理システム１００のシステム構成図である。
実施形態２に係る仮想カメラ制御装置１１０の仮想カメラパラメータを算出する処理のフローチャートである。
実施形態２に係るアクセル・ブレーキを反映させる仮想カメラパラメータを指定する為のＧＵＩの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本開示の実施形態について、図面を参照して説明する。なお、以下の実施形態は本開示を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせのすべてが本開示の解決手段に必須のものとは限らない。
【００１０】
＜実施形態１＞
本実施形態では、複数の撮像装置による撮像に基づく複数の画像に基づいて生成される仮想視点画像に対応する仮想カメラのカメラパラメータの変化速度を調整するパラメータを説明する。変化速度を調整するパラメータとして、予め設定される第１調整パラメータと、ユーザによる仮想カメラの操作中に随時変更される第２調整パラメータが存在する。
上記、２つの調整パラメータを組み合わせることにより、被写体の動きに対応した仮想カメラの操作を容易にすることができる。
（【００１１】以降は省略されています）

関連特許