特許ウォッチ

公開番号2024158729
公報種別公開特許公報(A)
公開日2024-11-08
出願番号2023074205
出願日2023-04-28
発明の名称情報処理装置、情報処理方法およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 19/00 20110101AFI20241031BHJP(計算;計数)
要約【課題】構造物の形状が複雑になると、仮想カメラのユーザが所望のカメラパスを簡易な操作で得ることは困難であった。
【解決手段】情報処理装置103は、ユーザ用表示部402aにおいて構造物に対応する第1の三次元形状データに基づいて生成された第1の仮想視点画像の表示中に、前記第1の仮想視点画像に対応する仮想カメラのユーザ操作を受け付け、カメラ操作変換部507は、前記構造物の形状を示す第2の三次元形状データであって、前記第1の三次元形状データが示す形状とは異なる形状を示す第2の三次元形状データに基づいて生成される第2の仮想視点画像に対応する仮想カメラの位置及び姿勢を示すカメラパラメータを、前記ユーザ操作に基づいて生成する。
【選択図】図5
特許請求の範囲【請求項１】
構造物に対応する第１の三次元形状データに基づいて生成された第１の仮想視点画像の表示中に、前記第１の仮想視点画像に対応する仮想カメラのユーザ操作を受け付ける受付手段と、
前記構造物の形状を示す第２の三次元形状データであって、前記第１の三次元形状データが示す形状とは異なる形状を示す第２の三次元形状データに基づいて生成される第２の仮想視点画像に対応する仮想カメラの位置及び姿勢を示すカメラパラメータを、前記ユーザ操作に基づいて生成する生成手段と、
を有することを特徴とする情報処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記第２の三次元形状データは、前記第１の三次元形状データを変形することで生成されることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
更に、ユーザ操作に基づいて変形情報を取得する取得手段を有し、
前記第２の三次元形状データは、前記変形情報に基づいて、前記第２の三次元形状データを変形することで生成されることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記変形情報は、前記第２の三次元形状データの形状を指定する情報を含むことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記第１の三次元形状データは、直線部およびカーブ部を含むコースを有し、
前記第２の三次元形状データは、前記第１の三次元形状データの前記コースを直線または円形に変形したコースを有することを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記第２の三次元形状データの有するコースは、ＸＹ平面上に位置していることを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記第２の仮想視点画像は、前記第１の仮想視点画像と異なる装置に出力されることを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記第２の仮想視点画像は、複数の撮像装置により撮像されることで取得される複数の撮像画像に基づいて生成されることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
更に、生成した前記カメラパラメータを前記第２の仮想視点画像を生成する装置に出力する出力手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
構造物に対応する第１の三次元形状データに基づいて生成された第１の仮想視点画像の表示中に、前記第１の仮想視点画像に対応する仮想カメラのユーザ操作を受け付ける受付工程と、
前記構造物の形状を示す第２の三次元形状データであって、前記第１の三次元形状データが示す形状とは異なる形状を示す第２の三次元形状データに基づいて生成される第２の仮想視点画像に対応する仮想カメラの位置及び姿勢を示すカメラパラメータを、前記ユーザ操作に基づいて生成する生成工程と、
を有することを特徴とする情報処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、仮想視点画像を生成するための技術に関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
複数の撮像装置を異なる位置に設置して同期撮像し、当該撮像により得られた複数の撮像画像を用いて、ユーザの操作で指定された仮想的な視点（仮想カメラ）からの見えを表す画像（仮想視点画像）を生成する技術がある。仮想視点画像の生成に際してユーザは、例えば所望のオブジェクト（被写体）を捉える仮想カメラに対応した生成済みの仮想視点画像を参照しながら、新たな仮想視点の位置及び姿勢を、ジョイスティック等を操作して時系列で連続的に設定する。こうして設定される仮想カメラの移動経路は、一般に「カメラパス」と呼ばれる。ユーザは、撮像対象の三次元空間全体を対象として仮想カメラを移動させることができるが、例えばオブジェクトとしての人物が複雑な形状の構造物の上を走行する場合には、当該構造物との関係で不自然な仮想カメラの移動にならないように配慮する必要がある。特許文献１は、仮想カメラの移動位置が建物の壁等の障害物（進入禁止領域）と重複した場合、仮想カメラの移動位置を障害物の外に位置するように補正する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
特開２０１２－０６３９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、構造物の形状が複雑になると、ユーザが所望のカメラパスを簡易な操作で得ることは困難であった。例えば、競輪を撮像して仮想視点画像を生成する場合、競輪場はバンクと呼ばれる独特の形状をした滑走路（コース）を有しており、競輪選手はこのバンクに沿って競技を行う。そのため、仮想カメラを操作するユーザが走行中の選手を適切に撮像するためには、バンクの形状を考慮した操作を行う必要があった。
【０００５】
本開示は上記の課題に鑑みてなされたものであり、複雑な形状の構造物を含む仮想空間において、仮想カメラの操作性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本開示に係る情報処理装置は、構造物に対応する第１の三次元形状データに基づいて生成された第１の仮想視点画像の表示中に、前記第１の仮想視点画像に対応する仮想カメラのユーザ操作を受け付ける受付手段と、
前記構造物の形状を示す第２の三次元形状データであって、前記第１の三次元形状データが示す形状とは異なる形状を示す第２の三次元形状データに基づいて生成される第２の仮想視点画像に対応する仮想カメラの位置及び姿勢を示すカメラパラメータを、前記ユーザ操作に基づいて生成する生成手段と、
を有する。
【発明の効果】
【０００７】
本開示によれば、複雑な形状の構造物を含む仮想空間において、仮想カメラの操作性を向上させることができる。
【図面の簡単な説明】
【０００８】
画像処理システム１０の構成図である。
仮想空間における世界座標系およびカメラ座標系を示す図である。
画像処理装置１０２のハードウェア構成を示す図である。
情報処理装置１０３が有する入出力部を示す図である。
画像処理装置１０２の機能構成を示す図である。
変形背景モデルを説明する図である。
背景モデル情報を説明する図である。
変形情報を説明する図である。
背景モデルと変形背景モデルを説明する図である。
前景モデルの位置および姿勢の変換を説明する図である。
変換撮像空間を用いて仮想視点画像を生成する処理を表すフローチャートである。
変換撮像空間における仮想カメラの操作の一例を示す図である。
仮想カメラのカメラパラメータの変換を説明する図である。
変換撮像空間の設定を行うためのＵＩ画面の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本実施形態について、図面を参照して説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本開示は図示された構成に限定されるものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１０】
＜課題の確認＞
例えば広大・平坦なフィールド上で行われるサッカーを対象に仮想視点画像を生成する場合を考える。ユーザは、例えば選手を後方から捉えた位置から当該選手の追従を開始し、ゴールに向けてボールが蹴られたタイミングで当該選手を前方から捉える位置に回り込むといったカメラパスを高い自由度で撮像空間内に設定することができる。ここで「撮像空間」は、複数の撮像装置が現実に撮像を行う三次元空間に対応する、コンピュータグラフィック等で表現された仮想的な三次元空間（仮想空間）を意味する。これに対し、例えば自転車のトラック競技を対象に仮想視点画像を生成する場合を考える。自転車のトラック競技では、一般に「バンク」と呼ばれる、最大傾斜が３０度～４５度あるカーブ区間と平坦な直線区間とが連続的に繋がれた周回コース上を選手は走ることになる。この場合、前述の特許文献１及び２の技術によっても、自然なカメラパスを設定することは困難であった。例えば、バンク上を周回する選手と並走するようなカメラパスを特許文献１の技術を適用して設定するとする。この場合、選手がカーブ区間に入っていく段階では、当該選手と並走する仮想視点の移動に伴って走路面の傾斜角度が徐々に増していき、仮想カメラの位置と進入禁止領域とが重複する度に仮想視点の位置が補正されることになる。そうして得られるカメラパスは、仮想視点が選手の移動に伴って上下にジグザグの軌跡を描くこととなり、視聴に耐え得るような仮想視点画像が得られない。また、選手がカーブ区間から出て行く段階では、選手の移動に伴って走路面の傾斜角度が徐々に緩やかになっていき、仮想カメラの位置と進入禁止領域とが重複することがないため仮想視点の位置がまったく補正されないことになる。そうして得られるカメラパスでは、仮想視点と走路面との距離が徐々に乖離してしまう。これを回避するためには、高さが徐々に変化する走路面から一定の高さに仮想視点を維持するための繊細な操作が必要となり、ユーザ負担が大きくなる。
（【００１１】以降は省略されています）

関連特許