TOP
|
特許
|
意匠
|
商標
特許ウォッチ
Twitter
他の特許を見る
10個以上の画像は省略されています。
公開番号
2024158729
公報種別
公開特許公報(A)
公開日
2024-11-08
出願番号
2023074205
出願日
2023-04-28
発明の名称
情報処理装置、情報処理方法およびプログラム
出願人
キヤノン株式会社
代理人
個人
,
個人
,
個人
,
個人
,
個人
主分類
G06T
19/00 20110101AFI20241031BHJP(計算;計数)
要約
【課題】 構造物の形状が複雑になると、仮想カメラのユーザが所望のカメラパスを簡易な操作で得ることは困難であった。
【解決手段】 情報処理装置103は、ユーザ用表示部402aにおいて構造物に対応する第1の三次元形状データに基づいて生成された第1の仮想視点画像の表示中に、前記第1の仮想視点画像に対応する仮想カメラのユーザ操作を受け付け、カメラ操作変換部507は、前記構造物の形状を示す第2の三次元形状データであって、前記第1の三次元形状データが示す形状とは異なる形状を示す第2の三次元形状データに基づいて生成される第2の仮想視点画像に対応する仮想カメラの位置及び姿勢を示すカメラパラメータを、前記ユーザ操作に基づいて生成する。
【選択図】 図5
特許請求の範囲
【請求項1】
構造物に対応する第1の三次元形状データに基づいて生成された第1の仮想視点画像の表示中に、前記第1の仮想視点画像に対応する仮想カメラのユーザ操作を受け付ける受付手段と、
前記構造物の形状を示す第2の三次元形状データであって、前記第1の三次元形状データが示す形状とは異なる形状を示す第2の三次元形状データに基づいて生成される第2の仮想視点画像に対応する仮想カメラの位置及び姿勢を示すカメラパラメータを、前記ユーザ操作に基づいて生成する生成手段と、
を有することを特徴とする情報処理装置。
続きを表示(約 1,000 文字)
【請求項2】
前記第2の三次元形状データは、前記第1の三次元形状データを変形することで生成されることを特徴とする請求項1に記載の情報処理装置。
【請求項3】
更に、ユーザ操作に基づいて変形情報を取得する取得手段を有し、
前記第2の三次元形状データは、前記変形情報に基づいて、前記第2の三次元形状データを変形することで生成されることを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記変形情報は、前記第2の三次元形状データの形状を指定する情報を含むことを特徴とする請求項3に記載の情報処理装置。
【請求項5】
前記第1の三次元形状データは、直線部およびカーブ部を含むコースを有し、
前記第2の三次元形状データは、前記第1の三次元形状データの前記コースを直線または円形に変形したコースを有することを特徴とする請求項2に記載の情報処理装置。
【請求項6】
前記第2の三次元形状データの有するコースは、XY平面上に位置していることを特徴とする請求項5に記載の情報処理装置。
【請求項7】
前記第2の仮想視点画像は、前記第1の仮想視点画像と異なる装置に出力されることを特徴とする請求項1に記載の情報処理装置。
【請求項8】
前記第2の仮想視点画像は、複数の撮像装置により撮像されることで取得される複数の撮像画像に基づいて生成されることを特徴とする請求項1に記載の情報処理装置。
【請求項9】
更に、生成した前記カメラパラメータを前記第2の仮想視点画像を生成する装置に出力する出力手段を有することを特徴とする請求項1に記載の情報処理装置。
【請求項10】
構造物に対応する第1の三次元形状データに基づいて生成された第1の仮想視点画像の表示中に、前記第1の仮想視点画像に対応する仮想カメラのユーザ操作を受け付ける受付工程と、
前記構造物の形状を示す第2の三次元形状データであって、前記第1の三次元形状データが示す形状とは異なる形状を示す第2の三次元形状データに基づいて生成される第2の仮想視点画像に対応する仮想カメラの位置及び姿勢を示すカメラパラメータを、前記ユーザ操作に基づいて生成する生成工程と、
を有することを特徴とする情報処理方法。
(【請求項11】以降は省略されています)
発明の詳細な説明
【技術分野】
【0001】
本開示は、仮想視点画像を生成するための技術に関する。
続きを表示(約 2,700 文字)
【背景技術】
【0002】
複数の撮像装置を異なる位置に設置して同期撮像し、当該撮像により得られた複数の撮像画像を用いて、ユーザの操作で指定された仮想的な視点(仮想カメラ)からの見えを表す画像(仮想視点画像)を生成する技術がある。仮想視点画像の生成に際してユーザは、例えば所望のオブジェクト(被写体)を捉える仮想カメラに対応した生成済みの仮想視点画像を参照しながら、新たな仮想視点の位置及び姿勢を、ジョイスティック等を操作して時系列で連続的に設定する。こうして設定される仮想カメラの移動経路は、一般に「カメラパス」と呼ばれる。ユーザは、撮像対象の三次元空間全体を対象として仮想カメラを移動させることができるが、例えばオブジェクトとしての人物が複雑な形状の構造物の上を走行する場合には、当該構造物との関係で不自然な仮想カメラの移動にならないように配慮する必要がある。特許文献1は、仮想カメラの移動位置が建物の壁等の障害物(進入禁止領域)と重複した場合、仮想カメラの移動位置を障害物の外に位置するように補正する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
特開2012-063958号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、構造物の形状が複雑になると、ユーザが所望のカメラパスを簡易な操作で得ることは困難であった。例えば、競輪を撮像して仮想視点画像を生成する場合、競輪場はバンクと呼ばれる独特の形状をした滑走路(コース)を有しており、競輪選手はこのバンクに沿って競技を行う。そのため、仮想カメラを操作するユーザが走行中の選手を適切に撮像するためには、バンクの形状を考慮した操作を行う必要があった。
【0005】
本開示は上記の課題に鑑みてなされたものであり、複雑な形状の構造物を含む仮想空間において、仮想カメラの操作性を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る情報処理装置は、構造物に対応する第1の三次元形状データに基づいて生成された第1の仮想視点画像の表示中に、前記第1の仮想視点画像に対応する仮想カメラのユーザ操作を受け付ける受付手段と、
前記構造物の形状を示す第2の三次元形状データであって、前記第1の三次元形状データが示す形状とは異なる形状を示す第2の三次元形状データに基づいて生成される第2の仮想視点画像に対応する仮想カメラの位置及び姿勢を示すカメラパラメータを、前記ユーザ操作に基づいて生成する生成手段と、
を有する。
【発明の効果】
【0007】
本開示によれば、複雑な形状の構造物を含む仮想空間において、仮想カメラの操作性を向上させることができる。
【図面の簡単な説明】
【0008】
画像処理システム10の構成図である。
仮想空間における世界座標系およびカメラ座標系を示す図である。
画像処理装置102のハードウェア構成を示す図である。
情報処理装置103が有する入出力部を示す図である。
画像処理装置102の機能構成を示す図である。
変形背景モデルを説明する図である。
背景モデル情報を説明する図である。
変形情報を説明する図である。
背景モデルと変形背景モデルを説明する図である。
前景モデルの位置および姿勢の変換を説明する図である。
変換撮像空間を用いて仮想視点画像を生成する処理を表すフローチャートである。
変換撮像空間における仮想カメラの操作の一例を示す図である。
仮想カメラのカメラパラメータの変換を説明する図である。
変換撮像空間の設定を行うためのUI画面の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本実施形態について、図面を参照して説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本開示は図示された構成に限定されるものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【0010】
<課題の確認>
例えば広大・平坦なフィールド上で行われるサッカーを対象に仮想視点画像を生成する場合を考える。ユーザは、例えば選手を後方から捉えた位置から当該選手の追従を開始し、ゴールに向けてボールが蹴られたタイミングで当該選手を前方から捉える位置に回り込むといったカメラパスを高い自由度で撮像空間内に設定することができる。ここで「撮像空間」は、複数の撮像装置が現実に撮像を行う三次元空間に対応する、コンピュータグラフィック等で表現された仮想的な三次元空間(仮想空間)を意味する。これに対し、例えば自転車のトラック競技を対象に仮想視点画像を生成する場合を考える。自転車のトラック競技では、一般に「バンク」と呼ばれる、最大傾斜が30度~45度あるカーブ区間と平坦な直線区間とが連続的に繋がれた周回コース上を選手は走ることになる。この場合、前述の特許文献1及び2の技術によっても、自然なカメラパスを設定することは困難であった。例えば、バンク上を周回する選手と並走するようなカメラパスを特許文献1の技術を適用して設定するとする。この場合、選手がカーブ区間に入っていく段階では、当該選手と並走する仮想視点の移動に伴って走路面の傾斜角度が徐々に増していき、仮想カメラの位置と進入禁止領域とが重複する度に仮想視点の位置が補正されることになる。そうして得られるカメラパスは、仮想視点が選手の移動に伴って上下にジグザグの軌跡を描くこととなり、視聴に耐え得るような仮想視点画像が得られない。また、選手がカーブ区間から出て行く段階では、選手の移動に伴って走路面の傾斜角度が徐々に緩やかになっていき、仮想カメラの位置と進入禁止領域とが重複することがないため仮想視点の位置がまったく補正されないことになる。そうして得られるカメラパスでは、仮想視点と走路面との距離が徐々に乖離してしまう。これを回避するためには、高さが徐々に変化する走路面から一定の高さに仮想視点を維持するための繊細な操作が必要となり、ユーザ負担が大きくなる。
(【0011】以降は省略されています)
この特許をJ-PlatPatで参照する
関連特許
キヤノン株式会社
トナー
24日前
キヤノン株式会社
トナー
24日前
キヤノン株式会社
トナー
24日前
キヤノン株式会社
トナー
24日前
キヤノン株式会社
トナー
11日前
キヤノン株式会社
トナー
11日前
キヤノン株式会社
測距装置
4日前
キヤノン株式会社
定着装置
5日前
キヤノン株式会社
撮像装置
18日前
キヤノン株式会社
電子機器
1か月前
キヤノン株式会社
電子機器
1か月前
キヤノン株式会社
電子機器
1か月前
キヤノン株式会社
撮像装置
4日前
キヤノン株式会社
撮像装置
1か月前
キヤノン株式会社
撮像装置
12日前
キヤノン株式会社
発光装置
1か月前
キヤノン株式会社
乾燥装置
4日前
キヤノン株式会社
記録装置
1か月前
キヤノン株式会社
撮像装置
1か月前
キヤノン株式会社
撮像装置
18日前
キヤノン株式会社
定着装置
18日前
キヤノン株式会社
送液装置
11日前
キヤノン株式会社
撮像装置
3日前
キヤノン株式会社
光学機器
4日前
キヤノン株式会社
光学装置
1か月前
キヤノン株式会社
測距装置
1か月前
キヤノン株式会社
記録装置
1か月前
キヤノン株式会社
撮像装置
1か月前
キヤノン株式会社
撮像装置
1か月前
キヤノン株式会社
記録装置
1か月前
キヤノン株式会社
光電変換装置
11日前
キヤノン株式会社
画像形成装置
1か月前
キヤノン株式会社
画像形成装置
5日前
キヤノン株式会社
情報処理装置
1か月前
キヤノン株式会社
画像形成装置
18日前
キヤノン株式会社
検査システム
1か月前
続きを見る
他の特許を見る