TOP
|
特許
|
意匠
|
商標
特許ウォッチ
Twitter
他の特許を見る
10個以上の画像は省略されています。
公開番号
2024159067
公報種別
公開特許公報(A)
公開日
2024-11-08
出願番号
2023074817
出願日
2023-04-28
発明の名称
情報処理装置、情報処理方法及びプログラム
出願人
キヤノン株式会社
代理人
弁理士法人谷・阿部特許事務所
主分類
G06T
19/00 20110101AFI20241031BHJP(計算;計数)
要約
【課題】 同一シーンを対象とした仮想視点映像を生成するためのカメラパスについて複数のバリエーションを容易に作成することができるようにする。
【解決手段】 仮想視点を指定するユーザ操作に基づいて、仮想視点の位置及び姿勢を表す第1のパラメータを、同期撮像が行われた期間のある時刻に対応するフレームに紐づけてキーフレームとして設定する。そして、設定されたキーフレームに対し、仮想視点の位置及び姿勢を表すパラメータであってユーザ操作に基づかない第2のパラメータを、第1のパラメータに基づいて追加する。
【選択図】 図7
特許請求の範囲
【請求項1】
複数の撮像装置が同期撮像を行って得られる複数の動画像に基づき仮想視点映像を生成するための情報処理装置であって、
仮想視点を指定するユーザ操作に基づいて、前記仮想視点の位置及び姿勢を表す第1のパラメータを、前記同期撮像が行われた期間のある時刻に対応するフレームに紐づけてキーフレームとして設定するキーフレーム設定手段と、
前記キーフレーム設定手段によって設定された前記キーフレームに対し、前記仮想視点の位置及び姿勢を表すパラメータであって前記ユーザ操作に基づかない第2のパラメータを、前記第1のパラメータに基づいて追加する追加手段と、
前記仮想視点の変遷を表す複数の仮想視点情報を生成する生成手段と、
を有し、
前記仮想視点情報は、複数のキーフレームで構成され、
前記複数の仮想視点情報のうち少なくとも1つの仮想視点情報には、前記複数のキーフレームのうち少なくとも1つのキーフレームに前記第2のパラメータが紐づけられている、
ことを特徴とする情報処理装置。
続きを表示(約 1,000 文字)
【請求項2】
前記追加手段における前記第2のパラメータの追加条件を設定する条件設定手段をさらに有する、ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記追加条件は、前記第2のパラメータが表す前記仮想視点を前記第1のパラメータに基づいてどのように撮像空間内に配置するかを規定する前記追加手段の動作モードである、ことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記動作モードは、前記第2のパラメータが表す前記仮想視点を、前記動画像における注目するオブジェクトから前記第1のパラメータが表す前記仮想視点までの距離を半径とした円周上に配置する動作モードである、ことを特徴とする請求項3に記載の情報処理装置。
【請求項5】
前記動作モードは、前記第2のパラメータが表す前記仮想視点を、前記動画像における注目するオブジェクトを中心とし、当該オブジェクトから前記第1のパラメータが表す前記仮想視点までの距離を半径とした中心角を持つ扇形の弧の上に配置する動作モードである、ことを特徴とする請求項3に記載の情報処理装置。
【請求項6】
前記動作モードは、前記第2のパラメータが表す前記仮想視点を、前記動画像における注目するオブジェクトと前記第1のパラメータが表す前記仮想視点とを結んだ直線上に配置する動作モードである、ことを特徴とする請求項3に記載の情報処理装置。
【請求項7】
前記追加条件は、追加される前記第2のパラメータの数である、ことを特徴とする請求項2に記載の情報処理装置。
【請求項8】
前記追加条件は、仮想視点同士の距離についての下限値である、ことを特徴とする請求項2に記載の情報処理装置。
【請求項9】
前記追加条件は、前記動画像における注目するオブジェクトと前記第2のパラメータが表す前記仮想視点との間の距離についての下限値又は上限値である、ことを特徴とする請求項2に記載の情報処理装置。
【請求項10】
前記追加条件は、前記キーフレーム設定手段によって設定された前記キーフレームのうち特定キーフレームに対しての追加を禁止することである、ことを特徴とする請求項2に記載の情報処理装置。
(【請求項11】以降は省略されています)
発明の詳細な説明
【技術分野】
【0001】
本開示は仮想視点映像のカメラパスを編集する技術に関する。
続きを表示(約 2,100 文字)
【背景技術】
【0002】
異なる位置に設置した複数の撮像装置で同じ被写体(オブジェクト)を同期撮像して得た多視点映像を用いて、3次元空間内に仮想的に配置した実在しない撮像装置(仮想カメラ)からの見えを表す映像である仮想視点映像を生成する技術が注目されている。このような多視点映像から仮想視点映像を生成する技術によれば、通常の映像にはない高臨場感を視聴者に与えることができる。例えば、ラグビーの試合であれば、ゴールに向かって選手達がボールを運ぶ場面を俯瞰視点で捉えたカットと、トライの場面を特定選手の主観視点(例えばフルバック目線で相手選手の脇を抜ける)で捉えたカットとを繋げたハイライトシーンの映像を得ることもできる。これにより、ハイライトシーンについて従来にはない分かりやすい映像と解説を視聴者に提供することが可能となる。
【0003】
仮想視点映像を生成する際には、3次元空間内に仮想的に配置される視点(仮想視点)の変遷を表す仮想視点情報(一般に「カメラパス」と呼ばれる。)の設定が必要となる。この仮想視点情報の作成方法としては、例えば、キーフレーム法がある。キーフレーム法は、任意の仮想視点を対応付けた基準となるフレーム(「キーフレーム」と呼ばれる)を複数設定し、設定した複数のキーフレーム間を補間することによって仮想カメラの経路を示すパス情報を得る手法である。このキーフレーム法では、設定されたキーフレームと仮想視点との対応関係が特定できるようにタイムコードを用いて両者の関連付けが行われる。この点、特許文献1には、タイムコードが採用された映像素材と同期して、リアルタイムレンダリングされるCGアニメーションを違和感なく進行させる技術が開示されている。ここで、スポーツのハイライトシーンの解説等に用いるためのリプレイ映像では様々なアングルからの映像が求められ、1つのシーンにおいて複数パターンの仮想視点映像を素早く作成することが求められる。
【先行技術文献】
【特許文献】
【0004】
特開2012-60280号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、キーフレーム法では、キーフレームを複数回設定、調整を繰り返す行うことで1つの映像のカメラワークが完成することから、同一シーンに対して複数のカメラパスを生成するにはその数に比例して多くの時間を必要とした。
【0006】
本開示の技術は、同一シーンを対象とした仮想視点映像を生成するためのカメラパスについて、複数のバリエーションを容易に作成できるようにすることを目的とする。
【課題を解決するための手段】
【0007】
本開示に係る情報処理装置は、複数の撮像装置が同期撮像を行って得られる複数の動画像に基づき仮想視点映像を生成するための情報処理装置であって、仮想視点を指定するユーザ操作に基づいて、前記仮想視点の位置及び姿勢を表す第1のパラメータを、前記同期撮像が行われた期間のある時刻に対応するフレームに紐づけてキーフレームとして設定するキーフレーム設定手段と、前記キーフレーム設定手段によって設定された前記キーフレームに対し、前記仮想視点の位置及び姿勢を表すパラメータであって前記ユーザ操作に基づかない第2のパラメータを、前記第1のパラメータに基づいて追加する追加手段と、前記仮想視点の変遷を表す複数の仮想視点情報を生成する生成手段と、を有し、前記仮想視点情報は、複数のキーフレームで構成され、前記複数の仮想視点情報のうち少なくとも1つの仮想視点情報には、前記複数のキーフレームのうち少なくとも1つのキーフレームに前記第2のパラメータが紐づけられている、ことを特徴とする。
【発明の効果】
【0008】
本開示によれば、同一シーンを対象とした仮想視点映像を生成するためのカメラパスについて複数のバリエーションを容易に作成することができる。
【図面の簡単な説明】
【0009】
画像処理システムの構成の一例を示す図。
画像処理装置のハードウェア構成を示す図。
画像処理装置の機能構成を示すブロック図。
主制御部内の機能構成の一例を示すブロック図。
(a)~(c)は、配置モードを説明する図。
仮想視点情報を作成・編集するためのGUIとコントローラの一例を示す図。
仮想視点映像を生成する処理の流れを示すフローチャート。
キーフレームをリスト形式で昇順に並べて表示するGUIの一例。
カメラパスの一覧表示のGUIの一例。
サブ仮想カメラの条件を事後設定する場合のGUIの一例。
【発明を実施するための形態】
【0010】
以下、本実施形態を実施するための形態について図面などを参照して説明する。なお、以下の実施形態は、本開示の技術を限定するものではなく、また、以下の実施形態で説明されている全ての構成が課題を解決するための手段に必須であるとは限らない。
(【0011】以降は省略されています)
この特許をJ-PlatPatで参照する
関連特許
キヤノン株式会社
トナー
24日前
キヤノン株式会社
トナー
11日前
キヤノン株式会社
トナー
24日前
キヤノン株式会社
トナー
24日前
キヤノン株式会社
トナー
11日前
キヤノン株式会社
トナー
24日前
キヤノン株式会社
送液装置
11日前
キヤノン株式会社
定着装置
18日前
キヤノン株式会社
定着装置
5日前
キヤノン株式会社
電子機器
1か月前
キヤノン株式会社
記録装置
1か月前
キヤノン株式会社
乾燥装置
4日前
キヤノン株式会社
発光装置
1か月前
キヤノン株式会社
撮像装置
18日前
キヤノン株式会社
撮像装置
18日前
キヤノン株式会社
記録装置
1か月前
キヤノン株式会社
電子機器
1か月前
キヤノン株式会社
撮像装置
1か月前
キヤノン株式会社
測距装置
4日前
キヤノン株式会社
撮像装置
12日前
キヤノン株式会社
撮像装置
1か月前
キヤノン株式会社
撮像装置
3日前
キヤノン株式会社
測距装置
1か月前
キヤノン株式会社
電子機器
1か月前
キヤノン株式会社
撮像装置
4日前
キヤノン株式会社
光学機器
4日前
キヤノン株式会社
液体供給装置
1か月前
キヤノン株式会社
画像形成装置
4日前
キヤノン株式会社
画像形成装置
11日前
キヤノン株式会社
情報処理装置
11日前
キヤノン株式会社
画像形成装置
12日前
キヤノン株式会社
画像形成装置
5日前
キヤノン株式会社
液体供給装置
1か月前
キヤノン株式会社
画像表示装置
11日前
キヤノン株式会社
画像形成装置
11日前
キヤノン株式会社
冊子作製装置
5日前
続きを見る
他の特許を見る