特許ウォッチ

公開番号2024159067
公報種別公開特許公報(A)
公開日2024-11-08
出願番号2023074817
出願日2023-04-28
発明の名称情報処理装置、情報処理方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 19/00 20110101AFI20241031BHJP(計算;計数)
要約
【課題】同一シーンを対象とした仮想視点映像を生成するためのカメラパスについて複数のバリエーションを容易に作成することができるようにする。
【解決手段】仮想視点を指定するユーザ操作に基づいて、仮想視点の位置及び姿勢を表す第1のパラメータを、同期撮像が行われた期間のある時刻に対応するフレームに紐づけてキーフレームとして設定する。そして、設定されたキーフレームに対し、仮想視点の位置及び姿勢を表すパラメータであってユーザ操作に基づかない第2のパラメータを、第1のパラメータに基づいて追加する。
【選択図】図7
特許請求の範囲【請求項１】
複数の撮像装置が同期撮像を行って得られる複数の動画像に基づき仮想視点映像を生成するための情報処理装置であって、
仮想視点を指定するユーザ操作に基づいて、前記仮想視点の位置及び姿勢を表す第１のパラメータを、前記同期撮像が行われた期間のある時刻に対応するフレームに紐づけてキーフレームとして設定するキーフレーム設定手段と、
前記キーフレーム設定手段によって設定された前記キーフレームに対し、前記仮想視点の位置及び姿勢を表すパラメータであって前記ユーザ操作に基づかない第２のパラメータを、前記第１のパラメータに基づいて追加する追加手段と、
前記仮想視点の変遷を表す複数の仮想視点情報を生成する生成手段と、
を有し、
前記仮想視点情報は、複数のキーフレームで構成され、
前記複数の仮想視点情報のうち少なくとも１つの仮想視点情報には、前記複数のキーフレームのうち少なくとも１つのキーフレームに前記第２のパラメータが紐づけられている、
ことを特徴とする情報処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記追加手段における前記第２のパラメータの追加条件を設定する条件設定手段をさらに有する、ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記追加条件は、前記第２のパラメータが表す前記仮想視点を前記第１のパラメータに基づいてどのように撮像空間内に配置するかを規定する前記追加手段の動作モードである、ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記動作モードは、前記第２のパラメータが表す前記仮想視点を、前記動画像における注目するオブジェクトから前記第１のパラメータが表す前記仮想視点までの距離を半径とした円周上に配置する動作モードである、ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記動作モードは、前記第２のパラメータが表す前記仮想視点を、前記動画像における注目するオブジェクトを中心とし、当該オブジェクトから前記第１のパラメータが表す前記仮想視点までの距離を半径とした中心角を持つ扇形の弧の上に配置する動作モードである、ことを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記動作モードは、前記第２のパラメータが表す前記仮想視点を、前記動画像における注目するオブジェクトと前記第１のパラメータが表す前記仮想視点とを結んだ直線上に配置する動作モードである、ことを特徴とする請求項３に記載の情報処理装置。
【請求項７】
前記追加条件は、追加される前記第２のパラメータの数である、ことを特徴とする請求項２に記載の情報処理装置。
【請求項８】
前記追加条件は、仮想視点同士の距離についての下限値である、ことを特徴とする請求項２に記載の情報処理装置。
【請求項９】
前記追加条件は、前記動画像における注目するオブジェクトと前記第２のパラメータが表す前記仮想視点との間の距離についての下限値又は上限値である、ことを特徴とする請求項２に記載の情報処理装置。
【請求項１０】
前記追加条件は、前記キーフレーム設定手段によって設定された前記キーフレームのうち特定キーフレームに対しての追加を禁止することである、ことを特徴とする請求項２に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は仮想視点映像のカメラパスを編集する技術に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
異なる位置に設置した複数の撮像装置で同じ被写体（オブジェクト）を同期撮像して得た多視点映像を用いて、３次元空間内に仮想的に配置した実在しない撮像装置（仮想カメラ）からの見えを表す映像である仮想視点映像を生成する技術が注目されている。このような多視点映像から仮想視点映像を生成する技術によれば、通常の映像にはない高臨場感を視聴者に与えることができる。例えば、ラグビーの試合であれば、ゴールに向かって選手達がボールを運ぶ場面を俯瞰視点で捉えたカットと、トライの場面を特定選手の主観視点（例えばフルバック目線で相手選手の脇を抜ける）で捉えたカットとを繋げたハイライトシーンの映像を得ることもできる。これにより、ハイライトシーンについて従来にはない分かりやすい映像と解説を視聴者に提供することが可能となる。
【０００３】
仮想視点映像を生成する際には、３次元空間内に仮想的に配置される視点（仮想視点）の変遷を表す仮想視点情報（一般に「カメラパス」と呼ばれる。）の設定が必要となる。この仮想視点情報の作成方法としては、例えば、キーフレーム法がある。キーフレーム法は、任意の仮想視点を対応付けた基準となるフレーム（「キーフレーム」と呼ばれる）を複数設定し、設定した複数のキーフレーム間を補間することによって仮想カメラの経路を示すパス情報を得る手法である。このキーフレーム法では、設定されたキーフレームと仮想視点との対応関係が特定できるようにタイムコードを用いて両者の関連付けが行われる。この点、特許文献１には、タイムコードが採用された映像素材と同期して、リアルタイムレンダリングされるＣＧアニメーションを違和感なく進行させる技術が開示されている。ここで、スポーツのハイライトシーンの解説等に用いるためのリプレイ映像では様々なアングルからの映像が求められ、１つのシーンにおいて複数パターンの仮想視点映像を素早く作成することが求められる。
【先行技術文献】
【特許文献】
【０００４】
特開２０１２－６０２８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、キーフレーム法では、キーフレームを複数回設定、調整を繰り返す行うことで１つの映像のカメラワークが完成することから、同一シーンに対して複数のカメラパスを生成するにはその数に比例して多くの時間を必要とした。
【０００６】
本開示の技術は、同一シーンを対象とした仮想視点映像を生成するためのカメラパスについて、複数のバリエーションを容易に作成できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本開示に係る情報処理装置は、複数の撮像装置が同期撮像を行って得られる複数の動画像に基づき仮想視点映像を生成するための情報処理装置であって、仮想視点を指定するユーザ操作に基づいて、前記仮想視点の位置及び姿勢を表す第１のパラメータを、前記同期撮像が行われた期間のある時刻に対応するフレームに紐づけてキーフレームとして設定するキーフレーム設定手段と、前記キーフレーム設定手段によって設定された前記キーフレームに対し、前記仮想視点の位置及び姿勢を表すパラメータであって前記ユーザ操作に基づかない第２のパラメータを、前記第１のパラメータに基づいて追加する追加手段と、前記仮想視点の変遷を表す複数の仮想視点情報を生成する生成手段と、を有し、前記仮想視点情報は、複数のキーフレームで構成され、前記複数の仮想視点情報のうち少なくとも１つの仮想視点情報には、前記複数のキーフレームのうち少なくとも１つのキーフレームに前記第２のパラメータが紐づけられている、ことを特徴とする。
【発明の効果】
【０００８】
本開示によれば、同一シーンを対象とした仮想視点映像を生成するためのカメラパスについて複数のバリエーションを容易に作成することができる。
【図面の簡単な説明】
【０００９】
画像処理システムの構成の一例を示す図。
画像処理装置のハードウェア構成を示す図。
画像処理装置の機能構成を示すブロック図。
主制御部内の機能構成の一例を示すブロック図。
（ａ）～（ｃ）は、配置モードを説明する図。
仮想視点情報を作成・編集するためのＧＵＩとコントローラの一例を示す図。
仮想視点映像を生成する処理の流れを示すフローチャート。
キーフレームをリスト形式で昇順に並べて表示するＧＵＩの一例。
カメラパスの一覧表示のＧＵＩの一例。
サブ仮想カメラの条件を事後設定する場合のＧＵＩの一例。
【発明を実施するための形態】
【００１０】
以下、本実施形態を実施するための形態について図面などを参照して説明する。なお、以下の実施形態は、本開示の技術を限定するものではなく、また、以下の実施形態で説明されている全ての構成が課題を解決するための手段に必須であるとは限らない。
（【００１１】以降は省略されています）

関連特許