特許ウォッチ

公開番号2025011502
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023113655
出願日2023-07-11
発明の名称情報処理装置、情報処理方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 19/00 20110101AFI20250117BHJP(計算;計数)
要約
【課題】仮想視点映像のカメラパスを効率よく修正できるようにする。
【解決手段】仮想視点映像のカメラパスにおける一部区間を修正対象としてユーザ指示に基づき設定し、設定された一部区間における修正後のキーフレームに基づいて補間処理を行って、一部区間に対応する部分カメラパスを生成する。そして、生成された部分カメラパスに対応する仮想視点映像を生成する。
【選択図】図4
特許請求の範囲【請求項１】
複数の撮像装置により得られる複数の撮像画像に基づいて生成される仮想視点映像に係る仮想視点を指定するためのユーザ指示に基づいて決定される前記仮想視点の位置及び視線方向を表すパラメータと、前記複数の撮像装置により撮像が行われた期間における特定時刻を表すフレームとを紐付けたキーフレームを複数設定する設定手段と、
設定された複数のキーフレームに基づいて、キーフレーム間の中間フレームにおける前記仮想視点の位置及び視線方向を表すパラメータを補間処理によって取得して前記中間フレームに紐付け、前記仮想視点の変遷を示すカメラパスを生成する第１生成手段と、
前記カメラパスに対応する仮想視点映像を生成する第２生成手段と、
を備え、
生成された前記仮想視点映像を修正する場合、
前記設定手段は、前記カメラパスにおける一部区間を修正対象としてユーザ指示に基づき設定し、
前記第１生成手段は、設定された前記一部区間における修正後のキーフレームに基づいて前記補間処理を行って、前記一部区間に対応する部分カメラパスを生成し、
前記第２生成手段は、生成された前記部分カメラパスに対応する仮想視点映像を生成する、
ことを特徴とする情報処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記ユーザ指示を受け付けるＵＩ画面を表示手段に表示する表示制御手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示制御手段は、前記第２生成手段が前記仮想視点映像を生成すると、当該生成された前記仮想視点映像を前記表示手段に表示し、
前記一部区間を選択するユーザ指示は、表示された前記仮想視点映像に基づいて行われる、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記一部区間をユーザが指示するための前記ＵＩ画面には、前記カメラパスに含まれるキーフレームが表示され、
前記設定手段は、前記表示されたキーフレームの中からユーザが選択した１又は複数のキーフレームを設定する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記設定手段は、前記表示されたキーフレームの中からユーザが開始フレーム及び終了フレームとして選択した２つのキーフレームによって挟まれた範囲に含まれる複数のキーフレームを設定する、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記一部区間をユーザが指示するための前記ＵＩ画面には、前記カメラパスに含まれるキーフレームがリストで表示される、ことを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記一部区間をユーザが指示するための前記ＵＩ画面には、前記カメラパスに含まれるキーフレームが、それぞれに紐付けられた前記パラメータによって特定される仮想視点の位置及び視線方向を表すアイコンと共にグラフィクスで表示され、
前記設定手段は、前記表示されたキーフレームの中からユーザが選択した１又は複数のキーフレームを設定する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項８】
前記修正は、設定された前記一部区間のキーフレームのうち少なくともいずれかのキーフレームに紐付いている仮想視点の位置及び視線方向を変更することである請求項１に記載の情報処理装置。
【請求項９】
前記修正は、設定された前記一部区間のキーフレームのうち少なくともいずれかのキーフレームを削除することである請求項１に記載の情報処理装置。
【請求項１０】
前記修正は、設定された前記一部区間のキーフレームのうち隣り合う２つのキーフレーム間に新たなキーフレームを挿入することである請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、仮想視点映像のカメラパスを生成・編集する技術に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
複数の異なる位置に配置した撮像装置（実カメラ）を用いて撮像を行い、得られた複数の撮像画像（一般に「多視点画像」或いは「複数視点画像」と呼ばれる。）から、実在しない仮想カメラからの見えを表す仮想視点映像を生成する技術が注目されている。仮想視点映像を生成する際には、ＣＧで再現した撮像空間における仮想カメラの位置や姿勢をユーザがジョイスティック等を操作し、仮想カメラの移動経路（一般的に「カメラパス」と呼ばれる）を指定する作業が行われる。そして、このカメラパスを指定する際の方式の一つにキーフレーム方式がある。キーフレーム方式は、任意の仮想視点を対応付けた基準となるフレーム（「キーフレーム」と呼ばれる）を複数設定し、設定した複数のキーフレーム間を補間することによってカメラパスを得る方式である（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０－１４４４５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
キーフレーム方式によってカメラパスを得る場合、まずユーザは、生成したい映像時間における開始フレームから終了フレームまでキーフレームを設定し、各キーフレームの時刻における仮想カメラの位置や姿勢を指定する。その後、設定されたキーフレーム間の時刻における仮想カメラの位置や姿勢を決定するための補間処理が行われてカメラパスが完成する。よって、設定された全てのキーフレーム間の補間処理によりキーフレーム以外のフレーム（中間フレーム）のパラメータが決まるまでは、ユーザは、実際にどのような仮想視点映像が出来上がるのか知ることができない。そして、完成した仮想視点映像の一部区間（特定キーフレーム間）の映像が気に入らなかった場合でも、従来は当該仮想視点映像の開始時刻から終了時刻までの全キーフレームを対象として修正を行っていた。そのため、カメラパスの修正には多くの手間と時間を要していた。
【課題を解決するための手段】
【０００５】
本開示に係る情報処理装置は、複数の撮像装置により得られる複数の撮像画像に基づいて生成される仮想視点映像に係る仮想視点を指定するためのユーザ指示に基づいて決定される前記仮想視点の位置及び視線方向を表すパラメータと、前記複数の撮像装置により撮像が行われた期間における特定時刻を表すフレームとを紐付けたキーフレームを複数設定する設定手段と、設定された複数のキーフレームに基づいて、キーフレーム間の中間フレームにおける前記仮想視点の位置及び視線方向を表すパラメータを補間処理によって取得して前記中間フレームに紐付け、前記仮想視点の変遷を示すカメラパスを生成する第１生成手段と、前記カメラパスに対応する仮想視点映像を生成する第２生成手段と、
を備え、生成された前記仮想視点映像を修正する場合、前記設定手段は、前記カメラパスにおける一部区間を修正対象としてユーザ指示に基づき設定し、前記第１生成手段は、設定された前記一部区間における修正後のキーフレームに基づいて前記補間処理を行って、前記一部区間に対応する部分カメラパスを生成し、前記第２生成手段は、生成された前記部分カメラパスに対応する仮想視点映像を生成する、ことを特徴とする。
【発明の効果】
【０００６】
本開示によれば、仮想視点映像のカメラパスを効率よく修正することが可能になる。
【図面の簡単な説明】
【０００７】
情報処理装置のハードウェア構成の一例を示すブロック図。
情報処理装置のソフトウェア構成の一例を示すブロック図。
（ａ）～（ｃ）は、ＵＩ画面の一例を示す図。
情報処理装置における動作の流れを示すフローチャート。
（ａ）及び（ｂ）は、ＵＩ画面の一例を示す図。
ＵＩ画面の一例を示す図。
【発明を実施するための形態】
【０００８】
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。なお、同一の構成については、同じ符号を付して説明する。
【０００９】
［実施形態１］
＜ハードウェア構成＞
図１は、ユーザ操作に基づきカメラパスを生成し、さらに当該カメラパに基づく仮想視点画像の生成までを行う情報処理装置１のハードウェア構成の一例を示すブロック図である。情報処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０４、操作部１０５、通信Ｉ／Ｆ１０６、表示制御部２０８、及びバス１０８を有する。
【００１０】
ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いて情報処理装置１の全体を制御し、後述の図２（ｂ）に示す各機能部を実現する。なお、情報処理装置１がＣＰＵ１０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ１０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ１０３は、補助記憶装置１０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１０６を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。
（【００１１】以降は省略されています）

関連特許