特許ウォッチ

公開番号2024091898
公報種別公開特許公報(A)
公開日2024-07-05
出願番号2024070529,2023025087
出願日2024-04-24,2018-07-20
発明の名称情報処理装置、情報処理方法及びプログラム
出願人キヤノン株式会社
代理人個人
主分類H04N 23/60 20230101AFI20240628BHJP(電気通信技術)
要約【課題】仮想視点画像の生成に関するパラメータの制御における利便性を向上することを目的とする。
【解決手段】複数のカメラが異なる方向から撮影することで得られる複数の撮影画像に基づく仮想視点画像の生成に関する複数種類のパラメータと、1又は複数の操作部材と、の対応付け処理を行う処理手段と、前記処理手段による対応付け処理に従って、前記1又は複数の操作部材のうちユーザにより操作された操作部材に対応するパラメータを制御する制御手段と、を有する。
【選択図】図10
特許請求の範囲【請求項１】
複数のカメラが異なる方向から撮影することで得られる複数の撮影画像に基づく仮想視点画像の生成に関する複数種類のパラメータと、１又は複数の操作部材と、の対応付け処理を行う処理手段と、
前記処理手段による対応付け処理に従って、前記１又は複数の操作部材のうちユーザにより操作された操作部材に対応するパラメータを制御する制御手段と
を有する情報処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記制御手段は、ユーザにより操作された操作部材に対応するパラメータを変更するための制御信号を、前記仮想視点画像を生成する装置に対して出力することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記複数種類のパラメータに基づいて仮想視点画像を生成する生成手段を有し、
前記制御手段は、前記生成手段が仮想視点画像の生成のために用いるパラメータを、ユーザによる操作部材の操作に応じて制御すること特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記複数種類のパラメータと、前記１又は複数の部材との対応関係を示す指定情報を、前記処理手段による対応付け処理の結果に従って生成する生成手段と、
前記制御手段は、ユーザにより操作された操作部材に対応するパラメータを、前記指定情報の参照により特定することを特徴とする請求項１乃至３のうち、何れか１項に記載の情報処理装置。
【請求項５】
前記指定情報には、前記複数種類のパラメータと１又は複数の調整用部材との対応関係の情報が含まれ、
前記制御手段は、ユーザによる操作部材の操作に応じたパラメータの調整量を、前記調整用部材に対するユーザ操作に基づいて決定することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
操作部材を操作するユーザの識別情報を特定する特定手段を有し、
前記生成手段が生成する前記指定情報には、ユーザの識別情報が含まれ、
前記制御手段は、前記生成手段が生成した複数の指定情報のうち、前記特定手段により特定された識別情報に基づいて選択された指定情報に基づいて、前記パラメータを制御することを特徴とする請求項４又は５に記載の情報処理装置。
【請求項７】
仮想視点画像に係る撮影対象を特定する特定手段を有し、
前記生成手段が生成する前記指定情報には、撮影対象に関する情報が含まれ、
前記制御手段は、前記生成手段が生成した複数の指定情報のうち、前記特定手段により特定された撮影対象に基づいて選択された指定情報に基づいて、前記パラメータを制御することを特徴とする請求項４又は５に記載の情報処理装置。
【請求項８】
前記撮影対象に関する情報は、イベントの種類、及び、シーンの種類のうち、少なくとも何れかの識別情報を含むことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記処理手段が前記１又は複数の操作部材のうち第１操作部材と第１パラメータを対応付けた場合、前記第１操作部材のユーザ操作に応じた前記第１パラメータの変更量を設定するための調整用部材を決定する決定手段を有することを特徴とする請求項１乃至８のうち、何れか１項に記載の情報処理装置。
【請求項１０】
前記決定手段は、複数の調整用部材を決定することを特徴とする請求項９に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
近年、複数の撮像装置を異なる位置に設置して、この複数の撮像装置を介して多視点で同期して撮影された複数の画像を用いて、任意の視点からの画像である仮想視点画像を生成する技術が注目されている。仮想視点画像は、仮想的な視点に置かれた仮想的な撮像装置である仮想カメラにより撮影された画像ともみなすことができる。
このような仮想視点画像を用いたサービスでは、例えば、サッカーやラグビーの試合を撮影した動画像から、動画像制作者によって迫力のある視点のコンテンツを制作できる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら、試合観戦したりすることができるようにもなり、従来の撮影画像と比較してユーザに高臨場感を与えることができる。
画像の生成に関するパラメータを、コントローラを介して制御することが行われている。特許文献１には、ジョイスティックとシーソーコントロールレバーとを用い、カメラのパン角・チルト角・ズーム率を制御するコントローラが開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１５－１９７８３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
仮想視点画像の生成に関するパラメータを、コントローラを介して制御したいという要望がある。しかし、仮想視点画像の生成に関するパラメータは、例えば、仮想カメラの位置（３次元座標上における、左右、前後、上下の位置）、仮想カメラのカメラパラメータ（パン角、チルト角、ロール角、ズーム等）、描画対象のシーンの時刻等の多数がある。また、例えば、スポーツの試合を仮想視点画像として描画する場合、試合の流れに応じて、高臨場感を与えるような様々なカメラワークの実現を行うために仮想視点画像の生成に関する複数のパラメータを調整することがある。そのような場合、ユーザがより容易に仮想視点画像の生成に関するパラメータを調整できるように、コントローラに含まれる部材を介して、ユーザに合わせて指定されたパラメータの制御をできるようにしたいという要望がある。
特許文献１では、コントローラに含まれる部材（ジョイスティックとシーソーコントロールレバーと）を介して、固定のパラメータ（パン角、チルト角、ズーム率）の制御が行われる。即ち、特許文献１では、コントローラに含まれる部材を介してユーザに合わせて指定されたパラメータの制御をできるようにできなかったため、仮想視点画像の生成に関するパラメータの制御における利便性を向上できなかった。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、複数のカメラが異なる方向から撮影することで得られる複数の撮影画像に基づく仮想視点画像の生成に関する複数種類のパラメータと、１又は複数の操作部材と、の対応付け処理を行う処理手段と、前記処理手段による対応付け処理に従って、前記１又は複数の操作部材のうちユーザにより操作された操作部材に対応するパラメータを制御する制御手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、仮想視点画像の生成に関するパラメータの制御における利便性を向上することができる。
【図面の簡単な説明】
【０００７】
画像処理システムのシステム構成等の一例を説明する図である。
入出力部の一例を説明する図である。
３軸コントローラの一例を説明する図である。
ズームコントローラの一例を説明する図である。
リプレイコントローラの一例を説明する図である。
情報処理装置の機能構成の一例を説明する図である。
コントローラの一例を説明する図である。
割り当て設定ファイルの一例を説明する図である。
コントローラへの機能の割り当ての一例を説明する図である。
割り当て処理の一例を示すフローチャートである。
仮想視点パラメータの制御処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下に、本発明の実施の形態の例を、図面に基づいて詳細に説明する。
【０００９】
＜実施形態１＞
図１（ａ）は、画像処理システム１０のシステム構成の一例を示す図である。
画像処理システム１０は、撮影システム１０１、生成サーバ１０２、情報処理装置１０３を含む。画像処理システム１０は、仮想視点画像を生成するシステムである。
撮影システム１０１は、それぞれ異なる位置に配置された複数の撮像装置を含み、この複数の撮像装置を介して、多視点から同期して撮影された複数の画像を、生成サーバ１０２に送信するシステムである。撮影システム１０１は、複数の動画像を生成サーバ１０２に送信する場合、例えば、複数の動画像における時刻の同期した複数のフレーム（静止画像）を周期的に生成サーバ１０２に送信することとなる。
【００１０】
生成サーバ１０２は、多視点から同期して撮影された複数の画像を元に、仮想カメラにより撮影された（指定された仮想的な視点から見た）仮想視点画像を生成する。仮想カメラとは、撮影空間内を自由に移動できる仮想的な撮像装置である（ただ仮想カメラの移動範囲に一定の制約があっても良い）。仮想視点画像は、仮想カメラにより撮影された画像とみなすことができる。仮想カメラは、撮影システム１０１が有するどの撮像装置とも異なる視点から見た画像、つまり仮想視点画像を撮影することができる。仮想カメラの視点は、情報処理装置１０３により決定されるパラメータ（仮想視点パラメータ）によって表現される。生成サーバ１０２は、撮影システム１０１から受信した複数の画像に基づいて、順次、仮想視点画像を生成する。即ち、生成サーバ１０２は、撮影システム１０１からライブ画像が送信される場合、ライブ仮想視点画像を生成することができる。画像処理システム１０が生成するライブ仮想視点画像とは、現在時刻に対して撮影システム１０１及び生成サーバ１０２での処理遅延を考慮した時刻において撮影システム１０１により撮影された画像に基づいて生成された仮想視点画像である。
更に、生成サーバ１０２は、撮影システム１０１から受信した複数の画像を、記憶装置に記憶されたデータベースに記録する機能を有する。生成サーバ１０２は、記録した複数の画像から、過去の時刻のシーンを描画した仮想視点画像（以下では、リプレイ仮想視点画像とする）を生成することができる。即ち、リプレイ仮想視点画像は、任意の時刻のシーンが撮影システム１０１により撮影された撮影画像に基づいて、生成された仮想視点画像である。
（【００１１】以降は省略されています）

関連特許