特許ウォッチ

公開番号2025018896
公報種別公開特許公報(A)
公開日2025-02-06
出願番号2024025121
出願日2024-02-22
発明の名称画像処理装置、画像処理方法、およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類H04N 21/234 20110101AFI20250130BHJP(電気通信技術)
要約【課題】仮想視点画像の連携を容易にすること。
【解決手段】複数の撮像装置が撮影した複数の画像から仮想視点映像を生成する画像処理装置であって、第1の入力装置からの入力値に基づき第1の仮想カメラのカメラパラメータを生成する第1の視点決定手段と、前記第1の入力装置からの入力値に基づき再生する仮想視点画像の再生位置を決定する再生位置決定手段と、前記第1の仮想カメラと前記再生位置に基づき第1の仮想視点映像を生成する第1の映像生成手段と、前記第1の入力装置からの入力値と第2の入力装置からの入力値とに基づき第2の仮想カメラのカメラパラメータを生成する第2の視点決定手段と、前記第2の仮想カメラと前記再生位置に基づき第2の仮想視点映像を生成する第2の映像生成手段とを有することを特徴とする画像処理装置。
【選択図】図3
特許請求の範囲【請求項１】
複数の撮像装置が撮影した複数の画像から仮想視点映像を生成する画像処理装置であって、
第１の入力装置からの入力値に基づき第１の仮想カメラのカメラパラメータを生成する第１の視点決定手段と、
前記第１の入力装置からの入力値に基づき再生する仮想視点画像の再生位置を決定する再生位置決定手段と、
前記第１の仮想カメラと前記再生位置に基づき第１の仮想視点映像を生成する第１の映像生成手段と、
前記第１の入力装置からの入力値と第２の入力装置からの入力値とに基づき第２の仮想カメラのカメラパラメータを生成する第２の視点決定手段と、
前記第２の仮想カメラと前記再生位置に基づき第２の仮想視点映像を生成する第２の映像生成手段と
を有することを特徴とする画像処理装置。
続きを表示（約 850 文字）【請求項２】
複数の撮像装置が撮影した複数の画像から仮想視点映像を生成する画像処理方法であって、
第１の入力装置からの入力値に基づき第１の仮想カメラのカメラパラメータを生成する第１の視点決定工程と、
前記第１の入力装置からの入力値に基づき再生する仮想視点画像の再生位置を決定する再生位置決定工程と、
前記第１の仮想カメラと前記再生位置に基づき第１の仮想視点映像を生成する第１の映像生成工程と、
前記第１の入力装置からの入力値と第２の入力装置からの入力値とに基づき第２の仮想カメラのカメラパラメータを生成する第２の視点決定工程と、
前記第２の仮想カメラと前記再生位置に基づき第２の仮想視点映像を生成する第２の映像生成工程と
を有することを特徴とする画像処理方法。
【請求項３】
第１の入力装置からの入力値に基づき第１の仮想カメラのカメラパラメータを生成する第１の視点決定工程と、
前記第１の入力装置からの入力値に基づき再生する仮想視点画像の再生位置を決定する再生位置決定工程と、
前記第１の仮想カメラと前記再生位置に基づき第１の仮想視点映像を生成する第１の映像生成工程と、
前記第１の入力装置からの入力値と第２の入力装置からの入力値とに基づき第２の仮想カメラのカメラパラメータを生成する第２の視点決定工程と、
前記第２の仮想カメラと前記再生位置に基づき第２の仮想視点映像を生成する第２の映像生成工程と
を画像処理装置に実行させるためのプログラム。
【請求項４】
第１の仮想カメラのカメラパラメータの少なくとも１つのパラメータを第２の仮想カメラのカメラパラメータへ反映する第１の反映手段と、
前記第１の反映手段で指定以外の第２の仮想カメラのカメラパラメータの少なくとも１つのパラメータを第１のカメラパラメータへ反映する第２の反映手段とを有する請求項１に記載の画像処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、仮想視点画像に係る画像処理装置、制御方法、およびプログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の１以上の視点での仮想視点画像を生成する技術がある。仮想視点画像を用いたサービスでは、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作できる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら試合を視聴することが可能になり、ユーザがあらゆる地点から仮想視点画像を視聴することができる。
【０００３】
特許文献１では、仮想カメラの操作者が望む構図を実現するための仮想カメラの位置を制御する手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１２－１０９７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、複数の人で仮想視点画像の連携を行うことが考慮されていなかった。例えば、バスケットボールの試合を撮影した映像から生成された仮想視点画像を用いてコーチが選手に対して指導する場合に、コーチと選手とが別々のデバイスで仮想視点画像を視聴しているユースケースが考えられる。この場合、コーチは、コーチが選手に対して指導のために見せたい場面を選手側の仮想視点画像に反映させつつも、ある程度は選手に仮想視点画像を操作させて周囲の状況を把握させる、といったような、仮想視点画像の連携を行うことが難しかった。
【０００６】
そこで本発明は、仮想視点画像の連携を容易にすることを目的とする。
【課題を解決するための手段】
【０００７】
画像処理装置は、複数の撮像装置が撮影した複数の画像から仮想視点映像を生成する画像処理装置であって、第１の入力装置からの入力値に基づき第１の仮想カメラのカメラパラメータを生成する第１の視点決定手段と、前記第１の入力装置からの入力値に基づき再生する仮想視点画像の再生位置を決定する再生位置決定手段と、前記第１の仮想カメラと前記再生位置に基づき第１の仮想視点映像を生成する第１の映像生成手段と、前記第１の入力装置からの入力値と第２の入力装置からの入力値とに基づき第２の仮想カメラのカメラパラメータを生成する第２の視点決定手段と、前記第２の仮想カメラと前記再生位置に基づき第２の仮想視点映像を生成する第２の映像生成手段とを有する。
【発明の効果】
【０００８】
本発明により、仮想視点画像の連携を容易にすることができる。
【図面の簡単な説明】
【０００９】
第一の実施形態における仮想視点画像生成システムの構成図の一例を示す図である。
第一の実施形態における情報処理装置および画像処理装置のハードウェア構成の一例を示すブロック図である。
第一の実施形態における画像処理システムの機能構成の一例を示す図である。
第一の実施形態における仮想視点画像の表示形態の一例を示す図である。
第一の実施形態における画像処理装置の処理の一例を示すフローチャートである。
第一の実施形態の変形例における仮想視点画像の表示形態の一例を示す図である。
第二の実施形態における画像処理システムの機能構成の一例を示す図である。
第二の実施形態における画像処理装置の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略することがある。
（【００１１】以降は省略されています）

関連特許