特許ウォッチ

公開番号2023075860
公報種別公開特許公報(A)
公開日2023-05-31
出願番号2021189030
出願日2021-11-19
発明の名称情報処理装置、情報処理方法、及び、プログラム
出願人キヤノン株式会社
代理人個人,個人
主分類G06T 15/20 20110101AFI20230524BHJP(計算;計数)
要約【課題】複数の撮影領域が重複する領域に対応する仮想視点画像の生成に適した撮影装置を選択する。
【解決手段】バックエンドサーバ270は、第1の撮影領域を撮影する撮影装置グループと、第1の撮影領域と少なくとも一部が重複する第2の撮影領域を撮影する撮影装置グループと、を含む複数の撮影装置が撮影することにより得られる複数の撮影画像に基づく仮想視点画像の生成に使用される仮想視点の位置及び前記仮想視点からの視線方向を表す視点情報を取得し、視点情報に対応する仮想視点画像が撮影領域の共通領域に対応する画像を含む場合、撮影装置グループに含まれる一以上の撮影装置に関する情報、及び、視点情報により表される仮想視点の位置及び仮想視点からの視線方向の変化と、のうち少なくともいずれかに基づいて、仮想視点画像の生成に使用される撮影装置グループが選択されるように制御する仮想視点前景画像生成部03005を有する。
【選択図】図6
特許請求の範囲【請求項１】
第１の撮影領域を撮影する一以上の撮影装置を含む撮影装置グループと、前記第１の撮影領域と少なくとも一部が重複する第２の撮影領域を撮影する一以上の撮影装置を含む撮影装置グループと、を含む複数の撮影装置が撮影することにより得られる複数の撮影画像に基づく仮想視点画像の生成に使用される仮想視点の位置及び前記仮想視点からの視線方向を表す視点情報を取得する取得手段と、
前記取得手段により取得される視点情報に対応する仮想視点画像の生成に使用される撮影装置グループを選択する選択手段と、
前記取得手段により取得される視点情報に対応する仮想視点画像が、前記第１の撮影領域と前記第２の撮影領域とが重複する共通領域に対応する画像を含む場合、前記撮影装置グループに含まれる一以上の撮影装置に関する情報、及び、前記取得手段により取得される視点情報により表される仮想視点の位置及び仮想視点からの視線方向の変化と、のうち少なくともいずれかに基づいて、仮想視点画像の生成に使用される撮影装置グループが前記選択手段により選択されるように制御する制御手段と
を有することを特徴とする情報処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記撮影装置グループに含まれる一以上の撮影装置に関する情報は、前記撮影装置グループに含まれる撮影装置の数に関する情報を含むことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記撮影装置グループに含まれる撮影装置の数に関する情報は、前記撮影装置グループに含まれる撮影装置のうち異常が発生していない撮影装置の数を表すことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記制御手段は、前記取得手段により取得される視点情報に対応する仮想視点画像が前記共通領域に対応する画像を含む場合、前記撮影装置グループに含まれる撮影装置の数がより多い撮影装置グループが前記選択手段により選択されるように制御することを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記撮影装置グループに含まれる一以上の撮影装置に関する情報は、前記撮影装置グループに含まれる撮影装置が対応する解像度に関する情報を含むことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記制御手段は、前記取得手段により取得される視点情報に対応する仮想視点画像が前記共通領域に対応する画像を含む場合、撮影装置が対応する解像度がより高い撮影装置を含む撮影装置グループが前記選択手段により選択されるように制御することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記撮影装置グループに含まれる一以上の撮影装置に関する情報は、前記撮影装置グループに含まれる撮影装置の設置位置に関する情報を含むことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記制御手段は、前記取得手段により取得される視点情報に対応する仮想視点画像が前記共通領域に対応する画像を含む場合、前記撮影装置グループに含まれる撮影装置のうち、前記仮想視点画像に含まれるオブジェクトと撮影装置の設置位置との距離がより短い撮影装置を含む撮影装置グループが前記選択手段により選択されるように制御することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記制御手段は、前記取得手段により取得される視点情報により表される仮想視点の位置及び仮想視点からの視線方向の変化に応じた仮想視点画像が、前記第１の撮影領域と前記第２の撮影領域とのうち一方に対応する画像のみを含む場合、前記仮想視点画像に含まれる撮影領域を撮影する撮影装置グループが前記選択手段により選択されるように制御することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記制御手段は、前記撮影装置グループに含まれる一以上の撮影装置に関する情報に基づいて選択される撮影装置グループと、前記取得手段により取得される視点情報により表される仮想視点の位置及び仮想視点からの視線方向の変化に基づいて選択される撮影装置グループとが異なる場合、前記取得手段により取得される視点情報により表される仮想視点の位置及び仮想視点からの視線方向の変化に基づいて選択される撮影装置グループが前記選択手段により優先して選択されるように制御することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、仮想視点画像を生成する技術に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
近年、複数の撮影装置（カメラ）を異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。仮想視点コンテンツの生成技術においては、ユーザは指定した視点（仮想視点）から見た画像を見ることができる。上記のようにして複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。例えば、複数のカメラは、光軸が特定の方向を向くように設置され、その交点（以下、注視点ともいう）を中心とする撮影領域内に対応する仮想視点コンテンツが生成される。ここで光軸の中心が複数存在するようにカメラを設置し、より多くの領域で仮想視点コンテンツを生成できるようにするといったことも可能である。
【０００３】
特許文献１には、複数の注視点のそれぞれに向けられる複数のカメラグループから取得される撮影画像を使用して、仮想視点画像を生成することについて記載されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１７－２１１８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１には、複数の注視点のそれぞれを中心とする複数の撮影領域が重複する領域においては、いずれのカメラグループにより仮想視点画像を生成するかについては記載されていない。このため、撮影領域が重複する領域において、仮想視点画像の生成に適切でないカメラグループが使用される可能性がある。
【０００６】
本発明の目的は、複数の撮影領域が重複する領域に対応する仮想視点画像の生成に適した撮影装置を選択する方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る情報処理装置は、第１の撮影領域を撮影する一以上の撮影装置を含む撮影装置グループと、前記第１の撮影領域と少なくとも一部が重複する第２の撮影領域を撮影する一以上の撮影装置を含む撮影装置グループと、を含む複数の撮影装置が撮影することにより得られる複数の撮影画像に基づく仮想視点画像の生成に使用される仮想視点の位置及び前記仮想視点からの視線方向を表す視点情報を取得する取得手段と、前記取得手段により取得される視点情報に対応する仮想視点画像の生成に使用される撮影装置グループを選択する選択手段と、前記取得手段により取得される視点情報に対応する仮想視点画像が、前記第１の撮影領域と前記第２の撮影領域とが重複する共通領域に対応する画像を含む場合、前記撮影装置グループに含まれる一以上の撮影装置に関する情報、及び、前記取得手段により取得される視点情報により表される仮想視点の位置及び仮想視点からの視線方向の変化と、のうち少なくともいずれかに基づいて、仮想視点画像の生成に使用される撮影装置グループが前記選択手段により選択されるように制御する制御手段とを有する。
【発明の効果】
【０００８】
本発明によれば、複数の撮影領域が重複する領域に対応する仮想視点画像の生成に適した撮影装置を選択することができる。
【図面の簡単な説明】
【０００９】
画像処理システム１００の概略構成図である。
競技場に設置されたカメラ１１２及びカメラアダプタ１２０の様子を示す模式図である。
カメラアダプタ１２０の概略構成図である。
フロントエンドサーバ２３０の概略構成図である。
データベース２５０の概略構成図である。
バックエンドサーバ２７０の概略構成図である。
仮想カメラ操作ＵＩ３３０の概略構成図である。
エンドユーザ端末１９０の接続構成図である。
競技場を移動するオブジェクトと注視点グループの関係を示した第一の模式図である。
第一実施形態において、仮想視点前景画像生成部０３００５での処理の流れを示すフローチャート図である。
競技場を移動するオブジェクトと注視点グループの関係を示した第二の模式図である。
第二実施形態において、仮想視点前景画像生成部０３００５での処理の流れを示すフローチャート図である。
競技場に設置された複数のカメラから仮想視点コンテンツが生成される様子を示す模式図である。
【発明を実施するための形態】
【００１０】
（第一実施形態）
競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し撮影及び集音を行うシステムについて、図１のシステム構成図を用いて説明する。画像処理システム１００は、センサシステム１１０ａ―センサシステム１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を有する。
（【００１１】以降は省略されています）

関連特許