特許ウォッチ

公開番号2024124469
公報種別公開特許公報(A)
公開日2024-09-12
出願番号2024105472,2023020969
出願日2024-06-28,2019-02-15
発明の名称画像処理装置、画像処理方法、コンピュータプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 21/2343 20110101AFI20240905BHJP(電気通信技術)
要約【課題】仮想視点画像の再生に係る仮想視点を変更する場合のユーザの利便性を向上する。
【解決手段】複数の撮影装置により取得される複数の撮影画像から仮想視点画像を生成するために用いられる仮想視点と再生時刻を決定する情報処理装置は、所定の仮想視点と再生時刻情報とを対応付けて保持する保持部と、仮想視点を所定の仮想視点へ切り替える指示に応じて、仮想視点画像の生成に用いられる仮想視点を所定の仮想視点に設定する第1の設定部と、指示に応じて、仮想視点画像の再生時刻を、所定の仮想視点に対応づけて保持されている再生時刻情報に基づいて設定する第2の設定部と、を備える。
【選択図】図3
特許請求の範囲【請求項１】
複数の撮影装置により取得される複数の撮影画像から仮想視点画像を生成するために用いられる仮想視点と再生時刻を決定する情報処理装置であって、
所定の仮想視点と再生時刻情報とを対応付けて保持する保持手段と、
仮想視点を前記所定の仮想視点へ切り替える指示に応じて、仮想視点画像の生成に用いられる仮想視点を前記所定の仮想視点に設定する第１の設定手段と、
前記指示に応じて、仮想視点画像の再生時刻を、前記所定の仮想視点に対応づけて保持されている前記再生時刻情報に基づいて設定する第２の設定手段と、を備えることを特徴とする情報処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記再生時刻情報は、時刻差分値を含み、
前記第２の設定手段は、前記時刻差分値を用いて仮想視点の切り替え時の再生時刻を変更することにより、切り替え後の再生時刻を設定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第２の設定手段は、切り替え時の再生時刻から前記時刻差分値を差し引いた再生時刻を切り替え後の再生時刻として設定することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記再生時刻情報は所定の再生時刻を含み、
前記第２の設定手段は、切り替え後の再生時刻を前記所定の再生時刻に設定することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
仮想視点の切り替え前の仮想視点画像の表示範囲と、仮想視点の切り替え後の仮想視点画像の表示範囲との重複の状態を判定する判定手段をさらに備え、
前記第２の設定手段は、前記判定手段により判定された前記重複の状態に基づいて、切り替え時の再生時刻から切り替え後の再生時刻への変更量を異ならせることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記第２の設定手段は、前記重複が存在しない場合の切り替え後の再生時刻を、前記重複が存在する場合の切り替え後の再生時刻よりも過去の時刻に設定することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記再生時刻情報は、前記重複の状態に応じて異なる複数の時刻差分値を含み、
前記第２の設定手段は、前記重複の状態に応じて前記複数の時刻差分値から一つの時刻差分値を選択し、選択した時刻差分値を用いて切り替え時の再生時刻を変更することにより切り替え後の再生時刻を設定することを特徴とする請求項５または６に記載の情報処理装置。
【請求項８】
切り替え前の仮想視点と切り替え後の仮想視点との距離を算出する算出手段をさらに備え、
前記第２の設定手段は、前記算出手段により算出された前記距離に基づいて、仮想視点の切り替え時の再生時刻から切り替え後の再生時刻への変更量を異ならせることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記距離が大きいほど、前記変更量が大きいことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記保持手段は、前記保持された仮想視点に対応する仮想視点画像の再生時刻と再生回数の関係を示す履歴情報を前記再生時刻情報として保持し、
前記第２の設定手段は、切り替え後の再生時刻を、前記履歴情報に基づいて設定することを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置及びその制御方法、プログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。複数視点画像に基づく仮想視点画像は、複数のカメラが撮影した複数視点画像をサーバなどの画像処理部に集約し、画像処理部にて、仮想視点に基づくレンダリングなどの処理を施すことにより生成される。生成された仮想視点画像はユーザ端末に転送、表示され、ユーザはこれを閲覧する。
【０００３】
上記のような仮想視点画像を用いたサービスでは、従来の撮影画像と比較してユーザに高臨場感を与えることができる。例えば、映像制作者は、サッカーやバスケットボールの試合を撮影した映像から、迫力のある視点のコンテンツを制作することが可能になる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら試合観戦することが出来るようになる。また録画コンテンツを使用することで、視点の移動だけでなく再生時刻の変更により早戻し、一時停止、スロー再生などリプレイ視聴が可能となる。
【０００４】
特許文献１では、被写体を取り囲むように複数のカメラを配置して被写体を撮影した画像を用いて、任意の視点に応じた仮想視点画像を生成、表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
特開２００８－１５７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
仮想視点画像の動画コンテンツを視聴するユーザが、ある視点から別の視点へ仮想視点を切り替えた場合、特に仮想視点の位置及び向きが大きく変化した場合には、切り替え後に表示されたシーンの状況がすぐには把握できない場合が考えられる。また、ゴールシーンなどの注目すべきイベントが発生したことに気づいたユーザがそのイベントを見やすい視点に切り替えたとしても、すでにそのイベントは終わってしまっている。そのため、ユーザがそのイベントを所望の視点で改めて見たい場合には、視点を切り替えた後に再生時刻を戻す操作を行うことになり、ユーザの手間が大きくなる。
【０００７】
本発明は、仮想視点画像の再生に係る仮想視点を変更する場合のユーザの利便性を向上する技術を提供する。
【課題を解決するための手段】
【０００８】
本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
複数の撮影装置により取得される複数の撮影画像から仮想視点画像を生成するために用いられる仮想視点と再生時刻を決定する仮想視点設定装置であって、
所定の仮想視点と再生時刻情報とを対応付けて保持する保持手段と、
仮想視点を前記所定の仮想視点へ切り替える指示に応じて、仮想視点画像の生成に用いられる仮想視点を前記所定の仮想視点に設定する第１の設定手段と、
前記指示に応じて、仮想視点画像の再生時刻を、前記所定の仮想視点に対応づけて保持されている前記再生時刻情報に基づいて設定する第２の設定手段と、を備える。
【発明の効果】
【０００９】
本発明によれば、仮想視点画像の再生に係る仮想視点を変更する場合のユーザの利便性が向上する。
【図面の簡単な説明】
【００１０】
（ａ）は第１実施形態による画像処理システムの構成例を示す図、（ｂ）は画像生成装置のハードウェア構成例を示すブロック図。
画像処理システムにおける撮影装置の設置例を示す図。
画像生成装置の機能構成例を示すブロック図。
第１実施形態による仮想視点画像の生成処理を示すフローチャート。
（ａ）は第１実施形態による仮想空間と仮想視点の配置例を示す概念図、（ｂ）及び（ｃ）は第１実施形態による画面表示例を示す図。
第２実施形態による仮想視点画像の生成処理を示すフローチャート。
（ａ）は第２実施形態に係る仮想空間と仮想視点の配置例を示す概念図、（ｂ）及び（ｃ）は第２実施形態による画面表示例を示す図。
第３実施形態による仮想視点画像の生成処理を示すフローチャート。
（ａ）は第３実施形態による仮想空間と仮想視点の配置例を示す概念図、（ｂ）及び（ｃ）は第３実施形態による画面表示例を示す図。
第４実施形態による仮想視点画像の生成処理を示すフローチャート。
（ａ）は第４実施形態による履歴情報を説明する図、（ｂ）及び（ｃ）は第４実施形態による画面表示例を示す図。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許