特許ウォッチ

公開番号2025158631
公報種別公開特許公報(A)
公開日2025-10-17
出願番号2024061368
出願日2024-04-05
発明の名称画像処理装置、画像処理方法及びプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 19/00 20110101AFI20251009BHJP(計算;計数)
要約【課題】仮想視点映像を生成する際のシーンにおけるカメラパスの選択を容易に行えるようにする。
【解決手段】画像処理装置は、撮像手段により撮像された撮像対象の複数のシーンのうち、仮想視点画像を生成する特定のシーンを選択するユーザ操作に対応する入力を取得する取得手段と、特定のシーンに関連付けられた複数の仮想カメラの位置姿勢を示す情報を表示する制御を行う表示制御手段とを有する。
【選択図】図2
特許請求の範囲【請求項１】
撮像手段により撮像された撮像対象の複数のシーンのうち、仮想視点画像を生成する特定のシーンを選択するユーザ操作に対応する入力を取得する取得手段と、
前記特定のシーンに関連付けられた複数の仮想カメラの位置姿勢を示す情報を表示する制御を行う表示制御手段と
を有することを特徴とする画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記仮想カメラの位置姿勢を示す情報は、前記仮想カメラの位置、向き、及び焦点距離を示す情報を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示制御手段は、前記特定のシーンにおける被写体の位置を示す情報を前記仮想カメラの位置姿勢を示す情報とともに表示する制御を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記表示制御手段は、前記特定のシーンに関連付けられた複数の仮想カメラの位置姿勢を示す情報の数に応じて、情報の表示を切り替える制御を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記表示制御手段は、前記特定のシーンにおける被写体の位置を示す情報を前記仮想カメラの位置姿勢を示す情報とともに表示する制御を行い、
前記特定のシーンに関連付けられた複数の仮想カメラの位置姿勢を示す情報の数が所定値を超える場合、前記特定のシーンに関連付けられた前記仮想カメラの画角に入るか否かに応じて前記被写体の位置を示す情報の表示を切り替えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記表示制御手段は、前記シーンに関連付けられた複数の仮想カメラの位置姿勢を示す情報の前記シーン毎の数を表示する制御を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記表示制御手段は、前記シーン毎の前記仮想視点画像の再生回数を示す情報を表示する制御を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記仮想視点画像を生成するための仮想カメラに関する情報を保持する第１の保持手段を有し、
前記表示制御手段は、前記第１の保持手段が保持する前記仮想カメラに関する情報に基づいて前記特定のシーンに関連付けられた複数の仮想カメラの位置姿勢を示す情報を表示する制御を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記仮想カメラに関する情報は、すでに生成された前記仮想視点画像における仮想カメラの位置姿勢を示す情報を含むことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
複数の前記撮像手段により撮像された前記撮像対象に関する複数の撮像画像を取得する画像取得手段と、
前記画像取得手段により取得された前記複数の撮像画像から生成された３Ｄモデルを保持する第２の保持手段と、
前記第２の保持手段が保持する前記３Ｄモデルに基づいて前記撮像対象に関する仮想視点画像を生成する生成手段とを有し、
前記生成手段は、ユーザ操作に基づいて指定された前記仮想カメラの位置姿勢での前記特定のシーンの前記仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、仮想視点画像を生成する技術に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
スポーツの試合やコンサートなどを多数のアングルで撮像した映像コンテンツを録画し、ユーザが所望のシーンとアングルの映像を再生することができる。特許文献１には、１画面内に複数の映像コンテンツを同時に再生し、その中からユーザが所望のアングルの映像を選択する技術について開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２００９－１４１８９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
仮想視点画像は、複数のカメラで撮像した映像から三次元モデル（３Ｄモデル）を作成し、カメラの視点（アングル）を示すカメラパスに応じて生成される画像である。カメラパスは、予め作成する必要があるが、事前にすべてのシーンについて用意できるとは限らない。また、任意の視点からカメラパスを作成することができるため、それぞれのシーンを含むカメラパスの数は不定である。これら自由に作成できるカメラパスに対し、特許文献１に記載の技術では、所望のシーンとカメラパスを選択することが難しいという課題があった。本発明は、仮想視点映像を生成するシーンにおけるカメラパスの選択を容易に行えるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、撮像手段により撮像された撮像対象の複数のシーンのうち、仮想視点画像を生成する特定のシーンを選択するユーザ操作に対応する入力を取得する取得手段と、前記特定のシーンに関連付けられた複数の仮想カメラの位置姿勢を示す情報を表示する制御を行う表示制御手段とを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、仮想視点映像を生成するシーンにおけるカメラパスの選択を容易に行うことが可能となる。
【図面の簡単な説明】
【０００７】
画像処理装置のハードウェア構成例を説明する図である。
画像処理装置の機能構成例を説明する図である。
シーン情報を説明する図である。
カメラパス情報を説明する図である。
シーン選択画面を説明する図である。
カメラパス選択画面を説明する図である。
カメラパス選択画面を説明する図である。
シーン選択に関する処理例を説明するフローチャートである。
カメラパス選択に関する処理例を説明するフローチャートである。
表示画面の例を説明する図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を図面に基づいて説明する。
【０００９】
以下では、本実施形態における画像処理装置の適用例として、野球等の試合を撮像して、所望のシーンを仮想視点画像で再生することが可能な再生サービスを例に説明する。ここで、画像処理装置の使用者は、提供者とユーザの２者である。提供者は、再生サービスを提供するために画像処理装置を使用する者を示す。提供者は、例えば、野球等の試合を撮像し、画像処理装置を操作して、仮想視点画像の生成に必要な三次元モデル（３Ｄモデル）を用意する。ユーザは、再生サービスを受けるために画像処理装置を使用する者を示す。ユーザは、画像処理装置を操作して、所望のシーン及びカメラパスの仮想視点画像を視聴する。
【００１０】
図１は、本実施形態における画像処理装置１００のハードウェア構成例を説明する図である。画像処理装置１００は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、補助記憶装置１１４、表示部１１５、操作部１１６、通信Ｉ／Ｆ１１７、及びバス１１８を有する。
（【００１１】以降は省略されています）

関連特許