特許ウォッチ

公開番号2025017566
公報種別公開特許公報(A)
公開日2025-02-06
出願番号2023120684
出願日2023-07-25
発明の名称情報処理装置、情報処理方法、およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 19/00 20110101AFI20250130BHJP(計算;計数)
要約【課題】シーンに適した仮想視点を設定できるようにする。
【解決手段】情報処理装置は、複数の撮像装置により撮像される被写体の現実空間の位置に対応する仮想空間の位置を示す被写体情報と、三次元空間における領域を示す領域情報と、前記領域に対応付けられた関心位置を示す関心位置情報とを取得する取得手段と、前記被写体が前記領域内に存在する場合、前記被写体情報と前記関心位置情報とに基づいて、仮想視点画像に対応する仮想視点の位置および前記仮想視点からの視線方向を決定する決定手段とを有する。
【選択図】図1
特許請求の範囲【請求項１】
複数の撮像装置により撮像される被写体の現実空間の位置に対応する仮想空間の位置を示す被写体情報と、前記仮想空間における領域を示す領域情報と、前記領域に対応付けられた関心位置を示す関心位置情報とを取得する取得手段と、
前記被写体が前記領域内に存在する場合、前記被写体情報と前記関心位置情報とに基づいて、仮想視点画像に対応する仮想視点の位置および前記仮想視点からの視線方向を決定する決定手段と
を有することを特徴とする情報処理装置。
続きを表示（約 830 文字）【請求項２】
前記決定手段は、前記被写体の仮想空間の位置と前記関心位置とを通る直線に基づいて、前記仮想視点の位置および前記仮想視点からの視線方向を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記領域および前記関心位置は所定の回転方向と対応付いており、
前記決定手段は、前記被写体が前記領域内に存在する場合、前記直線に対し前記被写体の仮想空間の位置を中心として前記所定の回転方向に回転させた位置に前記仮想視点の位置および前記仮想視点からの視線方向を決定することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記決定手段は、前記直線に対し前記被写体の仮想空間の位置を中心として前記所定の回転方向に所定の角度回転させた位置に前記仮想視点の位置および前記仮想視点からの視線方向を決定することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記所定の角度は、ユーザ操作に基づいて決定されることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記関心位置は、ユーザ操作に基づいて設定されることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記関心位置は、背景モデルに対応づいていることを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記背景モデルは、静止物体であることを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記背景モデルは、バスケットボールのゴールであることを特定する請求項８に記載の情報処理装置。
【請求項１０】
前記決定手段は、前記仮想視点画像に前記被写体と前記関心位置とを含むように、前記仮想視点の位置および前記仮想視点からの視線方向を決定することを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、仮想視点画像に対応する仮想視点を設定する情報処理装置に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
複数のカメラを異なる位置に設置して同期撮影し、撮影により得られた複数の画像を用いて、ユーザ操作に基づく任意の仮想カメラ（仮想視点）からの画像（仮想視点画像）を生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが可能となり、通常の画像と比較してユーザに高い臨場感を与えることができる。
【０００３】
仮想視点の操作を容易にするため、特許文献１では、注目する第一被写体の位置情報と、合わせて仮想視点画像に収めたい第二の被写体の位置情報に基づき仮想視点の位置及び向きを決定する手法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－１７１４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、複雑な動きを行う被写体の仮想視点画像を生成する場合、シーンに適した仮想視点を決定できなかった。例えば、バスケットボールにおいて、ある選手に着目した仮想視点画像を生成したい場合、頻繁に攻守が切り替わるため、シーンの変化に伴い適切な仮想視点の位置が変化し、シーンに適した仮想視点の位置および仮想視点からの視線方向を設定できなかった。
【０００６】
本開示は、シーンに適した仮想視点を設定できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本開示による情報処理装置は、以下の構成を有する。すなわち、複数の撮像装置により撮像される撮像領域に含まれる被写体の位置を示す位置情報を取得する取得手段と、前記被写体の移動方向に基づいて、複数の関心位置のうち１つの関心位置を特定する特定手段と、前記特定手段により特定された前記関心位置と前記被写体の位置とに基づいて、前記被写体に関連する仮想視点画像に対応する仮想視点の位置と前記仮想視点からの視線方向を決定する決定手段とを有する。
【発明の効果】
【０００８】
本開示によれば、シーンに適した仮想視点を設定できる。
【図面の簡単な説明】
【０００９】
実施形態１における画像処理システムの構成の一例を示すブロック図である。
実施形態１における被写体位置の追跡処理を説明するための図である。
実施形態１における被写体位置に識別子を付与する処理を説明するための図である。
実施形態１における被写体の代表位置の一例を示す図である。
実施形態１における追跡部１０６が被写体の位置を追跡する処理を示すフローチャートである。
実施形態１における関心対象決定部１１０が関心対象を決定する処理を示すフローチャートである。
実施形態１における各被写体の速度ベクトルと平均速度ベクトルの一例を示す図である。
実施形態１における視点生成部１０９が生成する仮想視点の位置の一例を示す図である。
実施形態２における関心対象決定部１１０が関心対象を決定する処理を示すフローチャートである。
実施形態２における関心対象と判定領域の一例を示す図である。
実施形態２における被写体と関心対象と仮想視点の動きの一例を示す図である。
情報処理装置３のハードウェア構成例を示すブロック図である。
実施形態３における視点生成部１０９の処理の一例を示すフローチャートである。
実施形態３における視点位置判定領域の一例を示す図である。
実施形態３における視点生成部１０９が生成する仮想視点における画角の一例を示す図である。
実施形態３における視点位置判定領域と関心対象との組み合わせを示すテーブルの一例を示す図である。
実施形態４における視点生成部１０９が生成する仮想視点の一例を示す図である。
【発明を実施するための形態】
【００１０】
＜実施形態１＞
（画像処理装置のシステム構成と動作）
画像処理システムは、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの光景を表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。
（【００１１】以降は省略されています）

関連特許