特許ウォッチ

公開番号2025002994
公報種別公開特許公報(A)
公開日2025-01-09
出願番号2023103415
出願日2023-06-23
発明の名称画像処理装置、画像処理方法、およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 19/00 20110101AFI20241226BHJP(計算;計数)
要約【課題】シーンに適した仮想視点を設定できるようにする。
【解決手段】情報処理装置は、複数の撮像装置により撮像される撮像領域に含まれる被写体の位置を示す位置情報を取得する取得手段と、前記被写体の移動方向に基づいて、複数の関心位置のうち1つの関心位置を特定する特定手段と、前記特定手段により特定された前記関心位置と前記被写体の位置とに基づいて、前記被写体に関連する仮想視点画像に対応する仮想視点の位置と、前記仮想視点からの視線方向を決定する決定手段とを有する。
【選択図】図1
特許請求の範囲【請求項１】
複数の撮像装置により撮像される撮像領域に含まれる被写体の位置を示す位置情報を取得する取得手段と、
前記被写体の移動方向に基づいて、複数の関心位置のうち１つの関心位置を特定する特定手段と、
前記特定手段により特定された前記関心位置と前記被写体の位置とに基づいて、前記被写体に関連する仮想視点画像に対応する仮想視点の位置と、前記仮想視点からの視線方向を決定する決定手段と
を有することを特徴とする情報処理装置。
続きを表示（約 890 文字）【請求項２】
前記位置情報は、複数の被写体の位置を示し、
前記特定手段は、前記複数の被写体の移動方向に基づいて、前記複数の関心位置のうち１つの関心位置を特定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記特定手段は、前記複数の被写体の移動方向および移動速度に基づいて、前記複数の関心位置のうち１つの関心位置を特定することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記複数の被写体は、第１種類と第２種類とを含む複数の種類に分類され、
前記特定手段は、前記第１種類に対応する前記複数の被写体の移動方向に基づいて、前記複数の関心位置のうち１つの関心位置を特定することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記複数の撮像装置は、競技を撮像し、
前記第１種類は、選手であり、
前記第２種類は、審判員であることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記取得手段は、三次元空間上の所定の領域と対応した前記複数の関心位置を示す条件情報を取得し、
前記特定手段は、前記条件情報が示す前記所定の領域内に前記被写体が位置する場合、前記所定の領域と対応した前記複数の関心位置から１つの関心位置を特定することを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記被写体の移動方向は、所定の時間における前記被写体の位置変化に基づいて特定されることを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記関心位置は、ユーザ操作に基づいて設定されることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記関心位置は、背景モデルに対応づいていることを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記背景モデルは、静止物体であることを特徴とする請求項９に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、仮想視点画像を生成する画像処理装置に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
複数のカメラを異なる位置に設置して同期撮影し、撮影により得られた複数の画像を用いて、ユーザ操作に基づく任意の仮想カメラ（仮想視点）からの画像（仮想視点画像）を生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが可能となり、通常の画像と比較してユーザに高い臨場感を与えることができる。
【０００３】
仮想視点の操作を容易にするため、特許文献１では、注目する第一被写体の位置情報と、合わせて仮想視点画像に収めたい第二の被写体の位置情報に基づき仮想視点の位置及び向きを決定する手法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－１７１４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、複雑な動きを行う被写体の仮想視点画像を生成する場合、シーンに適した仮想視点を決定できなかった。例えば、バスケットボールにおいて、ある選手に着目した仮想視点画像を生成したい場合、頻繁に攻守が切り替わるため、シーンの変化に伴い適切な仮想視点の位置が変化し、シーンに適した仮想視点の位置および仮想視点からの視線方向を設定できなかった。
【０００６】
本開示は、シーンに適した仮想視点を設定できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本開示による情報処理装置は、以下の構成を有する。すなわち、複数の撮像装置により撮像される撮像領域に含まれる被写体の位置を示す位置情報を取得する取得手段と、前記被写体の移動方向に基づいて、複数の関心位置のうち１つの関心位置を特定する特定手段と、前記特定手段により特定された前記関心位置と前記被写体の位置とに基づいて、前記被写体に関連する仮想視点画像に対応する仮想視点の位置と前記仮想視点からの視線方向を決定する決定手段とを有する。
【発明の効果】
【０００８】
本開示によれば、シーンに適した仮想視点を設定できる。
【図面の簡単な説明】
【０００９】
実施形態１における画像処理システムの構成の一例を示すブロック図である。
実施形態１における被写体位置の追跡処理を説明するための図である。
実施形態１における被写体位置に識別子を付与する処理を説明するための図である。
実施形態１における被写体の代表位置の一例を示す図である。
実施形態１における追跡部１０６が被写体の位置を追跡する処理を示すフローチャートである。
実施形態１における関心対象決定部１１０が関心対象を決定する処理を示すフローチャート。
実施形態１における各被写体の速度ベクトルと平均速度ベクトルの一例を示す図である。
実施形態１における視点生成部１０９が生成する仮想視点の位置の一例である。
実施形態２における関心対象決定部１１０が関心対象を決定する処理を示すフローチャート。
実施形態２における関心対象と判定領域の一例を示す図である。
実施形態２における被写体と関心対象と仮想視点の動きの一例を示す図である。
情報処理装置３のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１０】
＜実施形態１＞
（画像処理装置のシステム構成と動作）
画像処理システムは、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの光景を表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。
（【００１１】以降は省略されています）

関連特許