特許ウォッチ

公開番号2024098822
公報種別公開特許公報(A)
公開日2024-07-24
出願番号2023002560
出願日2023-01-11
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 19/20 20110101AFI20240717BHJP(計算;計数)
要約【課題】仮想視点画像に対する付加情報の入力及び出力を適切に処理すること。
【解決手段】画像処理装置は、三次元の仮想空間およびその仮想空間における仮想視点に基づく二次元の仮想視点画像に対して、付加情報の入力を取得し、仮想空間において付加情報が配置されるべき注目面を、仮想空間における仮想視点に応じた範囲内で設定し、入力された付加情報を注目面に投影させることにより、付加情報を、仮想空間における三次元位置に配置されるオブジェクトに変換し、オブジェクトが三次元位置に配置された仮想空間に基づく仮想視点画像を表示させる。
【選択図】図7
特許請求の範囲【請求項１】
三次元の仮想空間および当該仮想空間における仮想視点に基づく二次元の仮想視点画像に対して、付加情報の入力を取得する取得手段と、
前記仮想空間において前記付加情報が配置されるべき注目面を、前記仮想空間における前記仮想視点に応じた範囲内で設定する設定手段と、
入力された前記付加情報を前記注目面に投影させることにより、当該付加情報を、前記仮想空間における三次元位置に配置されるオブジェクトに変換する変換手段と、
前記オブジェクトが前記三次元位置に配置された前記仮想空間に基づく前記仮想視点画像を表示手段に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記注目面は、前記仮想視点の位置からの視線の方向を示すベクトルに垂直に交わる平面であり、
前記設定手段は、前記仮想視点から前記平面と前記ベクトルとが交わる点までの距離のユーザによる設定を受け付けることにより、前記注目面を設定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記注目面は、前記仮想視点の位置からの視線の方向を示すベクトルに垂直に交わる平面のうち、前記仮想視点における視錐台の範囲に含まれる面であり、
前記設定手段は、前記仮想視点から前記平面と前記ベクトルとが交わる点までの距離についてのユーザによる設定を、前記平面が前記視錐台と交わる範囲において受け付けることにより、前記注目面を設定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記設定手段は、さらに、前記注目面のサイズの変更を受け付ける、ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記注目面は、前記視錐台のサイズに対応する初期サイズを有する、ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記注目面は、前記仮想視点の位置を中心とした半球状の面であり、
前記設定手段は、前記仮想視点から前記面と前記仮想視点の位置からの視線の方向を示すベクトルとが交わる点までの距離のユーザによる設定を受け付けることにより、前記注目面を設定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記設定手段は、前記注目面を追加する操作を受け付けた場合に、複数の前記注目面を設定する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記変換手段は、複数の前記注目面が設定されている場合に、前記仮想視点画像において前記付加情報が入力された位置に対応する前記注目面を用いて、当該付加情報を前記オブジェクトに変換する、ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記変換手段は、前記仮想視点画像において前記付加情報が入力された位置に対応する複数の前記注目面が存在する場合に、前記仮想視点の位置からの距離が最も近い前記注目面を用いて、当該付加情報を前記オブジェクトに変換する、ことを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記変換手段は、前記仮想視点画像において前記付加情報が入力された位置に対応する複数の前記注目面が存在する場合に、当該複数の前記注目面のうちのいずれを用いて当該付加情報を前記オブジェクトに変換するかのユーザによる選択を受け付ける、ことを特徴とする請求項７に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、仮想視点画像の操作の高度化技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
プレゼンテーションを実行するアプリケーションにおいて、画像を表示中に、画像内における注目点を示す等のための丸や線等の形状のマーカの入力を受け付け、ページ画像とそのマーカとを合成して出力する機能が知られている。特許文献１には、このような機能を遠隔会議システムに適用した技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１７－１５１４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、複数の撮像装置を用いた撮像によって得られた複数の画像から、撮像されたシーンを任意の視点から見た画像（仮想視点画像）を生成する技術が注目されている。このような仮想視点画像においても、例えばシーンにおいて着目すべき対象へマーカを付すことが想定される。仮想視点画像にマーカが入力された場合、そのマーカが入力された際の視点から見るとマーカが適切な位置に表示されるが、別の視点に切り替えた場合などにそのマーカが意図しない位置に表示されうる。このように、仮想視点画像に対してマーカなどの付加情報を描画する際に、描画する付加情報が意図しない位置に表示される可能性がある。また、三次元空間を二次元にマッピングした画像に対してマーカなどの付加情報を入力する場合、適切な三次元位置にその付加情報を入力することが容易ではないことも想定される。
【０００５】
本開示は、仮想視点画像に対する付加情報の入力及び出力に関する制御技術を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様による画像処理装置は、三次元の仮想空間および当該仮想空間における仮想視点に基づく二次元の仮想視点画像に対して、付加情報の入力を取得する取得手段と、前記仮想空間において前記付加情報が配置されるべき注目面を、前記仮想空間における前記仮想視点に応じた範囲で設定する設定手段と、入力された前記付加情報を前記注目面に投影させることにより、当該付加情報を、前記仮想空間における三次元位置に配置されるオブジェクトに変換する変換手段と、前記オブジェクトが前記三次元位置に配置された前記仮想空間に基づく前記仮想視点画像を表示手段に表示させる表示制御手段と、を有する。
【発明の効果】
【０００７】
本開示によれば、仮想視点画像に対する付加情報の入力及び出力を適切に処理することが可能となる。
【図面の簡単な説明】
【０００８】
画像処理システムの構成例を示す図である。
画像処理装置の構成例を示す図である。
仮想視点の位置及び姿勢と操作方法を説明する図である。
仮想視点、注目面、及びマーカオブジェクトを説明する図である。
注目面の仮想視点からの距離を操作する方法を説明する図である。
複数の注目面を設定および操作する方法を説明する図である。
画像処理装置によって実行される処理の流れの例を示す図である。
マーカ制御処理を説明する図である。
マーカ制御処理を説明する図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る開示を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが開示に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
［実施形態１］
（システム構成）
図１（Ａ）及び図１（Ｂ）を用いて、本実施形態に係る画像処理システム１００の構成例について説明する。画像処理システム１００は、複数のセンサシステム（図１（Ａ）の例ではｎ台のセンサシステム１０１－１～センサシステム１０１－ｎ）を含む。各センサシステムは、少なくとも１台の撮像装置（例えばカメラ）を含む。なお、以下では、特に区別する必要がない場合には、センサシステム１０１－１～センサシステム１０１－ｎを総称して「センサシステム１０１」と呼ぶ。この画像処理システム１００では、複数のセンサシステム１０１によって取得された画像データに基づいて、仮想視点画像データを生成してユーザに提供する。
（【００１１】以降は省略されています）

関連特許