特許ウォッチ

公開番号2025101522
公報種別公開特許公報(A)
公開日2025-07-07
出願番号2023218433
出願日2023-12-25
発明の名称画像処理装置及びその制御方法、プログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 19/00 20110101AFI20250630BHJP(計算;計数)
要約【課題】ユーザが仮想空間コミュニケーション中に、仮想空間内に表示される実空間の画像を撮影している実カメラの撮影設定を容易に行うことを可能にする。
【解決手段】画像処理装置は、実空間を撮影する実空間撮影部による撮影画像を表示するための表示領域を含む仮想空間を生成し、仮想空間におけるアバターを介したユーザの操作指示に応じて実空間撮影部の撮影設定を制御する。
【選択図】図1
特許請求の範囲【請求項１】
実空間を撮影する実空間撮影手段による実空間画像の表示領域を含む仮想空間を生成する仮想空間生成手段と、
前記仮想空間におけるアバターを介したユーザの操作指示に応じて前記実空間撮影手段の撮影設定を制御する撮影制御手段を備えることを特徴とする画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記仮想空間の部分を仮想カメラ画像として取得する仮想空間撮影手段をさらに備え、
前記操作指示は、前記仮想空間撮影手段に対する撮影設定の指示である、ことを特徴とする請求項1に記載の画像処理装置。
【請求項３】
前記撮影設定は、画像の明るさに関わる設定を含む、ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記撮影設定は、画像の色味、階調性、および画像範囲の少なくとも１つに関わる画像処理に対する設定を含む、ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記撮影制御手段は、前記仮想空間撮影手段に対して指示された撮影設定に対応するように前記実空間撮影手段の撮影設定を制御する、ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記ユーザの操作指示に応じた前記実空間撮影手段と前記仮想空間撮影手段の撮影設定を連動して変更することの有効と無効を切り替える切り替え段を更に備え、
前記撮影制御手段は、前記有効が設定されている場合に前記操作指示により前記仮想空間撮影手段と前記実空間撮影手段の撮影設定を変更し、前記無効が設定されている場合に前記操作指示による撮影設定の変更を行わない、ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記撮影制御手段は、前記仮想空間撮影手段に対する撮影設定の指示により、前記仮想空間撮影手段と前記実空間撮影手段の撮影設定を制御する、前記仮想空間撮影手段のみの撮影設定を制御する、または前記実空間撮影手段のみの撮影設定を制御する、のいずれかに切り換える切り換え手段を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記仮想空間撮影手段の画角内に前記表示領域が含まれるか否かを判定する判定手段をさらに備え、
前記撮影制御手段は、前記画角内に前記表示領域が含まれていないと判定された場合に、前記実空間撮影手段の撮影設定を制御しない、ことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記実空間撮影手段の撮影設定を制御することが可能か否かを判定する判定手段をさらに備え、
前記撮影制御手段は、撮影設定の制御を行うことが可能でないと判定された場合に、前記実空間撮影手段の撮影設定を制御しない、ことを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
前記仮想空間を視聴するための視聴画像を生成する仮想空間画像生成手段をさらに備え、
前記仮想空間画像生成手段は、前記実空間撮影手段の撮影設定の制御に応じて、前記視聴画像の内部にある前記実空間画像を表示する前記表示領域に対する画像処理を変更することを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法、プログラムに関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
従来、メタバースに代表される仮想空間コミュニケーションシステムでは、３次元（３Ｄ）グラフィックスで構成された仮想空間内にアバター（自分の分身となるキャラクタ）を設定することができる。ユーザは、このアバターを介して仮想空間内で他のアバター（他のユーザ）とコミュニケーションを図るなど様々な活動を行うことが可能である。この種の仮想空間コミュニケーションを行うシステムでは、ユーザがアバターの操作により得られた体験を自らの行動として実感できるようにするための、仮想空間と現実世界とを関連づけて相互作用をもたせるための様々な技術が開発されている。そのような技術の一つとして、ユーザが仮想空間内におけるアバターを操作して、仮想空間内の写真撮影を現実世界での撮影に近い臨場感をもたせて実現させる技術がある。仮想空間内の写真撮影では、仮想空間内の１部の領域を画像として切り出す処理が行われる（特許文献１）。画像の切り出しの方法としては、例えば、ユーザ端末のモニタ画面に表示されるアバター視点のグラフィックスイメージをそのままキャプチャ保存したり、視点映像の１部の領域をキャプチャ保存したりすることなどがあげられる。
【０００３】
また一方で、実世界を撮影した映像（以降、実写映像）に、ＣＧ用コンピュータシステムにより生成された仮想物体を合成してリアルタイムに表示するシステムが知られている（特許文献２）。特許文献２では、実写映像内にＣＧを合成する技術が開示されているが、仮想空間の画像に実写映像を合成する技術もある。例えば、仮想空間内に存在する部屋の「窓」の領域の画像を、ユーザのカメラで撮影している実世界の「空」の映像（実写映像）で差し替える技術などが知られている。
【先行技術文献】
【特許文献】
【０００４】
特開２００９－１７６０２５号公報
特開２０１１－０３５６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、実写映像の領域を含んだ仮想空間内において、実写映像が仮想空間の画像に対し暗すぎたり（或いは明るすぎたり）、ホワイトバランスが不適切であったりする場合がある。このような場合、ユーザは、実写映像の領域のみ明るさを変更するために実カメラの露出を変更することを希望する場合がある。しかしながら、仮想空間コミュニケーション中に、実写映像を取得している実カメラを操作する場合、ユーザはＨＭＤを外し、実カメラの露出設定を変更し、仮想空間の明るさを確認するためにＨＭＤを装着する、といった手順を繰り返す必要がある。このように、仮想空間コミュニケーション中に実カメラを操作するためには、煩雑な作業が強いられていた。本発明の一態様によれば、ユーザが仮想空間コミュニケーション中に、仮想空間内に表示される実空間の画像を撮影する実カメラの撮影設定を容易に行える技術が提供される。
【課題を解決するための手段】
【０００６】
本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
実空間を撮影する実空間撮影手段による撮影画像の表示領域を含む仮想空間を生成する仮想空間生成手段と、
前記仮想空間におけるアバターを介したユーザの操作指示に応じて前記実空間撮影手段の撮影設定を制御する撮影制御手段を備える。
【発明の効果】
【０００７】
本発明によれば、ユーザが仮想空間コミュニケーション中に、仮想空間内に表示される実空間の画像を撮影している実カメラの撮影設定を容易に行うことが可能となる。
【図面の簡単な説明】
【０００８】
画像処理システムの構成例を示すブロック図。
仮想空間内を俯瞰して示す図。
実カメラと仮想カメラのカメラ画像を説明する図。
第１実施形態における処理を示すフローチャート。
仮想カメラの明るさ変更指示後のカメラ画像、および視聴画像を説明する図。
第２実施形態による処理を示すフローチャート。
第３実施形態による仮想カメラのＵＩの例を示す図。
実カメラの連動選択ボタン表示のための処理を示すフローチャート。
第３実施形態による仮想カメラに対する明るさ変更処理を示すフローチャート。
第４実施形態による仮想カメラのＵＩ表示例を示す図。
第４実施形態による仮想カメラの露出変更処理を示すフローチャート。
第４実施形態における仮想カメラに表示される参考情報の例を示す図。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
＜第１実施形態＞
図１は、第１実施態様による画像処理システムの構成例を示すブロック図である。第１実施形態の画像処理システムは、実カメラシステム部１００、ＣＧシステム部１０１、ユーザ操作指示システム部１０２、仮想空間表示システム部１０３を備える。これらシステム部のそれぞれは単一の装置により構成されてもよいし、複数の装置により構成されてもよい。また、これらシステム部のいくつかが単一の装置により実現されてもよい。実カメラシステム部１００は実世界の撮影を行う。ＣＧシステム部１０１は、３次元（３Ｄ）ＣＧにより仮想空間画像を生成する画像処理装置である。ＣＧは、ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓの略である。ユーザ操作指示システム部１０２は、ユーザが仮想空間コミュニケーションの最中に、仮想空間内の物体または実カメラシステム部１００への操作指示を行うことを可能にする。例えば、ユーザは、アバターを介して仮想空間における各種操作を行うことが可能である。仮想空間表示システム部１０３は、ユーザが仮想空間内をモニタリングするための画像（視聴画像）をＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）に代表される表示装置に表示する。実カメラシステム部１００、ＣＧシステム部１０１、ユーザ操作指示システム部１０２および仮想空間表示システム部１０３は、リアルタイムで画像情報を通信するために高速処理が可能な通信用インターフェースで接続されている。
（【００１１】以降は省略されています）

関連特許