特許ウォッチ

公開番号2024124184
公報種別公開特許公報(A)
公開日2024-09-12
出願番号2023032179
出願日2023-03-02
発明の名称画像処理装置および画像処理方法、ならびにバーチャルスタジオシステム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 5/222 20060101AFI20240905BHJP(電気通信技術)
要約【課題】インカメラVFX映像の背景画像に、撮影シーン内の光源の影響を反映させることが可能な画像処理装置を提供すること。
【解決手段】画像処理装置は、撮像装置で撮像する現実空間に存在する光源に関する情報を取得し、現実空間に配置される表示装置に表示する画像を生成する。画像処理装置は、取得した情報に基づいて、光源からの光が画像に与える影響を反映した画像を生成する。
【選択図】図4
特許請求の範囲【請求項１】
撮像装置で撮像する現実空間に存在する光源に関する情報を取得する取得手段と、
前記現実空間に配置される表示装置に表示する画像を生成する生成手段と、を有し、
前記生成手段は、前記情報に基づいて、前記光源からの光が前記画像に与える影響を反映した画像を生成することを特徴とする画像処理装置。
続きを表示（約 970 文字）【請求項２】
前記光源が発する光が前記画像に影響を与えるか否かを判定する判定手段をさらに有し、
前記生成手段は、前記光が前記画像に影響を与えると判定された場合に、前記光の影響を反映した画像を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記光が前記表示装置の表示面に到達すると判定される場合に、前記光が前記画像に影響を与えると判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記光によって照らされる前記画像の領域の明るさおよび彩度を変更することにより、前記光の影響を反映した前記画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記生成手段は、前記撮像装置の視点を用いて仮想空間の３次元モデルをレンダリングすることにより前記画像を生成し、
前記生成手段は、前記光源を前記仮想空間にマッピングして前記３次元モデルをレンダリングすることにより、前記光が前記画像に与える影響を反映した画像を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記影響には前記光源によって前記仮想空間の仮想物体に生じる陰影が含まれることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記影響には前記光源によって現実物体が生成する影が含まれることを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記光源に関する情報には、前記光源の３次元位置、姿勢または照射方向、明るさ、および種類のうち、少なくとも３次元位置が含まれることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記取得手段は、前記光源の３次元位置を前記撮像装置とは異なる撮像装置で前記現実空間を撮影した画像に基づいて取得することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記取得手段は、前記光源の３次元位置および姿勢を、前記光源に設けられたセンサの出力に基づいて取得することを特徴とする請求項８に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、ならびにバーチャルスタジオシステムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
カメラの位置姿勢に応じた画像を背景にして被写体を撮像することにより、背景画像と実写映像とを合成することなくＶＦＸ(Visual Effects)映像を取得する方法（インカメラＶＦＸ）が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
特許第７１９０５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
背景画像は被写体を撮像するカメラの視点から仮想空間を見た画像として生成される。一方、被写体が存在する現実空間（撮像シーン）には、車両のヘッドライト、被写体が保持する手持ちの光源、火といった人工光源や自然光源が存在しうる。従来、このように現実空間に存在する光源が発する光が仮想空間に影響を与える場合であっても、生成される背景画像は変化しなかったため、不自然な印象を与える場合があった。
【０００５】
このような課題を踏まえ、本発明はその一態様において、インカメラＶＦＸ映像の背景画像に、撮影シーン内の光源の影響を反映させることが可能な画像処理装置および画像処理方法を提供する。
【課題を解決するための手段】
【０００６】
本発明はその一態様において、撮像装置で撮像する現実空間に存在する光源に関する情報を取得する取得手段と、現実空間に配置される表示装置に表示する画像を生成する生成手段と、を有し、生成手段は、情報に基づいて、光源からの光が画像に与える影響を反映した画像を生成することを特徴とする画像処理装置を提供する。
【発明の効果】
【０００７】
本発明の一態様によれば、画像を背景とした映像を撮像するカメラの露出条件の変化を抑制するように撮像シーンの明るさを制御することが可能なシーン制御装置およびその制御方法を提供することができる。
【図面の簡単な説明】
【０００８】
実施形態に係るバーチャルスタジオシステムの模式図
図１におけるカメラの機能構成例と、各機器の接続関係を示すブロック図
シーン制御装置の機能構成例を示すブロック図
シーン制御動作に関するフローチャート
シーン制御装置に記憶する光源情報の例を示す図
シーン制御動作の変形例に関するフローチャート
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
●（第１実施形態）
（バーチャルスタジオシステムの概要）
図１は、実施形態に係るバーチャルスタジオシステムの模式図である。バーチャルスタジオ１００において、カメラ２００は、例えばＬＥＤウォールとも呼ばれる大型の表示装置３１０、３２０に表示される画像を背景として、現実被写体の一例としての自動車４００、４０１を撮像することによりインカメラＶＦＸ映像を撮像する。撮像範囲３１１は、背景画像のうち、カメラ２００が撮像する範囲の一例である。
（【００１１】以降は省略されています）

関連特許