特許ウォッチ

公開番号2024121639
公報種別公開特許公報(A)
公開日2024-09-06
出願番号2023028845
出願日2023-02-27
発明の名称画像処理装置および画像処理方法、バーチャルスタジオシステム、ならびに撮像装置
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 23/63 20230101AFI20240830BHJP(電気通信技術)
要約【課題】撮影範囲外の背景画像を把握しながらインカメラVFX映像を撮像することを支援することが可能な画像処理装置を提供すること。
【解決手段】画像処理装置は、撮像装置の視点に応じた第1の画像の一部を前記撮像装置が撮像する空間における背景画像として表示装置に表示させる。また、画像処理装置は、第1の画像のうち、撮像装置の撮像範囲を含み、かつ撮像範囲よりも画角が大きい第2の画像を前記表示装置とは異なる外部装置に出力する。
【選択図】図8
特許請求の範囲【請求項１】
撮像装置の視点に応じた第１の画像を生成する生成手段と、
前記第１の画像の一部を前記撮像装置が撮像する空間における背景画像として表示装置に表示させる表示制御手段と、
前記第１の画像のうち、前記撮像装置の撮像範囲を含み、かつ前記撮像範囲よりも画角が大きい第２の画像を前記表示装置とは異なる外部装置に出力する出力手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 870 文字）【請求項２】
撮像装置の視点である第１の視点に応じた第１の画像と、前記第１の視点とは異なる第２の視点に応じた第２の画像とを生成する生成手段と、
前記第１の画像の一部を前記撮像装置が撮像する空間における背景画像として表示装置に表示させる表示制御手段と、
前記第２の画像を前記表示装置とは異なる外部装置に出力する出力手段と、を有し、
前記第２の画像は、前記第１の画像よりも画角が大きい、
ことを特徴とする画像処理装置。
【請求項３】
前記第２の視点が前記撮像装置を操作するユーザの視点であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記出力手段は、前記第２の画像が前記撮像装置の撮像範囲を含まない場合、前記撮像範囲が存在する方向を示す指標を合成した前記第２の画像を出力することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記外部装置が前記撮像装置であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記外部装置が前記撮像装置を操作するユーザが装着する頭部装着型表示装置（ＨＭＤ）であることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記出力手段は、前記撮像装置の撮像範囲を示す指標を合成した前記第２の画像を出力することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記出力手段は、前記撮像装置が撮像した画像を合成した前記第２の画像を出力することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記第２の画像が前記背景画像に含まれない部分を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記第１の画像が仮想空間の３次元モデルに基づいて生成されたコンピュータグラフィックス画像であることを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法、バーチャルスタジオシステム、ならびに撮像装置に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
カメラの位置姿勢に応じた画像を大型の表示装置に表示し、表示された画像を背景にして被写体を撮像することにより、背景画像と実写映像とを合成することなくＶＦＸ(Visual Effects)映像を取得する方法が知られている（特許文献１）。このような方法で得られる映像をインカメラＶＦＸ映像と呼ぶ。
【先行技術文献】
【特許文献】
【０００３】
特許第７１９０５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
インカメラＶＦＸ映像の撮影時、表示装置に表示される背景画像はカメラの位置姿勢の変化に追従して変化する。つまり、表示装置に表示されるのは背景画像の一部である。一方で、カメラに設けられた表示装置に表示されるのは背景画像のさらに一部である撮像範囲の画像である。したがって、撮影範囲外の背景画像を把握しながら撮影することが容易でない。さらには、表示装置に表示されていない背景画像の領域を把握することは不可能だった。
【０００５】
したがって、本発明はその一態様において、撮影範囲外の背景画像を把握しながらインカメラＶＦＸ映像を撮像することを支援することが可能な画像処理装置および画像処理方法を提供する。
【課題を解決するための手段】
【０００６】
本発明はその一態様において、撮像装置の視点に応じた第１の画像を生成する生成手段と、第１の画像の一部を撮像装置が撮像する空間における背景画像として表示装置に表示させる表示制御手段と、第１の画像のうち、撮像装置の撮像範囲を含み、かつ撮像範囲よりも画角が大きい第２の画像を表示装置とは異なる外部装置に出力する出力手段と、を有することを特徴とする画像処理装置を提供する。
【発明の効果】
【０００７】
本発明の一態様によれば、撮影範囲外の背景画像を把握しながらインカメラＶＦＸ映像を撮像することを支援することが可能な画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【０００８】
実施形態に係る撮像装置の機能構成例を示すブロック図
第１実施形態に係るバーチャルスタジオシステムを模式的に示す図
実施形態に係る表示制御装置の機能構成例を示すブロック図
第１実施形態における表示制御装置の動作に関するフローチャート
第１実施形態における撮像装置の動作に関するフローチャート
第１実施形態における表示制御装置および撮像装置の動作を説明するための図
第１実施形態における表示制御装置および撮像装置の動作を説明するための図
図２から撮像方向が変化した状態を模式的に示す図
第１実施形態における表示制御装置および撮像装置の動作を説明するための図
第１実施形態における表示制御装置および撮像装置の動作を説明するための図
第２実施形態における表示制御装置の動作に関するフローチャート
第２実施形態に係るバーチャルスタジオシステムを模式的に示す図
第２実施形態における表示制御装置および撮像装置の動作を説明するための図
第２実施形態における表示制御装置および撮像装置の動作を説明するための図
図１２からＨＭＤの視線方向が変化した状態を模式的に示す図
第２実施形態における表示制御装置および撮像装置の動作を説明するための図
図１５から撮像方向およびＨＭＤの視線方向が変化した状態を模式的に示す図
第２実施形態における表示制御装置および撮像装置の動作を説明するための図
第２実施形態における表示制御装置および撮像装置の動作を説明するための図
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
なお、以下の実施形態では、本発明を画像処理装置の一例としての撮像装置で実施する場合に関して説明する。しかし、本発明において撮像機能は必須でなく、任意の電子機器で実施可能である。このような電子機器には、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機が含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。
（【００１１】以降は省略されています）

関連特許