特許ウォッチ

公開番号2025169797
公報種別公開特許公報(A)
公開日2025-11-14
出願番号2024074920
出願日2024-05-02
発明の名称画像処理装置および画像処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 23/60 20230101AFI20251107BHJP(電気通信技術)
要約【課題】ユーザが使用しているカメラの操作を反映した仮想空間の撮影を体験することを可能とする画像処理装置および画像処理方法を提供すること。
【解決手段】3次元モデルで表される仮想空間を仮想カメラで撮影した画像を仮想画像として生成する画像処理装置である。画像処理装置は、実カメラに対する操作の情報を取得し、操作の情報に基づいて、実カメラに対する操作を仮想カメラに反映させた仮想画像を生成する。画像処理装置は、仮想画像を実カメラで表示するために出力する。
【選択図】図1
特許請求の範囲【請求項１】
３次元モデルで表される仮想空間を仮想カメラで撮影した画像を仮想画像として生成する画像処理装置であって、
実カメラに対する操作の情報を取得する取得手段と、
前記操作の情報に基づいて、前記実カメラに対する操作を前記仮想カメラに反映させた仮想画像を生成する生成手段と、
前記仮想画像を前記実カメラで表示するために出力する出力手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 870 文字）【請求項２】
前記仮想カメラは、前記実カメラと異なる機種の動作をシミュレートすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記仮想カメラがシミュレートする機種をユーザが選択可能であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記操作の情報には、前記実カメラの操作部および／またはレンズに対する操作の情報と、前記実カメラの動きの情報とが含まれることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記仮想空間が背景オブジェクトと前景オブジェクトを有し、前記前景オブジェクトが時間とともに移動することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記操作の情報と、前記仮想画像における前記前景オブジェクトの位置および／または大きさの情報とに基づいて、前記実カメラに対する操作に対する補正量を算出する補正量算出手段をさらに有することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記補正量算出手段は、フレーミング操作、ズーミング操作、フォーカシング操作の１つ以上について前記補正量を算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記前景オブジェクトの速度、加速度、大きさ、コントラスト、および距離の１つ以上に基づいて撮影の難易度を算出する難易度算出手段とさらに有することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記補正量算出手段は、前記難易度が高いほど前記補正量の最大値を小さくあるいは大きくすることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記操作の情報に基づいて前記実カメラにおいてフォーカスレンズの移動を伴う操作が行われた場合、前記仮想カメラにおいても仮想的なフォーカスレンズの駆動を実施することを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
予め記憶された３次元データから生成した、別の場所で撮影可能な風景のシミュレーション画像と、撮像素子で得られる実写画像との合成画像を生成可能なカメラが特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２００８－７８９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されたカメラを用いることで、ユーザは、遠隔地に赴くことなく、遠隔地での撮影を疑似体験することができる。しかしながら、特許文献１にて開示された技術では、ユーザが使用しているカメラの操作を反映した仮想空間の撮影を体験することはできない。
【０００５】
本発明はこのような従来技術の課題に鑑みてなされたものである。本発明はその一実施態様において、ユーザが使用しているカメラの操作を反映した仮想空間の撮影を体験することを可能とする画像処理装置および画像処理方法を提供する。
【課題を解決するための手段】
【０００６】
本発明はその一態様において、３次元モデルで表される仮想空間を仮想カメラで撮影した画像を仮想画像として生成する画像処理装置であって、実カメラに対する操作の情報を取得する取得手段と、操作の情報に基づいて、実カメラに対する操作を仮想カメラに反映させた仮想画像を生成する生成手段と、仮想画像を実カメラで表示するために出力する出力手段と、を有することを特徴とする画像処理装置を提供する。
【発明の効果】
【０００７】
本発明によれば、ユーザが使用しているカメラの操作を反映した仮想空間の撮影を体験することを可能とする画像処理装置および画像処理方法を提供できる。
【図面の簡単な説明】
【０００８】
実施形態に係る撮像システムの機能構成例を示すブロック図
実施形態に係るカメラの機能構成例を示すブロック図
撮像素子の画素配列を示す図
画素の構成例を示す図
焦点検出領域とその指標の例を示す図
実施形態に係る外部演算装置のハードウェア構成例を示すブロック図
外部演算装置の機能構成例を示すブロック図
実施形態におけるカメラの動作に関するフローチャート
実施形態における現実空間撮影処理に関するフローチャート
実施形態における撮影処理に関するフローチャート
実施形態における被写体追尾ＡＦ処理に関するフローチャート
実施形態における被写体検出・追尾処理に関するフローチャート
実施形態における仮想空間撮影処理に関するフローチャート
第１実施形態における仮想空間の映像生成、出力に関するフローチャート
実施形態における仮想被写体追尾処理のフローチャート
実施形態における仮想撮影に関するフローチャート
実施形態におけるカメラレンズ記憶装置とカメラ／レンズと外部演算装置の情報に関する図
実施形態における仮想撮影の関するフローチャート
実施形態における撮影難易度情報取得のフローチャート
実施形態におけるデフォーカス量加工処理に関するフローチャート
実施形態におけるフレーミングに関する補正に関する図
実施形態におけるズーミングに関する補正に関する図
実施形態におけるフォーカシングに関する補正に関する図
実施形態における仮想デフォーカス量算出に関する図
実施形態における仮想デフォーカスマップの一例を示す図
実施形態における視点移動処理のサブルーチンに関するフローチャート
実施形態における視点移動の一例
実施形態における仮想撮影時のカメラの動作に関するフローチャート
実施形態における撮影結果の再生と、撮影画像評価に関するフローチャート
実施形態におけるデフォーカスマップ表示の説明図
実施形態における一連の撮影画像の合焦度合い表示の説明図
実施形態における評価結果後の最良設定表示の説明図
実施形態における設定変更一覧表の説明図
第２実施形態における仮想空間の映像生成、出力に関するフローチャート
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
図１は、実施形態に係る画像処理装置を用いた撮像システム１０の構成例を示すブロック図である。カメラ１００は、実施形態に係る画像処理装置としての外部演算装置１０００と通信可能に接続される。なお、外部演算装置１０００の機能は、カメラ１００が実施してもよい。本明細書において、物理的なカメラ１００は、仮想カメラと区別するために実カメラということがある。
（【００１１】以降は省略されています）

関連特許