特許ウォッチ

公開番号2025010773
公報種別公開特許公報(A)
公開日2025-01-23
出願番号2023112976
出願日2023-07-10
発明の名称情報処理システム、情報処理方法、プログラム
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類H04N 23/63 20230101AFI20250116BHJP(電気通信技術)
要約【課題】簡易な構成によって、ユーザが画像を見る場合における、臨場感などの確認と撮影対象のディテールの確認との両立を実現する。
【解決手段】情報処理システムは、第1の光学系を介する撮像により取得された第1の撮像画像に幾何学変換が行われた画像の第1の領域と、第2の光学系を介する撮像により取得された第2の撮像画像に前記幾何学変換が行われた画像の第2の領域とを含む第1の画像を取得する第1の取得手段と、前記第1の撮像画像および前記第2の撮像画像のいずれかの一部の第1の範囲を切り出した画像に基づき、前記第1の画像よりも画質の高い第2の画像を取得する第2の取得手段と、前記第1の画像のうちの前記第1の範囲に対応する範囲に前記第2の画像を配置することによって前記第1の画像と前記第2の画像とを合成した第3の画像を表示するように表示手段を制御する制御手段と、を有する。
【選択図】図12
特許請求の範囲【請求項１】
第１の光学系を介する撮像により取得された第１の撮像画像に幾何学変換が行われた画像の第１の領域と、第２の光学系を介する撮像により取得された第２の撮像画像に前記幾何学変換が行われた画像の第２の領域とを含む第１の画像を取得する第１の取得手段と、
前記第１の撮像画像および前記第２の撮像画像のいずれかの一部の第１の範囲を切り出した画像に基づき、前記第１の画像よりも画質の高い第２の画像を取得する第２の取得手段と、
前記第１の画像のうちの前記第１の範囲に対応する範囲に前記第２の画像を配置することによって前記第１の画像と前記第２の画像とを合成した第３の画像を表示するように表示手段を制御する制御手段と、
を有することを特徴とする情報処理システム。
続きを表示（約 1,400 文字）【請求項２】
前記制御手段は、前記第１の領域のうち前記第１の範囲に対応する範囲に前記第２の画像を配置し、かつ、前記第２の領域のうち前記第１の範囲に対応する範囲に前記第２の画像を配置することによって、前記第３の画像を生成する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記第２の取得手段は、１）前記第１の撮像画像の一部の前記第１の範囲を切り出した画像に基づき前記第２の画像を取得し、かつ、２）前記第２の撮像画像の一部の第２の範囲を切り出した画像に基づき、前記第１の画像よりも画質の高い第４の画像を取得し、
前記制御手段は、前記第１の領域のうち前記第１の範囲に対応する範囲に前記第２の画像を配置し、かつ、前記第２の領域のうち前記第２の範囲に対応する範囲に前記第４の画像を配置することによって、前記第３の画像を生成する、
前記第２の撮像画像の前記第２の範囲に含まれる被写体は、前記第１の撮像画像の前記第１の範囲に含まれる被写体と同一である、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項４】
前記第１の範囲は、第１の位置を中心とする範囲であって、
前記第１の位置は、ユーザが前記表示手段において見ている第２の位置に対応する位置である、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。
【請求項５】
前記幾何学変換は、前記第１の画像の位置と前記第２の画像の位置とを入れ替えるように位置を制御する処理を含む、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。
【請求項６】
前記第１の光学系および前記第２の光学系はそれぞれ、魚眼レンズを含み、
前記幾何学変換は、平面展開をする処理を含む、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。
【請求項７】
前記制御手段は、
ユーザによって特定の操作が行われた場合に、前記第３の画像を一定時間だけ表示するように前記表示手段を制御し、
前記一定時間の経過後には、前記第３の画像を表示せずに、前記第１の画像を表示するように前記表示手段を制御する、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。
【請求項８】
前記制御手段は、ユーザの姿勢の変化量が所定量よりも大きい場合には、前記第３の画像を表示せずに、前記第１の画像を表示するように前記表示手段を制御する、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。
【請求項９】
前記第２の取得手段は、ユーザが見ている位置が特定の時間継続して変化していない場合に、現在のサイズよりも前記第１の範囲のサイズを大きくする、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。
【請求項１０】
前記第２の取得手段は、
ユーザの利き目を示す情報に基づき、前記第１の撮像画像および前記第２の撮像画像のいずれかを選択し、
前記選択した画像の一部の前記第１の範囲を切り出した画像に基づき、前記第２の画像を取得する、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理システム、情報処理方法、プログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
近年、２つの光学系を１つのレンズマウントが有することによって、互いに視差を有する２つの画像を一度に取得可能な装置が実用化されている。この２つの画像は、画像処理が施された後に、立体感のある映像としてユーザに知覚されるように機器（ＶＲゴーグルなど）で再生される。
【０００３】
また、近年、カメラのデジタル化に伴って、デジタルカメラが現実空間を撮像している映像を、表示装置がリアルタイムで表示することが可能である。また、表示装置としてＶＲゴーグルを使用することで、ＶＲゴーグルが撮影中の映像を表示することも可能である。
【０００４】
ＶＲ映像の撮影現場において、ユーザは、できるだけ軽量な機材だけを用いて、撮影映像の臨場感の確認および、被写体のディテール（ピントおよび質感など）の確認などを行いたい。しかし、ＶＲ映像のコンテンツを立体視でプレビューするためには、左右入替処理および正距円筒変換などの幾何学変換が必要であり、ＶＲ映像の解像度はとても高い。このため、ユーザが高画質な映像を確認するためには、非常に処理時間がかかったり、高価で大きな機材（処理能力の高いハイスペックなコンピュータなど）が必要である。
【０００５】
特許文献１では、異なる解像度の複数のライブビュー画像をビュワー側で合成して表示することで、少ない転送帯域の通信が行われていても、高解像度の注目画像の表示を可能とするシステムが開示されている。特許文献２では、ユーザによる構図の確認を簡単にするために、異なる画角の画像を取得可能な光学系を有し、これらの画像を合成する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
特開２００６－３４００９１号公報
特開２０１４－１３２７７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、これらの技術では、ユーザは、解像度の異なる画像を用いて、撮影対象のディテール（細部）の確認および着目点の周辺の映像を確認する可能であるが、画像の臨場感または立体感を確認することはできない。
【０００８】
そこで、本発明は、簡易な構成によって、ユーザが画像を見る場合における、臨場感などの確認と撮影対象のディテールの確認との両立を実現することを目的にする。
【課題を解決するための手段】
【０００９】
本発明の１つの態様は、
第１の光学系を介する撮像により取得された第１の撮像画像に幾何学変換が行われた画像の第１の領域と、第２の光学系を介する撮像により取得された第２の撮像画像に前記幾何学変換が行われた画像の第２の領域とを含む第１の画像を取得する第１の取得手段と、
前記第１の撮像画像および前記第２の撮像画像のいずれかの一部の第１の範囲を切り出
した画像に基づき、前記第１の画像よりも画質の高い第２の画像を取得する第２の取得手段と、
前記第１の画像のうちの前記第１の範囲に対応する範囲に前記第２の画像を配置することによって前記第１の画像と前記第２の画像とを合成した第３の画像を表示するように表示手段を制御する制御手段と、
を有することを特徴とする情報処理システムである。
【００１０】
本発明の１つの態様は、
第１の光学系を介する撮像により取得された第１の撮像画像に幾何学変換が行われた画像の第１の領域と、第２の光学系を介する撮像により取得された第２の撮像画像に前記幾何学変換が行われた画像の第２の領域とを含む第１の画像を取得する第１の取得ステップと、
前記第１の撮像画像および前記第２の撮像画像のいずれかの一部の第１の範囲を切り出した画像に基づき、前記第１の画像よりも画質の高い第２の画像を取得する第２の取得ステップと、
前記第１の画像のうちの前記第１の範囲に対応する範囲に前記第２の画像を配置することによって前記第１の画像と前記第２の画像とを合成した第３の画像を表示するように表示手段を制御する制御ステップと、
を有することを特徴とする情報処理方法である。
【発明の効果】
（【００１１】以降は省略されています）

関連特許