特許ウォッチ

公開番号2024056580
公報種別公開特許公報(A)
公開日2024-04-23
出願番号2022163588
出願日2022-10-11
発明の名称情報処理装置及びその制御方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 19/00 20110101AFI20240416BHJP(計算;計数)
要約【課題】ユーザの視野外にある仮想視点位置をユーザに知覚させる。
【解決手段】複数の撮像装置で取得された画像から仮想視点映像を生成するシステムにおける情報処理装置であって、仮想視点の位置情報を取得する取得部と、取得された仮想視点の位置情報に基づいて、取得された仮想視点に対応する位置から発される音に対応する音響データを生成する生成部と、音響データを再生デバイスに再生させる再生部とを有する。
【選択図】図2
特許請求の範囲【請求項１】
複数の撮像装置で取得された画像から仮想視点映像を生成するシステムにおける情報処理装置であって、
仮想視点の位置情報を取得する取得手段と、
取得された仮想視点の位置情報に基づいて、前記取得された仮想視点に対応する位置から発される音に対応する音響データを生成する生成手段と、
前記音響データを再生デバイスに再生させる再生手段と
を有することを特徴とする情報処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記被写体の左右の耳の位置を推定する第１の推定手段を更に有し、
前記生成手段は、前記第１の推定手段で推定した左右の耳の位置と前記取得手段で取得した前記仮想視点の位置から、前記仮想視点の位置に音源とする音響データを生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の推定手段は、前記複数の撮像装置で得た画像から前記被写体の左右の耳の位置を推定する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記再生デバイスは、被写体の頭部に装着されるイヤホンもしくはヘッドホンであり、
前記イヤホンもしくはヘッドホンは方向と位置を検出するためのセンサを有し、
前記第１の推定手段は、前記センサからの情報に基づいて前記被写体の左右の耳の位置を推定する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記再生デバイスは、被写体を囲む実空間に設置された複数のスピーカである
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記被写体の視線方向を推定する第２の推定手段を更に有し、
前記生成手段は、前記第２の推定手段で推定した前記被写体の視線方向と、前記被写体の頭部から前記仮想視点に向かう方向との差に応じた音響データを生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
更に、前記複数の撮像装置で得た画像から、前記仮想視点の位置からの見えを表す仮想視点画像を生成する手段
を有することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
複数の撮像装置で取得された画像から仮想視点映像を生成するシステムにおける情報処理装置の制御方法であって、
仮想視点の位置情報を取得する取得工程と、
取得された仮想視点の位置情報に基づいて、前記取得された仮想視点に対応する位置から発される音に対応する音響データを生成する生成工程と、
前記音響データを再生デバイスに再生させる再生工程と
を有することを特徴とする情報処理装置の制御方法。
【請求項９】
コンピュータが読み込み実行することで、前記コンピュータに、請求項８に記載の方法が有する各工程を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は情報処理装置及びその制御方法及びプログラムに関するものである。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
近年、被写体を複数の始点位置から撮像し、得られた複数の視点での画像を用いて、仮想視点位置から見える被写体像（以下、仮想視点画像もしくは仮想視点映像）を生成する技術が知られている。例えば、被写体である演者の演技を撮影し、仮想視点映像を生成すると、現実のカメラでは近づけない位置もしくはダイナミックなカメラアングルの映像を生成することが可能となる。また、被写体の仮想視点映像と、仮想の背景空間（例えばコンピューターグラフィックで生成した背景）と合成し、被写体が別空間にいるような映像を生成することもできる。このように仮想視点映像の技術により、視聴者に通常の映像と比べより高臨場感の映像を提供することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－５０３０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、仮想視点は実空間に存在しないため、被写体である演者にとっては、仮想視点の位置または仮想視点における視線方向を把握が困難でる。したがって、演者は仮想視点を意識した演技および演出を行うことが難しかった。かかる点を解消するため特許文献１は、視覚的に仮想視点の位置を被写体提示する技術を開示しているが、被写体は、自身の視野内でしか仮想視点位置を知ることができない。
【０００５】
本発明は、かかる問題に鑑み成されたものであり、ユーザの視野外にある仮想視点位置をユーザに知覚させる技術を提供しようとするものである。
【課題を解決するための手段】
【０００６】
この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
複数の撮像装置で取得された画像から仮想視点映像を生成するシステムにおける情報処理装置であって、
仮想視点の位置情報を取得する取得手段と、
取得された仮想視点の位置情報に基づいて、前記取得された仮想視点に対応する位置から発される音に対応する音響データを生成する生成手段と、
前記音響データを再生デバイスに再生させる再生手段とを有する。
【発明の効果】
【０００７】
本発明によれば、ユーザの視野外にある仮想視点位置をユーザに知覚させることができる。
【図面の簡単な説明】
【０００８】
第１の実施形態における仮想視点映像を生成するシステム構成図。
第１の実施形態における情報処理装置の機能構成図。
（ａ）は第１の実施形態の立体音響生成部の処理フローを示す図、（ｂ）は仮想視点と被写体との位置関係の定義に関する図。
第１の実施形態の情報処理装置のハードウェア構成図。
第２の実施形態における情報処理装置の機能構成図。
第２の実施形態における情報処理装置の処理の流れを説明するための図。
第３の実施形態における情報処理装置の機能構成図。
第３の実施形態の入力信号生成部の処理を説明するための図。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
［第１の実施形態］
図１は、第１の実施形態におけるシステム構成図である。被写体（演者）１２を囲むように複数のカメラ１１ａ乃至１１ｅが配置されている。カメラ１１ａ乃至１１ｅそれぞれは、例えば１秒当たり３０フレームの動画像を撮影するものとする。また、カメラ１１ａ乃至１１ｅそれぞれは、ネットワーク１５に接続されている。このネットワーク１５の種類は有線／無線を問わない。また、ネットワーク１５には、仮想視点１３からの見えを表す仮想視点映像の生成、並びに、仮想視点１３の位置を被写体１２に提示（通知）する情報処理装置１が接続されている。また、被写体１２は、イヤホン（もしくはヘッドホン）１４を装着している。
（【００１１】以降は省略されています）

関連特許