TOP特許意匠商標
特許ウォッチ DM通知 Twitter
10個以上の画像は省略されています。
公開番号2022009049
公報種別公開特許公報(A)
公開日2022-01-14
出願番号2021167529,2019546368
出願日2021-10-12,2018-02-27
発明の名称複合現実デバイスにおける仮想および実オブジェクトの記録
出願人マジック リープ, インコーポレイテッド,Magic Leap,Inc.
代理人個人,個人,個人,個人,個人
主分類G06F 3/04815 20220101AFI20220106BHJP(計算;計数)
要約【課題】仮想現実および拡張現実システムを提供すること。
【解決手段】エンドユーザによる使用のための仮想画像生成システムは、メモリと、ディスプレイサブシステムと、入力をエンドユーザから受信し、エンドユーザ入力に応答して、少なくとも1つのオブジェクトを持続的に選択するために構成される、オブジェクト選択デバイスと、3次元場面の複数の画像フレームをレンダリングし、画像フレームをディスプレイサブシステムに伝達し、少なくとも1つの選択されたオブジェクトから生じるオーディオデータを生成することと、オーディオデータをメモリ内に記憶することとのために構成される、制御サブシステムとを備える。
【選択図】図10a
特許請求の範囲【請求項1】
拡張現実環境内において空間化されたオーディオを用いてオーディオ視覚効果を再現するための方法であって、
第1の拡張現実環境内において捕捉される、オーディオデータと、前記オーディオデータと関連付けられた第1のメタデータとを識別することであって、
前記オーディオデータは、第1の環境内の第1のユーザ場所において第1のユーザによって、前記第1の拡張現実環境内のオブジェクトから発すると知覚され、
前記第1のメタデータは、前記第1のユーザと、前記オーディオデータが記録される前記第1の拡張現実環境の少なくとも一部とに関連し、
前記第1の拡張現実環境は、拡張現実システムによって第1の実世界環境部分から作成される、ことと、
少なくとも、第2のユーザ場所において前記第1のユーザまたは第2のユーザに前記第1のメタデータを局所化することによって第2の拡張現実環境内の前記第2のユーザ場所において前記第2のユーザまたは前記第1のユーザに対して前記オーディオデータを空間化されたオーディオにレンダリングすることにより、少なくとも部分的に第2のメタデータに基づいて第1の局所化されたメタデータを生成することであって、
前記第2のメタデータは、前記第2の拡張現実環境内の前記第2のユーザ場所において前記第1のユーザまたは前記第2のユーザに対して、仮想画像生成システムによって削除される位置または配向の特性に関連する、ことと、
少なくとも部分的に前記第1のメタデータおよび前記第2のメタデータに基づいて、前記空間化されたオーディオと、少なくとも前記オブジェクトに関連する少なくとも1つの仮想オブジェクトとを同時に前記ユーザに提示することと
を含む、方法。
続きを表示(約 2,900 文字)【請求項2】
前記第1の拡張現実環境内の少なくとも前記第1の実世界環境部分の実視覚データを捕捉することであって、前記実視覚データは、前記第1の実世界環境に対する実画像データまたは実ビデオデータを備え、前記実画像データは、実画像コンテンツデータと、前記実画像コンテンツデータと関連付けられた実画像メタデータとを備え、前記実ビデオデータは、実ビデオコンテンツデータと、前記実ビデオコンテンツデータと関連付けられた実ビデオメタデータとを備える、ことと、
混合された視覚データになるように前記実視覚データを仮想視覚データと混合することであって、前記仮想視覚データは、前記第1の拡張現実環境内の第1の仮想環境部分に対する仮想画像データまたは仮想ビデオデータを備える、ことと
を含む、請求項1に記載の方法。
【請求項3】
前記オーディオデータを識別することは、前記拡張現実システムにおいて受信されるユーザ入力に応答して、前記拡張現実システムのオブジェクト選択デバイスにおいて前記第1の拡張現実環境内の複数のオブジェクトから前記オブジェクトを選択することを含み、
前記複数のオブジェクトは、少なくとも1つの実オブジェクトと、少なくとも1つの仮想オブジェクトとを備える、請求項1に記載の方法。
【請求項4】
前記オーディオデータを識別することは、別個のユーザ入力に応答して、前記拡張現実システムの前記オブジェクト選択デバイスを用いて選択された第1のオブジェクトを選択解除することをさらに含み、
前記オブジェクト選択デバイスは、前記ユーザに表示されるカーソルを制御する物理的コントローラ、オーディオデータ捕捉デバイス、1つ以上の音声コマンドを解釈する音声解釈モジュール、ジェスチャを追跡する第1の視覚データ検出デバイス、前記ユーザの眼の位置または配向を追跡する第2の視覚データ検出デバイス、またはそれらの任意の組み合わせのうちの少なくとも1つを含む、請求項3に記載の方法。
【請求項5】
前記第1の拡張現実環境内の複数のオブジェクトから前記オブジェクトを選択することと、
前記拡張現実システムを用いて前記オブジェクトの位置または配向を追跡することと、
前記オブジェクトの前記位置または前記配向に少なくとも部分的に基づいて前記オブジェクトから発する音を優先的に感知することと
をさらに含み、
前記オーディオデータは、前記第1の拡張現実環境内の第1の方向に、第1のオブジェクト場所、または第1のオブジェクトスタンスにおいて、別のオブジェクトより前記オブジェクトに対して優先的に記録される、請求項1に記載の方法。
【請求項6】
前記第1の拡張現実環境の位置および姿勢追跡デバイスにおいて、前記第1の拡張現実環境内の前記オブジェクトに対して前記第1のユーザまたは前記第1のユーザの一部の位置および姿勢または配向を継続かつ優先的に検出することと、
前記オブジェクトに対して前記第1のユーザまたは前記第1のユーザの一部の前記位置および前記姿勢または配向を継続かつ優先的に検出する結果に少なくとも部分的に基づいて、前記第1のユーザに関連する前記第1のメタデータを更新された第1のメタデータに更新することと、
前記更新された第1のメタデータに少なくとも部分的に基づいて前記第1の局所化されたメタデータを更新することと
をさらに含む、請求項5に記載の方法。
【請求項7】
前記空間化されたオーディオは、前記第2の拡張現実環境内の前記第1のユーザまたは前記第2のユーザによって、前記第2の拡張現実環境内の第1の実オブジェクト場所において第1の実オブジェクトによって反射し、閉塞または妨害されると知覚される、請求項6に記載の方法。
【請求項8】
前記空間化されたオーディオが、前記第2の拡張現実環境内の前記第2のユーザ場所において前記第1のユーザまたは前記第2のユーザによって、前記第2の拡張現実環境内の第1の仮想オブジェクト位置において第1の仮想オブジェクトから発すると知覚されるように、前記第2の拡張現実環境内の前記第1の仮想オブジェクト位置において前記第1の仮想オブジェクトに対して、前記空間化されたオーディオを前記第2のユーザ場所にレンダリングすることをさらに含み、
前記オーディオデータは、前記第1の拡張現実環境内の前記オブジェクトから発すると捕捉され、前記オブジェクトは、前記拡張現実システムによって前記第2の拡張現実環境内の前記第1の仮想オブジェクトとしてレンダリングされる、請求項1に記載の方法。
【請求項9】
マイクロホン、遅延要素、および利得要素を備え、かつ前記拡張現実システムに格納された極性パターンに少なくとも部分的に基づいて動作する、オーディオ処理モジュールを少なくとも用いて前記第1の環境内の前記オーディオデータを捕捉することと、
前記拡張現実システムの画像捕捉デバイスを用いて画像またはビデオコンテンツデータを捕捉することと、
前記拡張現実システムの位置デバイスまたは追跡デバイスを用いて前記画像またはビデオコンテンツデータと関連付けられた画像またはビデオメタデータを捕捉することと、
少なくとも、前記オーディオデータを前記画像またはビデオコンテンツデータ、または前記画像またはビデオメタデータと相関させることによって、前記オーディオデータに関連するオーディオメタデータを決定することと
をさらに含む、請求項1の記載の方法。
【請求項10】
前記第2のユーザ場所において前記第1のメタデータを前記第1または第2のユーザに局所化することは、
前記第1の環境内の、前記第1のユーザ場所に対する前記オブジェクトの位置または配向、または前記第1のユーザの第1の姿勢に関連する相対的位置付けまたは配向データを識別することと、
少なくとも、前記第1の環境内の前記拡張現実システムのマイクロホン要素、遅延要素、利得要素、および極性指向性パターンを使用することによって、前記第1のユーザ場所において前記第1のユーザによって知覚される前記オーディオデータを捕捉することと、
前記相対的位置付けまたは配向データを前記オーディオデータと相関させることと、
前記第2の拡張現実環境内の前記第2のユーザ場所において前記位置または配向の特性を識別することと、
少なくとも、前記第2のユーザ場所における前記位置または配向の特性に少なくとも部分的に基づいて前記第1または第2のユーザの頭部に前記相対的位置付けまたは配向データを適用することによって、前記第2のユーザ場所において前記第1または第2のユーザに前記第1のメタデータを局所化することと
をさらに含む、請求項1に記載の方法。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
本発明は、概して、仮想現実および拡張現実システムに関する。
続きを表示(約 3,500 文字)【背景技術】
【0002】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のための複合現実システムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実または「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う(すなわち、他の実際の実世界視覚的入力に対して透過性である)。故に、ARシナリオは、他の実際の実世界視覚的入力に対する透過性を伴って、デジタルまたは仮想画像情報の提示を伴う。
【0003】
例えば、図1を参照すると、拡張現実場面4が、描写されており、AR技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム8を特徴とする、実世界公園状設定6が見える。これらのアイテムに加え、AR技術のエンドユーザはまた、実世界プラットフォーム8上に立っているロボット像10、およびマルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ12を「見ている」と知覚するが、これらの要素10、12は、実世界には存在しない。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、VRまたはAR技術の生産は、困難である。
【0004】
VRおよびARシステムは、典型的には、少なくともユーザの頭部に緩く結合され、したがって、エンドユーザの頭部が移動すると移動する、頭部装着型ディスプレイ(またはヘルメット搭載型ディスプレイ、またはスマートグラス)を採用する。エンドユーザの頭部運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部姿勢(すなわち、ユーザの頭部の配向および/または場所)の変化を考慮するように更新されることができる。AR(すなわち、仮想および実オブジェクトの同時視認)を有効にする、頭部装着型ディスプレイは、いくつかの異なるタイプの構成を有することができる。多くの場合、「ビデオシースルー」ディスプレイと称される、1つのそのような構成では、カメラが、実場面の要素を捕捉し、コンピューティングシステムが、仮想要素を捕捉された実場面上に重畳し、不透明ディスプレイが、合成画像を眼に提示する。別の構成は、多くの場合、「光学シースルー」ディスプレイと称され、エンドユーザには、ディスプレイシステム内の透明(または半透明)要素を通して、環境内の実オブジェクトからの光が透けて見え、それを直接視認することができる。多くの場合、「コンバイナ」と称される、透明要素は、ディスプレイからの光を実世界のエンドユーザのビューにわたって重畳する。
【0005】
多くの場合、VR/ARシステムのユーザは、後にオンラインで公開するために、体験をVR/ARシステム上に記録および保存することによって、その体験を他者と共有することを所望し得る(例えば、ゲームをプレーする、テレビ会議を行う、または映画を鑑賞するとき)。しかしながら、典型的には、雑音環境に起因して、雑音および他の望ましくないまたは予期しない音が記録内に存在し得る、またはそれ以外の体験に対して注意が逸らされる、非常に多くの音源が存在し得る。そのような望ましくない/予期しない音は、実オブジェクトから、例えば、VR/ARシステムの近傍で遊んでいる子供から、または
仮想オブジェクトから、例えば、VR/ARシステムのコンテキストにおいて再生中の仮想テレビから生じ得る。
【0006】
したがって、ユーザが関心がある仮想または実オブジェクトのみからの音を記録するための単純および効率的手段を提供する必要が残ったままである。
【発明の概要】
【課題を解決するための手段】
【0007】
本発明の第1の側面によると、エンドユーザによる使用のための仮想画像生成システムは、メモリと、ディスプレイサブシステムと、入力をエンドユーザから受信し、エンドユーザ入力に応答して、少なくとも1つのオブジェクト(例えば、実オブジェクトおよび/または仮想オブジェクト)を持続的に選択するために構成される、オブジェクト選択デバイスとを備える。一実施形態では、ディスプレイサブシステムは、視野を有し、オブジェクト選択デバイスは、視野内のオブジェクトを持続的に選択するために構成される。この場合、オブジェクト選択デバイスは、エンドユーザ入力の受信に応答して、3次元カーソルをディスプレイサブシステムの視野内で移動させ、オブジェクトを選択するために構成されてもよい。別の実施形態では、エンドユーザ入力は、1つ以上の音声コマンドを備え、オブジェクト選択デバイスは、音声コマンドを感知するために構成される、1つ以上のマイクロホンを備える。さらに別の実施形態では、エンドユーザ入力は、1つ以上の手のジェスチャを備え、その場合、オブジェクト選択デバイスは、手のジェスチャを感知するために構成される、1つ以上のカメラを備えてもよい。
【0008】
複数のオブジェクトが選択される場合、オブジェクト選択デバイスは、エンドユーザ入力に応答して、オブジェクトを個々に選択および/または大域的に選択するために構成されてもよい。大域的に選択される場合、オブジェクト選択デバイスは、エンドユーザ入力に応答して、視野の角度範囲(視野の角度範囲全体未満であってもよい、または視野の角度範囲全体であってもよい)内の全てのオブジェクトを大域的に選択するために構成されてもよい。一実施形態では、オブジェクト選択デバイスはさらに、他のエンドユーザ入力に応答して、別の入力をエンドユーザから受信し、以前に選択されたオブジェクトを持続的に選択解除するために構成される。
【0009】
仮想画像生成システムはさらに、少なくとも1つの選択されたオブジェクトから生じるビデオデータを生成し、複数の画像フレームをビデオデータからの3次元場面内にレンダリングし、画像フレームをディスプレイサブシステムに伝達するために構成される、制御サブシステムを備える。一実施形態では、ディスプレイサブシステムは、エンドユーザの眼の正面に位置付けられるために構成される。別の実施形態では、ディスプレイサブシステムは、投影サブシステムおよび部分的に透明なディスプレイ表面を含む。この場合、投影サブシステムは、画像フレームを部分的に透明なディスプレイ表面上に投影させるために構成されてもよく、部分的に透明なディスプレイ表面は、エンドユーザの眼と周囲環境との間の視野内に位置付けられるために構成されてもよい。仮想画像生成システムはさらに、エンドユーザによって装着されるために構成され、ディスプレイサブシステムの少なくとも一部を担持する、フレーム構造を備えてもよい。
【0010】
制御サブシステムはさらに、選択されたオブジェクトから生じるオーディオデータを生成することと、オーディオデータをメモリ内に記憶することとのために構成される。仮想画像生成システムはさらに、複数のスピーカを備えてもよく、その場合、制御サブシステムはさらに、生成されたオーディオデータをスピーカに伝達するために構成されてもよい。随意の実施形態では、制御サブシステムはさらに、オーディオデータと同期するビデオデータをメモリ内に記憶するために構成される。さらに別の実施形態では、仮想画像生成システムはさらに、ディスプレイサブシステムの視野に対する選択されたオブジェクトの
場所を追跡するために構成される、少なくとも1つのセンサを備える。この場合、制御サブシステムは、選択されたオブジェクトの追跡された場所がディスプレイサブシステムの視野外に移動すると、オーディオデータをメモリ内に記憶することを中止するために構成される、または代替として、選択されたオブジェクトの追跡された場所がディスプレイサブシステムの視野外に移動すると、オーディオデータをメモリ内に記憶することを継続するために構成されてもよい。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

個人
集客システム
12日前
個人
市場融和租税分配システム
7日前
個人
抽選システム
12日前
株式会社ゆずくる
レシピ表示装置
1日前
個人
表示方法及びプログラム
1日前
Yper株式会社
情報処理装置
20日前
株式会社日建設計
輸送システム
1日前
有限会社秀徳
情報処理システム
1日前
個人
預託品の輸送および保管システム
16日前
ホシデン株式会社
タッチ入力装置
1日前
FC株式会社
専門家マッチングシステム
6日前
個人
医療機器発注システム
6日前
株式会社ワコム
位置指示器
12日前
株式会社ワコム
位置指示器
12日前
株式会社ワコム
入力システム
12日前
株式会社 ミックウェア
情報提示システム
20日前
個人
仮想通貨のマイニングシステム
20日前
大日本印刷株式会社
カード記録装置
9日前
キヤノン株式会社
情報処理装置
20日前
村田機械株式会社
作業者管理システム
9日前
株式会社J&J事業創造
情報処理装置
20日前
キヤノン株式会社
情報処理装置
1日前
トヨタ自動車株式会社
データ管理方法
2日前
株式会社ジーク
原状回復工事システム
12日前
キヤノン株式会社
情報処理装置
20日前
株式会社ユーボ
無人商品受け渡し装置
20日前
富士通株式会社
ソースコード取得
1日前
株式会社タスキ
情報処理システム
今日
横河電機株式会社
記憶装置
2日前
東芝テック株式会社
再価格設定システム
6日前
大王製紙株式会社
読み取りゲート
5日前
合同会社FOM研究所
認証システム
今日
株式会社デンソーウェーブ
監視装置
5日前
株式会社デンソーウェーブ
監視装置
5日前
コルデコ株式会社
情報処理システム
今日
株式会社デンソーウェーブ
携帯端末
1日前
続きを見る