特許ウォッチ

公開番号2025113285
公報種別公開特許公報(A)
公開日2025-08-01
出願番号2025081001,2022548901
出願日2025-05-14,2021-02-11
発明の名称マルチアプリケーションオーディオレンダリング
出願人マジックリープ, インコーポレイテッド,Magic Leap,Inc.
代理人個人,個人,個人,個人,個人
主分類H04S 7/00 20060101AFI20250725BHJP(電気通信技術)
要約【課題】好適なマルチアプリケーションオーディオレンダリングの提供。
【解決手段】オーディオを効率的にレンダリングするためのシステム及び方法を開示する。本方法は第1のオーディオトラックを提示するための要求を受信することであって、第1のオーディオトラックは共有モデルコンポーネント及び第1のモデルコンポーネントを備える第1のオーディオモデルに基づく、こと、第2のオーディオトラックを提示するための要求を受信することであって、第2のオーディオトラックは共有モデルコンポーネント及び第2のモデルコンポーネントを備える第2のオーディオモデルに基づく、こと、第1のオーディオトラック、第2のオーディオトラック、共有モデルコンポーネント、第1及び第2のモデルコンポーネントに基づき音をレンダリングすること、1つ以上のスピーカを介してレンダリングされた音を備えるオーディオ信号を提示することを含み得る。
【選択図】図7
特許請求の範囲【請求項１】
本明細書に記載の発明。

発明の詳細な説明【技術分野】
【０００１】
（関連出願の相互参照）
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、２０２０年２月１４日に出願された、米国仮出願第６２／９７６，５６９号の利益を請求する。
続きを表示（約 5,400 文字）【０００２】
本開示は、一般に、オーディオデータを管理および記憶するためのシステムおよび方法に関し、特に、複合現実環境内でオーディオデータを管理および記憶するためのシステムおよび方法に関する。
【背景技術】
【０００３】
仮想環境は、コンピューティング環境において普遍的であって、ビデオゲーム（仮想環境が、ゲーム世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互に相互作用し得る）、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ（例えば、２Ｄディスプレイ画面）およびオーディオシステム（例えば、固定スピーカ）は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
【０００４】
仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、複合現実（「ＭＲ」）、および関連技術（集合的に、「ＸＲ」）は、ＸＲシステムのユーザに、コンピュータシステム内のデータによって表される仮想環境に対応する、感覚情報を提示する能力を共有する。そのようなシステムは、仮想視覚的およびオーディオキューと実光景および音を組み合わせることによって、一意に増大した没入感および現実性をもたらすことができる。故に、音が自然に生じているように感じられように、かつユーザの実環境内の音のユーザの予期と一貫して、デジタル音をＸＲシステムのユーザに提示することが望ましくあり得る。概して、ユーザは、仮想音が、その中でそれらが聞こえる、実環境の音響性質を帯びるであろうことを予期する。例えば、大コンサートホール内のＸＲシステムのユーザは、ＸＲシステムの仮想音が、大洞窟のような音波品質を有することを予期し、逆に言えば、狭いアパート内のユーザは、音が、より減衰され、近く、かつ即座であることを予期するであろう。仮想音と実および／または仮想環境の音響性質を合致させることに加え、現実性はさらに、仮想音を空間化することによって向上される。例えば、仮想オブジェクトが、視覚的に、背後からユーザを越えて飛行し得、ユーザは、対応する仮想音がユーザに対する仮想オブジェクトの空間移動を同様に反映させることを予期し得る。
【０００５】
既存の技術は、多くの場合、ユーザの周囲を考慮せず、また仮想オブジェクトの空間移動に対応せず、ユーザ体験を損なわせ得る、不真正性の感覚につながる、仮想オーディオを提示すること等によって、これらの予期を欠いている。ＸＲシステムのユーザの観察は、ユーザが、仮想コンテンツと実環境との間の視覚的不整合（例えば、照明における不一致）には比較的に寛容であり得るが、ユーザが、聴覚的不整合により敏感であり得ることを示す。我々の生活全体を通して持続的に精緻化される、我々の独自の聴覚的体験は、我々に、我々の物理的環境が我々が聞こえる音にどのように影響を及ぼすかを敏感に認知させ得、我々は、それらの予期と一致しない、音に非常に敏感であり得る。ＸＲシステムでは、そのような不一致は、不快であり得、没入型かつ人を引き付ける体験を仕掛的な模倣したものに変えさせ得る。極端な実施例では、聴覚的不一致は、内耳が聴覚的刺激とその対応する視覚的キューを調和させることが不可能であるため、乗り物酔いおよび他の悪影響を及ぼし得る。
【０００６】
システムアーキテクチャが、仮想オーディオを生成するためのシステムを編成および管理するために必要とされる。仮想オーディオを生成するステップは、情報が現実的仮想音を生産するために使用され得るように、ユーザの環境についての情報を管理および記憶するステップを伴ってもよい。オーディオシステムアーキテクチャは、したがって、他のシステムとインターフェースをとり、オーディオエンジンに関連する情報を受信および利用する必要があり得る。さらに、使用の間、中断を伴わずに、現実的音を提示し得る、オーディオシステムアーキテクチャを有することが望ましくあり得る。使用を中断せずに、オーディオエンジンを更新し得る、オーディオシステムアーキテクチャは、聴覚的信号がユーザの環境を持続的に反映させる、没入型のユーザ体験を生産することができる。
【０００７】
ユーザの物理的環境の特性を考慮することによって、本明細書に説明されるシステムおよび方法は、ユーザによって聞こえるであろうものを、仮想音がその環境内で自然に生成される実音であるかのように、シミュレートすることができる。音が実世界内で挙動する方法に忠実な様式において、仮想音を提示することによって、ユーザは、複合現実環境とのつながりの増大した感覚を体験し得る。同様に、ユーザの移動および環境に応答する、場所を意識した仮想コンテンツを提示することによって、コンテンツは、より主観的で、双方向で、かつ現実的となり、例えば、点Ａにおけるユーザの体験は、点Ｂにおけるその体験と全体的に異なり得る。本向上された現実性および相互作用は、空間的に意識したオーディオを使用して、新規形態のゲームプレー、ソーシャル特徴、または双方向挙動を有効にするもの等、複合現実の新しい用途のための基盤を提供することができる。
【発明の概要】
【課題を解決するための手段】
【０００８】
本開示の実施例は、オーディオを効率的にレンダリングするためのシステムおよび方法を説明する。本開示の実施例によると、本方法は、第１のオーディオトラックを提示するための要求を受信するステップであって、第１のオーディオトラックは、共有モデルコンポーネントおよび第１のモデルコンポーネントを備える、第１のオーディオモデルに基づく、ステップと、第２のオーディオトラックを提示するための要求を受信するステップであって、第２のオーディオトラックは、共有モデルコンポーネントおよび第２のモデルコンポーネントを備える、第２のオーディオモデルに基づく、ステップと、第１のオーディオトラック、第２のオーディオトラック、共有モデルコンポーネント、第１のモデルコンポーネント、および第２のモデルコンポーネントに基づいて、音をレンダリングするステップと、１つまたはそれを上回るスピーカを介して、レンダリングされた音を備える、オーディオ信号を提示するステップとを含んでもよい。
本発明は、例えば、以下を提供する。
（項目１）
システムであって、
１つまたはそれを上回るスピーカと、
１つまたはそれを上回るプロセッサであって、
第１のオーディオトラックを提示するための要求を受信することであって、前記第１のオーディオトラックは、共有モデルコンポーネントおよび第１のモデルコンポーネントを備える第１のオーディオモデルに基づく、ことと、
第２のオーディオトラックを提示するための要求を受信することであって、前記第２のオーディオトラックは、共有モデルコンポーネントおよび第２のモデルコンポーネントを備える第２のオーディオモデルに基づく、ことと、
前記第１のオーディオトラック、前記第２のオーディオトラック、前記共有モデルコンポーネント、前記第１のモデルコンポーネント、および前記第２のモデルコンポーネントに基づいて、音をレンダリングすることと、
前記１つまたはそれを上回るスピーカを介して、前記レンダリングされた音を備えるオーディオ信号を提示することと
を含む方法を実行するように構成される、１つまたはそれを上回るプロセッサと
を備える、システム。
（項目２）
前記音をレンダリングすることは、前記共有モデルコンポーネントに基づいて、前記第１のオーディオトラックおよび前記第２のオーディオトラックをレンダリングすることを含む、項目１に記載のシステム。
（項目３）
前記音をレンダリングすることは、第１のオーディオコンポーネントに基づいて、前記第１のオーディオトラックをレンダリングすることを含む、項目１に記載のシステム。
（項目４）
前記音をレンダリングすることは、第２のオーディオコンポーネントに基づいて、前記第２のオーディオトラックをレンダリングすることを含む、項目１に記載のシステム。
（項目５）
前記１つまたはそれを上回るスピーカは、頭部装着型デバイスのスピーカである、項目１に記載のシステム。
（項目６）
前記第１のオーディオモデルは、前記頭部装着型デバイスの物理的環境に基づく、項目５に記載のシステム。
（項目７）
前記共有モデルコンポーネントは、直接経路音響挙動に対応する、項目１に記載のシステム。
（項目８）
前記共有モデルコンポーネントは、反射性音響挙動に対応する、項目１に記載のシステム。
（項目９）
前記共有モデルコンポーネントは、残響音響挙動に対応する、項目１に記載のシステム。
（項目１０）
方法であって、
第１のオーディオトラックを提示するための要求を受信することであって、前記第１のオーディオトラックは、共有モデルコンポーネントおよび第１のモデルコンポーネントを備える第１のオーディオモデルに基づく、ことと、
第２のオーディオトラックを提示するための要求を受信することであって、前記第２のオーディオトラックは、共有モデルコンポーネントおよび第２のモデルコンポーネントを備える第２のオーディオモデルに基づく、ことと、
前記第１のオーディオトラック、前記第２のオーディオトラック、前記共有モデルコンポーネント、前記第１のモデルコンポーネント、および前記第２のモデルコンポーネントに基づいて、音をレンダリングすることと、
１つまたはそれを上回るスピーカを介して、前記レンダリングされた音を備えるオーディオ信号を提示することと
を含む、方法。
（項目１１）
前記音をレンダリングすることは、前記共有モデルコンポーネントに基づいて、前記第１のオーディオトラックおよび前記第２のオーディオトラックをレンダリングすることを含む、項目１０に記載の方法。
（項目１２）
前記音をレンダリングすることは、第１のオーディオコンポーネントに基づいて、前記第１のオーディオトラックをレンダリングすることを含む、項目１０に記載の方法。
（項目１３）
前記音をレンダリングすることは、第２のオーディオコンポーネントに基づいて、前記第２のオーディオトラックをレンダリングすることを含む、項目１０に記載の方法。
（項目１４）
前記オーディオ信号を提示することは、頭部装着型デバイスの１つまたはそれを上回るスピーカを介して、前記オーディオ信号を提示することを含む、項目１０に記載の方法。
（項目１５）
前記第１のオーディオモデルは、前記頭部装着型デバイスの物理的環境に基づく、項目１４に記載の方法。
（項目１６）
前記共有モデルコンポーネントは、直接経路音響挙動に対応する、項目１０に記載の方法。
（項目１７）
前記共有モデルコンポーネントは、反射性音響挙動に対応する、項目１０に記載の方法。
（項目１８）
【図面の簡単な説明】
【０００９】
図１Ａ－１Ｃは、いくつかの実施形態による、例示的複合現実環境を図示する。
図１Ａ－１Ｃは、いくつかの実施形態による、例示的複合現実環境を図示する。
図１Ａ－１Ｃは、いくつかの実施形態による、例示的複合現実環境を図示する。
【００１０】
図２Ａ－２Ｄは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。
図２Ａ－２Ｄは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。
図２Ａ－２Ｄは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。
図２Ａ－２Ｄは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。
（【００１１】以降は省略されています）

関連特許