特許ウォッチ

公開番号2025176160
公報種別公開特許公報(A)
公開日2025-12-03
出願番号2025153751,2022578968
出願日2025-09-17,2021-06-21
発明の名称拡散残響信号を生成するための装置及び方法
出願人コーニンクレッカフィリップスエヌヴェ,Koninklijke Philips N.V.
代理人弁理士法人M&Sパートナーズ
主分類H04S 7/00 20060101AFI20251126BHJP(電気通信技術)
要約【課題】環境の拡散残響信号を生成する音声装置、方法及びプログラムを提供する。
【解決手段】音声残響装置において、受信機501は、音源を表現する音声信号と、環境内の全放射音に対する拡散残響音のレベルを示す拡散残響信号対全音源の関係を含むメタデータと、を受信する。前記メタデータは、信号レベル指標と、音声信号によって表現される音源からの音放射の指向性を示す指向性データと、を含む。回路505、507は、信号レベル指標及び指向性データに基づいて、全放射エネルギ指標を、全放射エネルギ及び拡散残響信号対全信号の関係に基づいて、ダウンミックス係数を決定する。ダウンミキサ509は、各音声信号のダウンミックス係数を音声信号に適用することによって生成される各音声信号の信号成分を組み合わせることで、ダウンミックス信号を生成する。リバーブレータ407は、ダウンミックス信号成分から環境の拡散残響信号を生成する。
【選択図】図5
特許請求の範囲【請求項１】
環境の拡散残響信号を生成するための音声装置であって、前記音声装置は、
前記環境内の音源を表現する複数の音声信号を受信する受信機と、
前記複数の音声信号のメタデータを受信するメタデータ受信機であって、前記メタデータは、
前記環境内の全放射音に対する拡散残響音のレベルを示す、拡散残響信号対全信号の関係の尺度と、
各音声信号に関する、
信号レベル指標と、
前記音声信号によって表現される前記音源からの音放射の指向性を示す指向性データとを含む、メタデータ受信機と、
前記複数の音声信号の各々に関する、
前記信号レベル指標及び前記指向性データに基づく全放射エネルギ指標と、
前記全放射エネルギ及び前記拡散残響信号対全信号の関係に基づくダウンミックス係数と、を決定する回路と、
各音声信号の前記ダウンミックス係数を、前記音声信号に適用することによって生成された、各音声信号の信号成分を組み合わせることによって、ダウンミックス信号を生成するダウンミキサと、
前記ダウンミックス信号成分から、前記環境の前記拡散残響信号を生成するリバーブレータとを備える、音声装置。
続きを表示（約 1,000 文字）【請求項２】
音放射の前記指向性は、周波数に依存し、前記回路は、周波数依存全放射エネルギ及び周波数依存ダウンミックス係数を決定する、請求項１に記載の音声装置。
【請求項３】
前記拡散残響信号対全信号の関係は、周波数に依存し、前記回路は、周波数依存ダウンミックス係数を決定する、請求項１又は２に記載の音声装置。
【請求項４】
前記拡散残響信号対全信号の関係は、周波数依存部分及び非周波数依存部分を含み、前記回路は、前記非周波数依存部分に依存して前記ダウンミックス係数を決定し、前記周波数依存部分に依存して前記リバーブレータを適応させる、請求項１から３のいずれか一項に記載の音声装置。
【請求項５】
前記回路は、前記複数の音声信号のうちの第１の音声信号によって表現される前記音源の指向性パターンを積分することによって決定された値による前記第１の音声信号の前記信号レベル指標のスケーリングに応じて、前記第１の音声信号の前記全放射エネルギ指標を決定し、前記指向性パターンは、指向性データに基づいて決定される、請求項１から４のいずれか一項に記載の音声装置。
【請求項６】
前記複数の音声信号のうちの第１の音声信号の前記信号レベル指標は、基準距離を含み、前記基準距離は、前記第１の音声信号のための距離基準ゲインについて、前記第１の音声信号によって表現される音声源からの距離を示す、請求項１から５のいずれか一項に記載の音声装置。
【請求項７】
前記積分は、前記第１の音声信号によって表現される前記音声源からの前記基準距離である距離に対して実行される、請求項５に従属する請求項６に記載の音声装置。
【請求項８】
前記拡散残響信号対全信号の関係は、前記環境内の全放射音のエネルギに対する拡散残響音のエネルギを示す、請求項１から７のいずれか一項に記載の音声装置。
【請求項９】
前記拡散残響信号対全信号の関係は、前記環境内の全放射音のエネルギに対する拡散音の初期振幅を示す、請求項１から８のいずれか一項に記載の音声装置。
【請求項１０】
前記複数の音声信号のうちの第１の音声信号について決定される前記ダウンミックス係数は、前記第１の音声信号によって表現される第１の音声源の位置に依存しない、請求項１から９のいずれか一項に記載の音声装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、音声データを処理する装置及び方法に関し、特に拡張／混合／仮想現実アプリケーション用の拡散残響信号を生成するための処理に関するが、これに限定されない。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
近年、視聴覚コンテンツに基づく体験の多様性及び範囲が、大幅に拡大しており、そのようなコンテンツを利用及び消費する新しいサービス及び手法が継続的に開発及び導入されている。特に、多くの空間的及びインタラクティブなサービス、アプリケーション、及び体験が開発されており、ユーザに、より没頭できる、没入型の体験を提供する。
【０００３】
そのようなアプリケーションの例として、仮想現実（ＶＲ）、拡張現実（ＡＲ）、及び複合現実（ＭＲ）アプリケーションがあり、これらは急速に主流になりつつあり、多くのソリューションが消費者市場に向けられている。また、多くの規格が、多くの規格化団体によって開発されている。そのような規格化活動は、例えば、ストリーミング、ブロードキャスト、レンダリングなどを含む、ＶＲ／ＡＲ／ＭＲシステムの様々な態様の規格を積極的に開発している。
【０００４】
ＶＲアプリケーションは、異なる世界／環境／シーンにいるユーザに対応するユーザ体験を提供する傾向があるが、ＡＲ（ＭｉｘｅｄＲｅａｌｉｔｙＭＲを含む）アプリケーションは、現在の環境におけるユーザに対応するユーザ体験を提供する傾向があるが、追加情報又は仮想物体又は情報が追加される。したがって、ＶＲアプリケーションは、完全没入型の合成的に生成された世界／シーンを提供する傾向があるが、ＡＲアプリケーションは、ユーザが物理的に存在する実際のシーンにオーバレイされる、部分的に合成された世界／シーンを提供する傾向がある。しかしながら、これら用語はしばしば同じ意味で使用され、大部分重複している。以下では、仮想現実／ＶＲという用語は、仮想現実と、拡張／複合現実との両方を表すために使用される。
【０００５】
一例として、ますます人気が高まっているサービスは、ユーザが、システムと積極的かつ動的に対話して、レンダリングのパラメータを変更し、これが、動きや、ユーザの位置及び向きにおける変化に適応できるような手法で、画像及び音声を提供することである。多くのアプリケーションで非常に魅力的な機能は、例えば、提示されているシーンで視覚者が移動して「見回す」ことができるような、視覚者の有効な視覚位置及び視覚方向を変更する機能である。
【０００６】
そのような機能により、具体的に、仮想現実体験をユーザに提供できるようになる。これにより、ユーザは、仮想環境内を（比較的）自由に動き回り、自分の位置と、自分が見ている場所とを動的に変更できる。通常、そのような仮想現実アプリケーションは、シーンの３次元モデルに基づいており、モデルは、動的に評価されて、特定の要求されたビューを提供する。このアプローチは、例えば、一人称シューティングゲームのカテゴリなど、コンピュータ及びコンソール用のゲームアプリケーションからよく知られている。
【０００７】
また、特に仮想現実アプリケーションでは、提示される画像が三次元画像であることが望ましく、通常、立体ディスプレイを使用して提示される。実際、視覚者の没入感を最適化するために、提示されたシーンを三次元シーンとして体験することが、通常、ユーザにとって好ましい。実際、仮想現実体験は、好ましくは、ユーザが仮想世界に対して自分の位置、視点、及び瞬間を選択できるようにする必要がある。
【０００８】
視覚的なレンダリングに加えて、ほとんどのＶＲ／ＡＲアプリケーションは更に、対応する音声体験を提供する。多くのアプリケーションにおいて、音声は、音声源が視覚シーン内の対応する物体の位置に対応する位置から到着するように知覚される、空間音声体験を提供することが好ましい。したがって、音声シーン及びビデオシーンは、好ましくは、一貫して認識され、両方によって完全な空間体験を提供する。
【０００９】
例えば、バイノーラル音声レンダリング技術を使用したヘッドフォン再生によって生成される仮想音声シーンによって、多くの没入型体験が提供される。多くのシナリオでは、そのようなヘッドフォン再生は、レンダリングが、ユーザの頭の動きに反応するように、ヘッドトラッキングに基づいており、これにより没入感が大幅に向上する。
【００１０】
多くのアプリケーションにとって重要な機能は、音声環境の自然で現実的な知覚を提供できる音声を生成し、及び／又は、分布させる方法である。例えば、仮想現実アプリケーション用の音声を生成する場合、所望される音声源を生成するだけでなく、減衰、反射、カラーレーションなどを含む音声環境の現実的な知覚を提供するために、これらの音声源を変更することも重要である。
（【００１１】以降は省略されています）

関連特許