特許ウォッチ

公開番号2025041802
公報種別公開特許公報(A)
公開日2025-03-26
出願番号2024226844,2023071242
出願日2024-12-24,2019-04-09
発明の名称MPEG-H 3Dオーディオの3自由度(3DOF+)拡張のための方法、装置およびシステム
出願人ドルビー・インターナショナル・アーベー
代理人弁理士法人ITOH
主分類H04S 7/00 20060101AFI20250318BHJP(電気通信技術)
要約【課題】オーディオ・オブジェクトのオブジェクト位置を示す位置情報を処理する方法が記載される。
【解決手段】前記オブジェクト位置は前記オーディオ・オブジェクトのレンダリングのために使用可能である。本方法は:聴取者の頭部の配向を示す聴取者配向情報を得て;聴取者の頭部の変位を示す聴取者変位情報を得て;前記位置情報から前記オブジェクト位置を決定し;前記オブジェクト位置に並進を適用することによって、前記聴取者変位情報に基づいて前記オブジェクト位置を修正し;前記聴取者配向情報に基づいて、修正されたオブジェクト位置をさらに修正することを含む。オーディオ・オブジェクトのオブジェクト位置を示す位置情報を処理するための対応する装置であって、前記オブジェクト位置は、前記オーディオ・オブジェクトのレンダリングに使用可能である、装置がさらに記載される。
【選択図】図5
特許請求の範囲【請求項１】
オーディオ・オブジェクトのオブジェクト位置を示す位置情報を処理する方法であって、前記処理はMPEG-H 3D Audioデコーダを使って実行され、前記オブジェクト位置は前記オーディオ・オブジェクトのレンダリングのために使用可能であり、当該方法は：
聴取者の頭部の配向を示す聴取者配向情報を得る段階であって、前記聴取者配向情報は、聴取者の頭部のヨー、ピッチ、およびロールに関する情報を含む、段階と；
聴取者の頭部の、公称聴取位置に対する変位を示す聴取者変位情報をMPEG-H 3D Audioデコーダ入力インターフェースを介して得る段階と；
前記位置情報から前記オブジェクト位置を決定する段階と；
前記オブジェクト位置に並進を適用することによって、前記聴取者変位情報に基づいて前記オブジェクト位置を修正する段階と；
前記聴取者配向情報に基づいて、修正されたオブジェクト位置をさらに修正する段階であって、
前記聴取者変位情報が、聴取者の頭部の前記公称聴取位置からの、小さな位置変位による変位を示し、該小さな位置変位が0.5メートル以下の絶対値をもつときは、前記オーディオ・オブジェクト位置と聴取者の頭部の変位後の聴取位置との間の距離が、前記修正されたオーディオ・オブジェクト位置と公称聴取位置との間の距離に等しい、段階と；
前記オーディオ・オブジェクトを、前記さらに修正されたオブジェクト位置に従って一つまたは複数の実スピーカーまたは仮想スピーカーにレンダリングする段階とを含む、
方法。
続きを表示（約 1,500 文字）【請求項２】
前記オブジェクト位置を修正し、修正されたオブジェクト位置をさらに修正することは、前記オーディオ・オブジェクトが、前記さらに修正されたオブジェクト位置に従って一つまたは複数の実スピーカーまたは仮想スピーカーにレンダリングされた後、公称聴取位置からの聴取者の頭部の変位や公称配向に関する聴取者の頭部の配向に関わりなく、公称聴取位置に対する固定位置から発するものとして、音響心理学的に聴取者によって知覚されるように実行される、請求項１に記載の方法。
【請求項３】
前記聴取者変位情報に基づいてオブジェクト位置を修正することは、公称聴取位置からの聴取者の頭部の等しいが反対方向の変位の前記オブジェクト位置の並進によって実行される、請求項１に記載の方法。
【請求項４】
前記聴取者変位情報は、聴取者が上半身および／または頭部の少なくとも一方を動かすことによって達成可能な、公称聴取位置からの聴取者の頭部の変位を示す、請求項１に記載の方法。
【請求項５】
ウェアラブルなおよび／または静的な設備によって聴取者の頭部の配向を検出することをさらに含む、請求項１に記載の方法。
【請求項６】
ウェアラブルなおよび／または静的な設備によって、公称聴取位置からの聴取者の頭部の変位を検出することを含む、請求項１に記載の方法。
【請求項７】
前記修正されたオーディオ・オブジェクト位置と変位後の聴取位置との間の距離が、オーディオ・レベルの修正のための利得にマッピングされる、請求項１に記載の方法。
【請求項８】
命令を有する非一時的なコンピュータ読み取り可能な媒体であって、前記命令は、前記ソフトウェアがデジタル信号プロセッサまたはマイクロプロセッサによって実行されたときに、前記デジタル信号プロセッサまたはマイクロプロセッサに請求項１に記載の方法を実行させるものである、媒体。
【請求項９】
オーディオ・オブジェクトのオブジェクト位置を示す位置情報を処理するMPEG-H 3D Audioデコーダであって、前記オブジェクト位置は、前記オーディオ・オブジェクトのレンダリングのために使用可能であり、当該デコーダはプロセッサおよび該プロセッサに結合されたメモリを有しており、前記プロセッサは：
聴取者の頭部の配向を示す聴取者配向情報を得る段階であって、前記聴取者配向情報は、聴取者の頭部のヨー、ピッチ、およびロールに関する情報を含む、段階と；
聴取者の頭部の、公称聴取位置に対する変位を示す聴取者変位情報をMPEG-H 3D Audioデコーダ入力インターフェースを介して得る段階と；
前記位置情報から前記オブジェクト位置を決定する段階と；
前記オブジェクト位置に並進を適用することによって、前記聴取者変位情報に基づいて前記オブジェクト位置を修正する段階と；
修正されたオブジェクト位置を、前記聴取者配向情報に基づいて、さらに修正する段階であって、
前記聴取者変位情報が、聴取者の頭部の前記公称聴取位置からの、小さな位置変位による変位を示し、該小さな位置変位が0.5メートル以下の絶対値をもつときは、前記オーディオ・オブジェクト位置と聴取者の頭部の変位後の聴取位置との間の距離が、前記修正されたオーディオ・オブジェクト位置と公称聴取位置との間の距離に等しい、段階と；
前記オーディオ・オブジェクトを、前記さらに修正されたオブジェクト位置に従って一つまたは複数の実スピーカーまたは仮想スピーカーにレンダリングする段階とを実行するよう適応されている、
デコーダ。

発明の詳細な説明【技術分野】
【０００１】
関連出願への相互参照
本願は、次の優先権出願の優先権を主張する：米国仮出願第62/654,915号（参照番号D18045USP1）、2018年4月9日出願；米国仮出願第62/695,446号（参照番号D18045USP2）、2018年7月9日出願；米国仮出願第62/823,159号（参照番号D18045USP3）、2019年3月25日出願。これらの出願は、参照により本明細書中に組み込まれる。
続きを表示（約 3,100 文字）【０００２】
技術分野
本開示は、オーディオ・オブジェクト位置を示す位置情報、および聴取者の頭部の位置変位を示す情報を処理するための方法および装置に関する。
【背景技術】
【０００３】
ISO/IEC23008-3 MPEG-H 3D Audio規格の第1版（2015年10月15日）および補正1～4では、3自由度（Three Degrees of Freedom、3DoF）環境におけるユーザーの頭部の小さな並進運動を許容することは提供していない。
【発明の概要】
【課題を解決するための手段】
【０００４】
ISO/IEC23008-3 MPEG-H 3D Audio規格の第1版（2015年10月15日）および補正1～4は、ユーザー（聴取者）が頭部回転動作を行なう3DoF環境の可能性のための機能を提供する。しかしながら、そのような機能は、せいぜい、回転シーン変位の信号伝達および対応するレンダリングをサポートするだけである。これは、オーディオ・シーンが、3DoF属性に対応する聴取者の頭部配向の変化の下で、空間的に静止したままでありうることを意味する。しかしながら、現在のMPEG-H 3D Audioエコシステム内では、ユーザーの頭部の小さな並進運動を考慮に入れる可能性はない。
【０００５】
よって、潜在的にはユーザーの頭部の回転運動との関連で、ユーザーの頭部の小さな並進運動を考慮に入れることができる、オーディオ・オブジェクトの位置情報を処理する方法および装置が必要とされている。
【０００６】
本開示は、それぞれの独立請求項および従属請求項の特徴を有する、位置情報を処理するための装置およびシステムを提供する。
【０００７】
本開示のある側面によれば、オーディオ・オブジェクトの位置を示す位置情報を処理する方法が記載される。この処理はMPEG-H 3D Audio規格に準拠していてもよい。オブジェクト位置は、オーディオ・オブジェクトのレンダリングのために使用可能でありうる。オーディオ・オブジェクトは、その位置情報とともに、オブジェクト・ベースのオーディオ・コンテンツに含まれてもよい。位置情報は、オーディオ・オブジェクトのメタデータ（の一部）であってもよい。オーディオ・コンテンツ（たとえば、その位置情報を伴うオーディオ・オブジェクト）は、エンコードされたオーディオ・ビットストリームにおいて伝達されてもよい。本方法は、オーディオ・コンテンツ（たとえば、エンコードされたオーディオ・ビットストリーム）を受領することを含んでいてもよい。本方法は、聴取者の頭部の配向を示す聴取者配向情報を得ることを含んでいてもよい。聴取者は、たとえば本方法を実行するオーディオ・デコーダの、ユーザーと称されてもよい。聴取者の頭部の配向（聴取者配向）は、公称配向に関する聴取者の頭部の配向であってもよい。本方法は、さらに、聴取者の頭部の変位を示す聴取者変位情報を得ることを含んでいてもよい。聴取者の頭部の変位は、公称聴取位置に関する変位であってもよい。公称聴取位置（または公称聴取者位置）は、デフォルト位置（たとえば、あらかじめ決定された位置、聴取者の頭部についての期待される位置、またはスピーカー配置のスイートスポット）であってもよい。聴取者配向情報および聴取者変位情報は、MPEG-H 3D Audioデコーダ入力インターフェースを介して得られてもよい。聴取者配向情報および聴取者変位情報は、センサー情報に基づいて導出されてもよい。配向情報と位置情報の組み合わせは、姿勢情報と称されてもよい。本方法は、さらに、位置情報からオブジェクト位置を決定することを含んでいてもよい。たとえば、位置情報からオブジェクト位置が抽出されてもよい。オブジェクト位置の決定（たとえば、抽出）は、さらに、聴取環境における一つまたは複数のスピーカーのスピーカー配置の幾何構成に関する情報に基づいていてもよい。オブジェクト位置は、オーディオ・オブジェクトのチャネル位置と称されることもある。本方法は、さらに、オブジェクト位置に並進を適用することによって、聴取者変位情報に基づいてオブジェクト位置を修正することを含んでいてもよい。オブジェクト位置を修正することは、公称聴取位置からの聴取者の頭部の変位についてオブジェクト位置を補正することに関係してもよい。換言すれば、オブジェクト位置を修正することは、オブジェクト位置に位置変位補正を適用することに関係してもよい。本方法は、さらに、たとえば、修正されたオブジェクト位置への回転変換（たとえば、聴取者の頭部または公称聴取位置に関する回転）を適用することによって、聴取者配向情報に基づいて、修正されたオブジェクト位置をさらに修正することを含んでいてもよい。オーディオ・オブジェクトをレンダリングするために前記修正されたオブジェクト位置をさらに修正することは、回転オーディオ・シーン変位に関わってもよい。
【０００８】
上述のように構成されることで、提案される方法は、特に、聴取者の頭部近くに位置するオーディオ・オブジェクトについて、より現実的な聴取体験を提供する。3DoF環境において通常、聴取者に提供される3つの（回転）自由度に加えて、提案される方法は聴取者の頭部の並進運動も考慮に入れることができる。これにより、聴取者は、異なる角度、さらには側から、近いオーディオ・オブジェクトに近づくことができる。たとえば、聴取者は、頭部を回転させることに加えて、頭部をわずかに動かすことによって、聴取者の頭部に近い「蚊」オーディオ・オブジェクトを種々の角度から聴取することができる。結果として、提案される方法は、聴取者のための改良された、より現実的な、没入的な聴取体験を可能にすることができる。
【０００９】
いくつかの実施形態では、オブジェクト位置を修正し、修正されたオブジェクト位置をさらに修正することは、オーディオ・オブジェクトが、さらに修正されたオブジェクト位置に従って一つまたは複数の実スピーカーまたは仮想スピーカーにレンダリングされた後、公称聴取位置からの聴取者の頭部の変位や公称配向に関する聴取者の頭部の配向に関わりなく、公称聴取位置に対する固定位置から発するものとして、音響心理学的に聴取者によって知覚されるように実行されてもよい。よって、オーディオ・オブジェクトは、聴取者の頭部が公称聴取位置からの変位を受けるとき、聴取者の頭部に対して移動すると知覚されうる。同様に、オーディオ・オブジェクトは、聴取者の頭部が公称配向からの配向の変化を受けるとき、聴取者の頭部に対して回転するように知覚されうる。前記一つまたは複数のスピーカーは、たとえばヘッドセットの一部であってもよく、またはスピーカー配置（たとえば、2.1、5.1、7.1などのスピーカー配置）の一部であってもよい。
【００１０】
いくつかの実施形態では、聴取者変位情報に基づいてオブジェクト位置を修正することは、絶対値に正に相関し、かつ公称聴取位置からの聴取者の頭部の変位ベクトルの方向に負に相関するベクトルによってオブジェクト位置を並進させることによって実行されてもよい。
（【００１１】以降は省略されています）

関連特許