特許ウォッチ

公開番号2025179172
公報種別公開特許公報(A)
公開日2025-12-09
出願番号2025146640,2022521735
出願日2025-09-04,2020-10-08
発明の名称オーディオ符号化のための装置及び方法
出願人コーニンクレッカフィリップスエヌヴェ,Koninklijke Philips N.V.
代理人弁理士法人M&Sパートナーズ
主分類G10L 19/008 20130101AFI20251202BHJP(楽器;音響)
要約【課題】仮想現実アプリケーションなどの動的アプリケーションのためのオーディオ符号化装置及び方法を提供する。
【解決手段】オーディオ符号化装置は、オーディオシーンを表すオーディオアイテムを受け取るオーディオ受信機201と、オーディオアイテムのレンダリングに対する提示制約を記述するオーディオアイテムのための入力提示メタデータを受け取るメタデータ受信機203と、複数のオーディオアイテムを符号化することにより符号化されたオーディオデータをオーディオシーンのために生成するオーディオエンコーダ205と、入力提示メタデータから出力提示メタデータを生成するメタデータ回路207と、符号化されたオーディオデータと出力提示メタデータとを有する符号化されたオーディオデータストリームを生成する出力209と、を有する。
【選択図】図2
特許請求の範囲【請求項１】
オーディオシーンを表す複数のオーディオアイテムを受け取るためのオーディオ受信機と、
前記複数のオーディオアイテムのための入力提示メタデータを受け取るためのメタデータ受信機であって、前記入力提示メタデータが、前記複数のオーディオアイテムのレンダリングに対する提示制約であって、前記複数のオーディオアイテムをレンダリングするときに適合させることが可能なレンダリングパラメータを制約する提示制約を記述する、メタデータ受信機と、
前記入力提示メタデータに応答して前記複数のオーディオアイテムを符号化することにより、符号化されたオーディオデータを前記オーディオシーンのために生成するためのオーディオエンコーダと、
前記入力提示メタデータから出力提示メタデータを生成するためのメタデータ回路であって、前記出力提示メタデータが、符号化されたオーディオアイテムのためのデータであって、前記符号化されたオーディオアイテムをレンダリングするときにレンダリングの適合可能なパラメータを適合させることが可能な範囲を制約するデータを有する、メタデータ回路と、
前記符号化されたオーディオデータと前記出力提示メタデータとを有する符号化されたオーディオデータストリームを生成するための出力回路と、
を有する、オーディオ符号化装置。
続きを表示（約 1,600 文字）【請求項２】
前記オーディオエンコーダが、前記複数のオーディオアイテムの中の少なくとも第１のオーディオアイテムと第２のオーディオアイテムとを、前記第１のオーディオアイテムのための入力提示メタデータと前記第２のオーディオアイテムのための入力提示メタデータとに応答して合成することにより、合成されたオーディオアイテムを生成するためのコンバイナを有しており、前記オーディオエンコーダが、合成されたオーディオ符号化データを、前記合成されたオーディオアイテムを符号化することにより、前記第１及び第２のオーディオアイテムのために生成して、前記合成されたオーディオ符号化データを前記符号化されたオーディオデータに含ませる、請求項１に記載のオーディオ符号化装置。
【請求項３】
前記コンバイナが、前記第１のオーディオアイテムと前記第２のオーディオアイテムとのための前記入力提示メタデータに応答して、前記複数のオーディオアイテムから前記第１のオーディオアイテムと前記第２のオーディオアイテムとを選択する、請求項２に記載のオーディオ符号化装置。
【請求項４】
前記コンバイナが、前記第１のオーディオアイテムのための入力提示メタデータと前記第２のオーディオアイテムのための入力提示メタデータとの少なくともいくつかが類似性基準を満たすとの判断に応答して、前記第１のオーディオアイテムと前記第２のオーディオアイテムとを選択する、請求項２又は３に記載のオーディオ符号化装置。
【請求項５】
前記第１のオーディオアイテムのための前記入力提示メタデータと前記第２のオーディオアイテムのための前記入力提示メタデータとが、利得制約と位置制約との少なくとも一方を有する、請求項２から４のいずれか一項に記載のオーディオ符号化装置。
【請求項６】
前記オーディオエンコーダが、さらに、前記第１のオーディオアイテムのための前記入力提示メタデータと前記第２のオーディオアイテムのための前記入力提示メタデータとに応答して、合成された提示メタデータを前記合成されたオーディオアイテムのために生成し、前記合成された提示メタデータを前記出力提示メタデータに含める、請求項２から５のいずれか一項に記載のオーディオ符号化装置。
【請求項７】
前記オーディオエンコーダが、前記合成されたオーディオアイテムのための提示パラメータに対する制約であって、前記第１のオーディオアイテムのための入力提示メタデータによって示された前記第１のオーディオアイテムに対する制約と前記第２のオーディオアイテムのための入力提示メタデータによって示された前記第２のオーディオアイテムに対する制約との両方を満たすと判断される制約を反映するように、少なくともいくつかの合成された提示メタデータを生成する、請求項６に記載のオーディオ符号化装置。
【請求項８】
前記オーディオエンコーダが、第２のオーディオアイテムのための入力提示メタデータに応答して、第１のオーディオアイテムの圧縮を適合させる、請求項１から７のいずれか一項に記載のオーディオ符号化装置。
【請求項９】
前記オーディオエンコーダが、前記第２のオーディオアイテムのための入力提示メタデータに応答して前記第２のオーディオアイテムから前記第１のオーディオアイテムへのマスキング効果を推定し、前記マスキング効果に応答して前記第１のオーディオアイテムの前記圧縮を適合させる、請求項８に記載のオーディオ符号化装置。
【請求項１０】
前記オーディオエンコーダが、前記第２のオーディオアイテムのための前記入力提示メタデータによって示される前記第２のオーディオアイテムに対する利得制約と位置制約との少なくとも一方に応答して、前記第２のオーディオアイテムから前記第１のオーディオアイテムへの前記マスキング効果を推定する、請求項９に記載のオーディオ符号化装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、オーディオ符号化のための装置及び方法に関し、特に、ただし排他的にではないが、仮想現実アプリケーションなどの動的アプリケーションのためのオーディオ符号化のための装置及び方法に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
オーディオ及びビデオアプリケーションの多様性及び範囲は、近年において、オーディオ、イメージ及びビデオを利用し消費する新たなサービス及び様態が連続的に開発され導入されていることに伴い、大幅に増加している。
【０００３】
例えば、ますます人気が出ているサービスの１つは、レンダリングのパラメータを変更するため、視聴者が、能動的かつ動的にシステムと対話することが可能であるように、オーディオ及びイメージを提供することである。多くのアプリケーションにおいて非常にアピールする特徴として、有効な視／聴位置を変更することができる能力がある。そのような特徴は、特に、仮想現実体験がユーザに提供されることを可能にする。
【０００４】
傾向としては、シーンのレンダリング側の適合を許容する柔軟性の増加を提供する方向に向かっている。オーディオシーンのレンダリングのためにレンダリング側の柔軟性の増加を提供する目的で、いくつかのオーディオ符号化及び分散アプローチが提案されてきており、それらにおいては、オーディオシーンが、異なるオーディオアイテムの合成によって表される。例えば、オーディオアイテムが、特定のスピーカなど、別個の音源を表す場合がある。いくつかのアプローチでは、すべてのオーディオアイテムが同一のタイプであるが、複数の異なるオーディオタイプが同時に用いられサポートされることを可能にするシステムの開発が増加している。例えば、いくつかのオーディオアイテムはオーディオチャネルであり得るが、他のものは別個のオーディオオブジェクトであり得るし、さらに他のものは、アンビソニックオーディオアイテムなど、シーンベースの場合もあり得る。多くのシステムにおいて、メタデータが、オーディオアイテムを表すオーディオデータと共に、提供される。そのようなメタデータは、例えば、あるオーディオアイテムのオーディオ源のために、シーンにおける公称位置を示す。
【０００５】
そのようなアプローチは、クライアント／レンダリング側での高い程度でのカスタマイズと適合とを可能にする。例えば、オーディオシーンを、そのオーディオシーンにおけるリスナの仮想位置の変更に局所的に適合させることが可能であるし、又は、個別的なリスナの特定の好みに適合させることも可能である。
【０００６】
特定の例として、３ＧＰＰ（登録商標）コンソーシアムが、現在、いわゆるイマーシブボイスアンドオーディオサービシズ（ＩＶＡＳ）コーデックを開発している。このコーデックは、チャネル、オブジェクト又はシーン（特に、アンビソニックス）ベースの設定など、様々な設定で、オーディオコンテンツをコード化することが可能である。コード化の目的は、最小のデータ量を用いて、オーディオ情報を運ぶことである。
【０００７】
ＩＶＡＳコーデックは、さらに、様々なオーディオストリームを受信端における再生に適する形式に変換するレンダラを有することになる。例えば、オーディオを、既知のラウドスピーカの設定にマップすることが可能であるし、又は、オーディオを、ヘッドフォン経由での再生のためのバイノーラル形式にレンダリングすることも可能である。
【０００８】
３ＧＰＰ（登録商標）のＩＶＡＳコーデックスコープでは、潜在的な使用の場合を収集するための作業が進行中である。これらのためには、コーデックはレンダリングを変調する対話可能性を提供すべきであると考えられる。例えば、ヘッドフォンオーディオは、頭部位置及び変換と独立にレンダリングされなければならず、これは、ヘッドフォンオーディオが頭部の移動に対して補償されなければならないことを意味する。別の例として、ユーザは、仮想会議への参加者のオーディオを運ぶオブジェクトを（再度）位置決めするなど、オーディオアイテムを空間的に位置決めするように付勢される。
【０００９】
レンダラは、３ＧＰＰ（登録商標）のＩＶＡＳコーデックの作業アイテムの一部であると考えられ、ＩＶＡＳコーデックに内在するものと考えられる。しかし、コーデックがパススルーモードも含むことが、提案されてきている。このモードは、オーディオアイテムが、エンコーダ入力において入力されたのと同じ設定で（すなわち、１：１の対応するチャネル、オブジェクト及びシーンベースのオーディオアイテムとして）デコーダ出力において表されることを可能にする。外部レンダラは、専用の外部レンダリングインターフェースを経由して、これらのアイテムへのアクセスを有し、内部ＩＶＡＳレンダラへの代替的なレンダリングを実現する。
【００１０】
そのようなアプローチは、追加的な柔軟性を提供し、受信端におけるカスタマイズ及び適合のための範囲を増加させる。しかし、このアプローチには、短所が付随することもあり得る。例えば、柔軟性とオーディオ品質及び複雑性との間には、トレードオフが存在する。自由度を制約することによりコンテンツプロバイダがクライアント側におけるレンダリングに関するいくらかの制御を保持することを許容することは、一般的に有用である。これは、レンダリングを助け、より現実的なレンダリングされたオーディオシーンを結果的に生じさせるだけではなく、ユーザに提供される経験に対するある程度の制御をコンテンツプロバイダが保持することも許容する。例えば、それは、レンダラが、非現実的でありコンテンツとコンテンツプロバイダに対して悪影響を及ぼす可能性があるオーディオシーンを生成することを防止する。
（【００１１】以降は省略されています）

関連特許