特許ウォッチ

公開番号2025020171
公報種別公開特許公報(A)
公開日2025-02-12
出願番号2024183908,2020547044
出願日2024-10-18,2019-07-02
発明の名称没入的オーディオ信号を含むビットストリームを生成するための方法および装置
出願人ドルビーラボラトリーズライセンシングコーポレイション,ドルビー・インターナショナル・アーベー
代理人弁理士法人ITOH
主分類G10L 19/16 20130101AFI20250204BHJP(楽器;音響)
要約【課題】没入的オーディオ信号を含むビットストリームを生成またはデコードするための方法および装置を提供する。
【解決手段】没入的オーディオ信号のフレームのシーケンスについてのスーパーフレームのシーケンスを含むビットストリームを生成する方法であって、スーパーフレームのシーケンスについて、繰り返し、没入的オーディオ信号から導出された一つまたは複数のダウンミックス・チャネル信号の一つまたは複数のフレームについての符号化されたオーディオ・データを、スーパーフレームのデータ・フィールドに挿入する段階と、符号化されたオーディオ・データから前記没入的オーディオ信号の一つまたは複数のフレームを再構成するためのメタデータを、スーパーフレームのメタデータ・フィールドに挿入する段階と、を含む。
【選択図】図5
特許請求の範囲【請求項１】
ビットストリーム（101）を生成する方法（500）であって、前記ビットストリーム（101）は、没入的オーディオ信号（111）のフレームのシーケンスについてのスーパーフレーム（400）のシーケンスを含み、当該方法（500）は、スーパーフレーム（400）の前記シーケンスについて、繰り返し：
前記没入的オーディオ信号（111）から導出された一つまたは複数のダウンミックス・チャネル信号（203）の一つ以上のフレームについての符号化されたオーディオ・データ（206）を、スーパーフレーム（400）のデータ・フィールド（411、421、412、422）に挿入する段階（501）であって、ダウンミックス・チャネル信号（203）のフレームの前記符号化されたオーディオ・データ（206）はマルチモードおよび／またはマルチレート発話またはオーディオ・コーデックを使用して生成される、段階と；
前記符号化されたオーディオ・データ（206）から前記没入的オーディオ信号（111）の一つ以上のフレームを再構成するためのメタデータ（202,205）を、前記スーパーフレーム（400）のメタデータ・フィールド（403）に挿入する段階（502）とを実行することを含む、
方法。
続きを表示（約 3,100 文字）【請求項２】
・当該方法（500）が、前記スーパーフレーム（400）にヘッダ・フィールド（401）を挿入することを含み；
・前記ヘッダ・フィールド（401）は、前記スーパーフレーム（400）の前記メタデータ・フィールド（403）のサイズを示し、
任意的に、
・前記メタデータ・フィールド（403）は可能な最大サイズを示し；
・前記ヘッダ・フィールド（401）は調整値を示し；
・前記スーパーフレーム（400）の前記メタデータ・フィールド（403）のサイズは、前記可能な最大サイズから前記調整値を引いたものに対応する、
請求項１に記載の方法。
【請求項３】
前記ヘッダ・フィールド（401）は、前記メタデータ・フィールド（403）についてのサイズ・インジケータを含み；
前記サイズ・インジケータは、前記メタデータ・フィールド（403）のサイズの異なるサイズ範囲について異なる分解能を示し、
任意的に、
・前記没入的オーディオ信号（111）の前記一つ以上のフレームを再構成するための前記メタデータ（202,205）は、該メタデータ（202,205）のサイズの統計的サイズ分布を示し；
・前記サイズ・インジケータの分解能は、前記メタデータ（202,205）のサイズ分布に依存する、
請求項２に記載の方法。
【請求項４】
・当該方法（500）が、前記スーパーフレーム（400）にヘッダ・フィールド（401）を挿入することを含み；
・前記ヘッダ・フィールド（401）は、前記スーパーフレーム（400）が構成情報フィールド（402）を含むか否かを示し；
・前記ヘッダ・フィールド（401）は、構成情報フィールド（402）の存在を示す、
および／または
・前記ヘッダ・フィールド（401）は、前記スーパーフレーム（400）が前記没入的オーディオ信号（111）に関する追加的情報のための拡張フィールド（404）を含むか否かを示す、
請求項１ないし３のうちいずれか一項に記載の方法。
【請求項５】
・当該方法（500）は、構成情報フィールド（402）を前記スーパーフレーム（400）に挿入することを含み；
・前記構成情報フィールド（402）は、前記スーパーフレーム（400）のデータ・フィールド（411、421、412、422）によって表わされるダウンミックス・チャネル信号（203）の数を示す、
および／または
・前記構成情報フィールド（402）は、前記メタデータ・フィールド（403）の可能な最大サイズを示す、
および／または
・前記構成情報フィールド（402）は、前記没入的オーディオ信号（111）内に含まれる音場表現信号の次数を示す、
および／または
・前記構成情報フィールド（402）は、前記一つまたは複数のダウンミックス・チャネル信号（203）のそれぞれを符号化するために使用されるフレーム・タイプおよび／または符号化モードを示す、
請求項１ないし４のうちいずれか一項に記載の方法。
【請求項６】
ダウンミックス・チャネル信号（203）のフレームの前記符号化されたオーディオ・データ（206）は、向上音声サービス（Enhanced Voice Services）エンコーダを使ってエンコードされる、請求項１ないし５のうちいずれか一項に記載の方法。
【請求項７】
前記スーパーフレーム（400）は、伝送プロトコル、特にDASH、RTSPまたはRTPを用いて伝送されるか、または記憶フォーマット、特にISOBMFFに従ってファイルに格納されるデータ要素の少なくとも一部を構成する、請求項１ないし６のうちいずれか一項に記載の方法。
【請求項８】
・前記ヘッダ・フィールド（401）は、構成情報フィールド（402）が存在しないことを示し；
・当該方法（500）は、前記スーパーフレーム（400）のシーケンスの以前のスーパーフレーム（400）において、またはアウトオブバンド信号伝達方式を使って、構成情報を伝達することを含む、
請求項１ないし７のうちいずれか一項に記載の方法。
【請求項９】
当該方法が、
・前記没入的オーディオ信号（111）から導出された第1のダウンミックス・チャネル信号（203）および第2のダウンミックス・チャネル信号（203）の一つ以上のフレームについての符号化されたオーディオ・データ（206）を、前記スーパーフレーム（400）の一つまたは複数の第1データ・フィールド（411、421）および一つまたは複数の第2データ・フィールド（412、422）に、それぞれ挿入する段階であって、前記第1のダウンミックス・チャネル信号（203）は第1のエンコーダを用いてエンコードされ、前記第2のダウンミックス・チャネル信号（203）は第2のエンコーダを用いてエンコードされる、段階と；
・前記第1のエンコーダおよび前記第2のエンコーダに関する構成情報を、前記スーパーフレーム（400）内で、前記スーパーフレーム（400）のシーケンスのうち以前のスーパーフレーム（400）内で、またはアウトオブバンド信号伝達方式を使って、提供する段階とを含む、
請求項１ないし８のうちいずれか一項に記載の方法。
【請求項１０】
当該方法が、
・IA信号と呼ばれる、前記没入的オーディオ信号（111）から一つまたは複数のオーディオ・オブジェクトを抽出する段階であって、オーディオ・オブジェクトは、オブジェクト信号と、前記オーディオ・オブジェクトの位置を示すオブジェクト・メタデータ（202）とを含む、段階と；
・前記IA信号（111）に基づき、かつ前記一つまたは複数のオーディオ・オブジェクトに基づいて、残留信号（201）を決定する、段階と；
・前記IA信号（111）に基づいてダウンミックス信号を提供し、前記ダウンミックス信号のダウンミックス・チャネル信号（203）の数が前記IA信号（111）のチャネル信号の数よりも少ないようにする、段階と；
・前記ダウンミックス信号を、前記一つまたは複数のオーディオ・オブジェクトに対応する一つまたは複数の再構成されたオーディオ・オブジェクト信号および／または前記残留信号（201）に対応する再構成された残留信号（311）にアップミックスすることを可能にするための合同符号化メタデータ（205）を決定する段階と；
・前記ダウンミックス信号の波形符号化を実行して、前記一つまたは複数のダウンミックス・チャネル信号（203）のフレームのシーケンスについて、符号化されたオーディオ・データ（206）を提供する段階と；
・前記合同符号化メタデータ（205）および前記一つまたは複数のオーディオ・オブジェクトの前記オブジェクト・メタデータ（202）のエントロピー符号化を実行して、前記スーパーフレーム（400）のシーケンスの前記メタデータ・フィールド（403）に挿入される前記メタデータ（202,205）を提供する段階とを含む、
請求項１ないし９のうちいずれか一項に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
関連出願への相互参照
本願は、2018年7月2日に出願された米国仮特許出願第62/693,246号への優先権の利益を主張する。同出願の内容はここに参照によって組み込まれる。
続きを表示（約 2,400 文字）【０００２】
技術分野
本稿は、音場表現信号、特にアンビソニックス信号を含みうる没入的オーディオ信号に関する。特に、本稿は、没入的オーディオ信号を含むビットストリームを生成およびデコードすることに関する。
【背景技術】
【０００３】
聴取位置に置かれた聴取者の聴取環境内の音または音場は、アンビソニックス信号を使用して記述されうる。アンビソニックス信号は、マルチチャネル・オーディオ信号として見ることができる。ここで、各チャネルが聴取者の聴取位置における音場の特定の指向性パターンに対応する。アンビソニックス信号は、3次元（3D）デカルト座標系を用いて記述されてもよく、座標系の原点が聴取位置に対応し、x軸は前方を指し、y軸は左を指し、z軸は、上方を指す。
【０００４】
オーディオ信号またはチャネルの数を増やし、対応する指向性パターン（および対応するパン関数）の数を増やすことによって、音場の記述精度を高めることができる。例として、一次アンビソニックス信号は、4つのチャネルまたは波形、すなわち、音場の全方向成分を示すWチャネル、x軸に対応する双極子指向性パターンをもつ音場を記述するXチャネル、y軸に対応する双極子指向性パターンをもつ音場を記述するYチャネル、およびz軸に対応する双極子指向性パターンをもつ音場を記述するZチャネルを含む。二次アンビソニックス信号は、一次アンビソニックス信号の4チャネル（Bフォーマットとも呼ばれる）と、異なる指向性パターンのための5つの追加チャネルを含む9チャネルを有する。一般に、L次アンビソニックス信号は、(L－1)次アンビソニックス信号のL
2
個のチャネルと、追加の指向性パターンのための[(L＋1)
2
－L
2
]個の追加チャネルとを含む(L＋1)
2
個のチャネルを有する（3Dアンビソニック・フォーマットを使用する場合）。L＞1についてのL次アンビソニックス信号は、高次アンビソニック（HOA）信号と呼ばれることがある。
【０００５】
HOA信号は、HOA信号をレンダリングするために使用されるスピーカーの配置から独立して3D音場を記述するために使用されうる。スピーカーの配置例は、ヘッドフォン、またはラウドスピーカーの一つまたは複数の配置、または仮想現実レンダリング環境を含む。よって、オーディオ・レンダリングがスピーカーの異なる配置に柔軟に適応できるようにするために、オーディオ・レンダラーにHOA信号を提供することが有益でありうる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
アンビソニックス信号のような音場表現（soundfield representation、SR）信号は、没入的オーディオ（immersive audio、IA）信号を提供するために、オーディオ・オブジェクトおよび／またはマルチチャネル信号で補完されてもよい。本稿は、帯域幅効率のよい仕方で、高い知覚的品質をもってIA信号を送信および／または記憶する技術的問題に対処する。特に、本稿は、IA信号を示す効率的なビットストリームを提供するという技術的問題に対処する。かかる技術的問題は、独立請求項によって解決される。好ましい例は、従属請求項に記載されている。
【課題を解決するための手段】
【０００７】
ある側面によれば、ビットストリームを生成する方法が記載される。ビットストリームは、没入的オーディオ信号のフレームのシーケンスについてのスーパーフレームのシーケンスを含む。本方法は、スーパーフレームの前記シーケンスについて繰り返し、没入的オーディオ信号から導出された一つまたは複数のダウンミックス・チャネル信号の一つまたは複数のフレームについての符号化されたオーディオ・データを、スーパーフレームのデータ・フィールドに挿入することを含む。さらに、本方法は、符号化されたオーディオ・データから没入的オーディオ信号の一つまたは複数のフレームを再構成するためのメタデータ、特に符号化されたメタデータをスーパーフレームのメタデータ・フィールドに挿入することを含む。
【０００８】
もう一つの側面によれば、ビットストリームから没入的オーディオ信号に関するデータを導出する方法が記載される。ビットストリームは、没入的オーディオ信号のフレームのシーケンスについてのスーパーフレームシーケンスを含む。本方法は、スーパーフレームの前記シーケンスについて繰り返し、スーパーフレームのデータ・フィールドから、没入的オーディオ信号から導出された一つまたは複数のダウンミックス・チャネル信号の一つまたは複数のフレームについての符号化されたオーディオ・データを抽出することを含む。さらに、本方法は、スーパーフレームのメタデータ・フィールドから、符号化されたオーディオ・データから没入的オーディオ信号の一つまたは複数のフレームを再構成するためのメタデータを抽出することを含む。
【０００９】
さらなる側面によれば、ソフトウェア・プログラムが記載される。ソフトウェア・プログラムは、プロセッサ上での実行のために、また、プロセッサ上で実行されたときに、本稿で概説される方法段階を実行するように適応されてもよい。
【００１０】
別の側面によれば、記憶媒体が記載される。記憶媒体は、プロセッサ上での実行のために、また、プロセッサ上で実行されたときに、本稿で概説される方法段階を実行するように適応されたソフトウェア・プログラムを含んでいてもよい。
（【００１１】以降は省略されています）

関連特許