特許ウォッチ

公開番号2025063033
公報種別公開特許公報(A)
公開日2025-04-15
出願番号2024218152,2022506569
出願日2024-12-12,2020-07-30
発明の名称IVASビットストリームの符号化および復号化
出願人ドルビーラボラトリーズライセンシングコーポレイション
代理人個人,個人,個人,個人
主分類G10L 19/00 20130101AFI20250408BHJP(楽器;音響)
要約【課題】没入型音声オーディオサービス(IVAS)ビットストリームを符号化/復号化する方法を提供する。
【解決手段】符号化方法は、IVASビットストリームの共通ヘッダー(CH)セクション内の符号化モードインジケーターを符号化することと、ビットストリームの、CHセクションの後に続くツールヘッダー(TH)セクション内のモードヘッダー又はツールヘッダーを符号化することと、ビットストリームの、CHセクションの後に続くメタデータペイロード(MDP)セクション内のメタデータペイロードを符号化することと、ビットストリームの、CHセクションの後に続くEVSペイロード(EP)セクション内の拡張型音声サービス(EVS)ペイロードを符号化することと、符号化されたビットストリームを記憶またはストリーミングすることと、を含む。
【選択図】図4B
特許請求の範囲【請求項１】
オーディオ信号のビットストリームを復号化する方法であって、
前記ビットストリームのフレーム長を決定することと、
決定した前記フレーム長に基づいて没入型音声オーディオサービス（ＩＶＡＳ）ビットレート分布制御テーブルのテーブル行インデックスを求めることと、
前記テーブル行インデックスで前記ＩＶＡＳビットレート分布制御テーブルにアクセスして、ＩＶＡＳデコーダーを構成するためのチャネルの数および量子化ストラテジーインジケーターを特定することと、
没入型音声オーディオサービス（ＩＶＡＳ）デコーダーを使用して、ＩＶＡＳビットストリームの共通ヘッダー（ＣＨ）セクション内の符号化モードインジケーターまたは符号化ツールインジケーターを抽出して復号化することであって、前記符号化モードインジケーターまたは前記符号化ツールインジケーターは、前記オーディオ信号の符号化モードまたは符号化ツールを示すことと、
前記ＩＶＡＳデコーダーを使用して、前記ＩＶＡＳビットストリームのツールヘッダー（ＴＨ）セクション内のモードヘッダーまたはツールヘッダーを抽出して復号化することであって、前記ＴＨセクションは、前記ＩＶＡＳビットレート分布制御テーブルに関連するデータを含むことと、
前記ＩＶＡＳデコーダーを使用して、メタデータペイロードを前記ＩＶＡＳビットストリームのメタデータペイロード（ＭＤＰ）セクションから抽出して復号化することであって、前記メタデータペイロードは空間メタデータを含むことと、
量子化レベルインジケーターに基づいて量子化レベルのセットから量子化レベルを決定することと、
決定した前記量子化レベルに応じて前記空間メタデータを量子化解除することと、
前記ＩＶＡＳデコーダーを使用して、ペイロードを前記ビットストリームのペイロードセクションから抽出して復号化することであって、前記ペイロードは、前記オーディオ信号の各チャネルまたは各ダウンミックスチャネルの符号化ビットを含むことと、
前記符号化モードまたは符号化ツールインジケーター、前記モードヘッダーまたはツールヘッダー、量子化解除された前記空間メタデータ、および前記ペイロードに基づいて、デバイス上での再生のための前記オーディオ信号を再構成またはレンダリングすることと、
を含む、方法。
続きを表示（約 1,300 文字）【請求項２】
前記デバイスにおける前記オーディオ信号の再構成またはレンダリングに使用するための前記デバイスのオーディオデコーダーを、前記符号化モードインジケーターもしくは前記符号化ツールインジケーター、前記モードヘッダーもしくは前記ツールヘッダー、前記ペイロード、および前記メタデータペイロードに基づいて制御すること、または、前記符号化モードインジケーターもしくは前記符号化ツールインジケーター、前記モードヘッダーもしくは前記ツールヘッダー、前記ペイロード、および前記メタデータペイロードの表現を非一時的コンピューター可読媒体上に記憶することを更に含む、請求項１に記載の方法。
【請求項３】
前記ＣＨはマルチビットデータ構造体であり、前記マルチビットデータ構造体の１つの値は、空間再構成（ＳＰＡＲ）符号化モードに対応し、前記データ構造体の他の値は、他の符号化モードに対応する、請求項１に記載の方法。
【請求項４】
前記ＩＶＡＳビットレート分布制御テーブルの前記テーブル行インデックスを計算するためのインデックスオフセットをそれぞれ前記ＩＶＡＳビットストリームの前記ＴＨセクションに記憶することまたは前記ＴＨセクションから読み出すことを含む、請求項１に記載の方法。
【請求項５】
ビットストリーム符号化ストラテジーインジケーターと、
係数のセットの量子化および符号化された実部および虚部と、
を、それぞれ前記ＩＶＡＳビットストリームの前記ＭＤＰセクションに記憶することまたは前記ＭＤＰセクションから読み出すことを含む、請求項１に記載の方法。
【請求項６】
前記ＩＶＡＳビットストリームの前記ＭＤＰセクション内のビット数および前記ＩＶＡＳビットストリームの前記ペイロードセクションのビット数は、ＩＶＡＳビットレートバジェットにおける全ての利用可能なビットの利用を確保するために、前記ＩＶＡＳビットレート分布制御テーブルおよびビットレート分布アルゴリズムに従って変化する、請求項１に記載の方法。
【請求項７】
各符号化チャネルまたは各ダウンミックスチャネルのビットレートは、符号化に利用可能なビットの総数、前記ＩＶＡＳビットレート分布制御テーブルおよびビットレート分布アルゴリズムによって求められる、請求項１に記載の方法。
【請求項８】
前記係数のセットは、予測係数、ダイレクト係数、対角実数係数および下三角複素係数を含む、請求項５に記載の方法。
【請求項９】
前記予測係数は、エントロピー符号化に基づく可変ビット長であり、前記ダイレクト係数、前記対角実数係数および下三角複素係数は、ダウンミックス構成およびエントロピー符号化に基づく可変ビット長である、請求項８に記載の方法。
【請求項１０】
前記量子化ストラテジーインジケーターは、前記量子化ストラテジーを示すマルチビットデータ構造体である、請求項１に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
［関連出願の相互参照］
本出願は、２０１９年８月１日に出願された米国仮出願第６２／８８１，５４１号、２０１９年１０月３０日に出願された米国仮出願第６２／９２７，８９４号、２０２０年６月１１日に出願された米国仮出願第６３／０３７，７２１号、および２０２０年７月２８日に出願された米国仮出願第６３／０５７，６６６号の優先権を主張する。これらの米国仮出願の全体の開示内容は、本願において参考のため援用する。
続きを表示（約 3,000 文字）【０００２】
本開示は、包括的には、オーディオビットストリームの符号化および復号化に関する。
【背景技術】
【０００３】
音声およびビデオのエンコーダー／デコーダー（「コーデック」）の規格開発は、近年、没入型音声オーディオサービス（ＩＶＡＳ：immersive voice and audio service）の
コーデックの開発に焦点を当てている。ＩＶＡＳは、様々なオーディオサービス能力をサポートすることが期待されている。これらのオーディオサービス能力には、モノラルからステレオへのアップミックス（upmixing：アップミキシング）ならびに完全没入型オーディオ符号化、復号化およびレンダリングが含まれるが、これらに限定されるものではない。ＩＶＡＳは、広範囲のデバイス、エンドポイント、およびネットワークノードによってサポートされることが意図されている。これらの広範囲のデバイス、エンドポイント、およびネットワークには、モバイルフォンおよびスマートフォン、電子タブレット、パーソナルコンピューター、会議電話、会議室、仮想現実（ＶＲ：virtual reality）デバイス
および拡張現実（ＡＲ：augmented reality）デバイス、ホームシアターデバイス、なら
びに他の適したデバイスが含まれるが、これらに限定されるものではない。これらのデバイス、エンドポイントおよびネットワークノードは、音のキャプチャーおよびレンダリング用の様々な音響インターフェースを有することができる。
【発明の概要】
【０００４】
ＩＶＡＳビットストリームを符号化および復号化する実施態様が開示される。
【０００５】
いくつかの実施態様において、オーディオ信号のビットストリームを生成する方法は、没入型音声オーディオサービス（ＩＶＡＳ）エンコーダーを使用して、符号化モードインジケーターまたは符号化ツールインジケーターを求めることであって、前記符号化モードインジケーターまたは前記符号化ツールインジケーターは、前記オーディオ信号の符号化モードまたは符号化ツールを示すことと、前記ＩＶＡＳエンコーダーを使用して、前記符号化モードインジケーターまたは前記符号化ツールインジケーターをＩＶＡＳビットストリームの共通ヘッダー（ＣＨ）セクション内に符号化することと、前記ＩＶＡＳエンコーダーを使用して、モードヘッダーまたはツールヘッダーを求めることと、前記ＩＶＡＳエンコーダーを使用して、前記モードヘッダーまたは前記ツールヘッダーを前記ＩＶＡＳビットストリームのツールヘッダー（ＴＨ）セクション内に符号化することであって、該ＴＨセクションは前記ＣＨセクションの後に続くことと、前記ＩＶＡＳエンコーダーを使用して、空間メタデータを含むメタデータペイロードを求めることと、前記ＩＶＡＳエンコーダーを使用して、前記メタデータペイロードを前記ＩＶＡＳビットストリームのメタデータペイロード（ＭＤＰ）セクション内に符号化することであって、該ＭＤＰセクションは、前記ＣＨセクションの後に続くことと、前記ＩＶＡＳエンコーダーを使用して、拡張型音声サービス（ＥＶＳ）ペイロードを求めることであって、該ＥＶＳペイロードは、前記オーディオ信号の各チャネルまたは各ダウンミックスチャネルのＥＶＳ符号化ビットを含むことと、前記ＩＶＡＳエンコーダーを使用して、前記ＥＶＳペイロードを前記ＩＶＡ
ＳビットストリームのＥＶＳペイロード（ＥＰ）セクション内に符号化することであって、該ＥＰセクションは前記ＣＨセクションの後に続くこととを含む。
【０００６】
いくつかの実施態様において、前記ＩＶＡＳビットストリームは非一時的コンピューター可読媒体上に記憶される。他の実施態様において、前記ＩＶＡＳビットストリームは下流デバイスにストリーミングされ、前記符号化モードまたは前記符号化ツールインジケーター、前記モードヘッダーまたは前記ツールヘッダー、前記メタデータペイロードおよび前記ＥＶＳペイロードは、前記下流デバイスまたは別のデバイスにおける前記オーディオ信号の再構成に使用するために、前記ＩＶＡＳビットストリームの前記ＣＨセクション、前記ＴＨセクション、前記ＭＤＰセクションおよび前記ＥＰセクションからそれぞれ抽出されて復号化される。
【０００７】
いくつかの実施態様において、オーディオ信号のビットストリームを復号化する方法は、没入型音声オーディオサービス（ＩＶＡＳ）デコーダーを使用して、ＩＶＡＳビットストリームの共通ヘッダー（ＣＨ）セクション内の符号化モードインジケーターまたは符号化ツールインジケーターを抽出して復号化することであって、前記符号化モードインジケーターまたは前記符号化ツールインジケーターは、前記オーディオ信号の符号化モードまたは符号化ツールを示すことと、前記ＩＶＡＳデコーダーを使用して、前記ＩＶＡＳビットストリームの前記ツールヘッダー（ＴＨ）セクション内のモードヘッダーまたはツールヘッダーを抽出して復号化することであって、該ＴＨセクションは前記ＣＨセクションの後に続くことと、前記ＩＶＡＳデコーダーを使用して、メタデータペイロードを前記ＩＶＡＳビットストリームのメタデータペイロード（ＭＤＰ）セクションから抽出して復号化することであって、該ＭＤＰセクションは前記ＣＨセクションの後に続き、前記メタデータペイロードは空間メタデータを含むことと、前記ＩＶＡＳデコーダーを使用して、拡張型音声サービス（ＥＶＳ）ペイロードを前記ＩＶＡＳビットストリームのＥＶＳペイロード（ＥＰ）セクションから抽出して復号化することであって、該ＥＰセクションは前記ＣＨセクションの後に続き、前記ＥＶＳペイロードは、前記オーディオ信号の各チャネルまたは各ダウンミックスチャネルのＥＶＳ符号化ビットを含むこととを含む。
【０００８】
いくつかの実施態様において、下流デバイスまたは別のデバイスにおける前記オーディオ信号の再構成に使用するための該下流デバイスのオーディオデコーダーが、前記符号化モードインジケーターもしくは前記符号化ツールインジケーター、前記モードヘッダーもしくは前記ツールヘッダー、前記ＥＶＳペイロード、および前記メタデータペイロードに基づいて制御される。他の実施態様において、前記符号化モードインジケーターもしくは前記符号化ツールインジケーター、前記モードヘッダーもしくは前記ツールヘッダー、前記ＥＶＳペイロード、および前記メタデータペイロードの表現(representation)が非一時的コンピューター可読媒体上に記憶する。
【０００９】
いくつかの実施態様において、各ＥＶＳ符号化チャネルまたは各ダウンミックスチャネルのビットレートは、ＥＶＳの利用可能な全ビット、ＳＰＡＲビットレート分布制御テーブルおよびビットレート分布アルゴリズムによって求められる。
【００１０】
いくつかの実施態様において、前記ＣＨはマルチビットデータ構造体であり、該マルチビットデータ構造体の１つの値は、空間再構成（ＳＰＡＲ）符号化モードに対応し、該データ構造体の他の値は、他の符号化モードに対応する。
（【００１１】以降は省略されています）

関連特許