特許ウォッチ

公開番号2024103487
公報種別公開特許公報(A)
公開日2024-08-01
出願番号2024065878,2022164642
出願日2024-04-16,2011-01-05
発明の名称サブバンドブロックに基づく高調波移調の改善
出願人ドルビー・インターナショナル・アーベー
代理人個人,個人,個人
主分類G10L 21/0388 20130101AFI20240725BHJP(楽器;音響)
要約【課題】改善したオーディオ品質を達成する高調波移調に基づく高周波数再構成(HFR)方法、サブバンド処理ユニット及びプログラムを提供する。
【解決手段】入力信号からタイムストレッチ及び/又は周波数移調された信号を生成するシステムは、入力信号から、位相及び大きさをそれぞれ有する複数の複素数値の分析サンプルを有する分析フィルタバンク101と、サブバンド移調係数Q及びサブバンドストレッチ係数Sを使用して分析サブバンド信号から合成サブバンド信号を判定するサブバンド処理ユニット102と、分析サブバンド信号からタイムストレッチ及び/又は周波数移調された信号を生成する合成フィルタバンク103と、を有する。サブバンド処理ユニットは、ブロックに基づく非線形処理を実行する。合成サブバンド信号のサンプルの大きさは、分析サブバンド信号の対応するサンプルの大きさ及び分析サブバンド信号の所定のサンプルから判定する。
【選択図】図1
特許請求の範囲【請求項１】
分析サブバンド信号から合成サブバンド信号を決定するように構成されたサブバンド処理ユニットであり、前記分析サブバンド信号は、異なる時点における複数の複素数値の分析サンプルを有し、各分析サンプルは、位相及び大きさを有し、前記分析サブバンド信号は、入力オーディオ信号の周波数帯域に関連するサブバンド処理ユニットであって、
繰り返し前記複数の複素数値の分析サンプルからL個の入力サンプルのフレームを導出し、ただし、フレーム長Lは、１より大きく、L個の入力サンプルの次のフレームを導出する前に、pのブロックホップサイズを前記複数の複素数値の分析サンプルに適用し、これにより、L個の入力サンプルの一式のフレームを生成するように構成されたブロック抽出器と、
フレームの処理されたサンプル毎に、対応する入力サンプルの位相と、整数位相変更係数によりスケーリングされた所定の入力サンプルの位相との和に基づいて、前記処理されたサンプルの位相を決定し、対応する入力サンプルの大きさに基づいて、前記処理されたサンプルの大きさを決定することにより、入力サンプルのフレームから処理されたサンプルのフレームを決定するように構成された非線形フレーム処理ユニットと、
処理されたサンプルの一式のフレームのサンプルを重複及び加算することにより、前記合成サブバンド信号を決定するように構成された重複及び加算ユニットと
を有し、
前記合成サブバンド信号は、前記入力オーディオ信号に関してタイムストレッチ及び／又は周波数移調された信号の周波数帯域に関連するサブバンド処理ユニット。
続きを表示（約 710 文字）【請求項２】
入力オーディオ信号に関してタイムストレッチ及び／又は周波数移調された信号の周波数帯域に関連する合成サブバンド信号を生成する方法であって、
前記入力オーディオ信号の周波数帯域に関連する分析サブバンド信号を提供するステップであり、前記分析サブバンド信号は、異なる時点における複数の複素数値の分析サンプルを有し、各分析サンプルは、位相及び大きさを有するステップと、
前記複数の複素数値の分析サンプルからL個の入力サンプルのフレームを導出するステップであり、フレーム長Lは、１より大きいステップと、
L個の入力サンプルの次のフレームを導出する前に、pのブロックホップサイズを前記複数の複素数値の分析サンプルに適用し、これにより、入力サンプルの一式のフレームを生成するステップと、
フレームの処理されたサンプル毎に、対応する入力サンプルの位相と、整数位相変更係数によりスケーリングされた所定の入力サンプルの位相との和に基づいて、前記処理されたサンプルの位相を決定し、対応する入力サンプルの大きさに基づいて、前記処理されたサンプルの大きさを決定することにより、入力サンプルのフレームから処理されたサンプルのフレームを決定するステップと、
処理されたサンプルの一式のフレームのサンプルを重複及び加算することにより、前記合成サブバンド信号を決定するステップと
を有する方法。
【請求項３】
プロセッサで実行され、コンピュータデバイスで実行された場合に、請求項２に記載の方法のステップを実行するように適合されたソフトウェアプログラムを有する記憶媒体。

発明の詳細な説明【技術分野】
【０００１】
この文献は、高周波数再構成（HFR：high frequency reconstruction）のための高調波移調方法（harmonic transposition method）を利用するオーディオソース符号化システムに関し、高調波歪みの生成が処理された信号に輝度を追加するデジタルエフェクトプロセッサ（例えば、励振器）に関し、スペクトル内容が維持されたままで信号持続時間が延長されたタイムストレッチャ（time stretcher）に関する。
続きを表示（約 3,800 文字）【背景技術】
【０００２】
WO98/57436では、移調の概念は、オーディオ信号の低周波数帯域から高周波数帯域を再生成する方法として確立されている。オーディオ符号化でこの概念を使用することにより、ビットレートの実質的な節約が得られることが可能になる。HFRに基づくオーディオ符号化システムでは、低帯域幅の信号は、コア波形符号化器（core waveform corder）に提示され、高周波数は、復号化器側での目的のスペクトル形状を記述した非常に低いビットレートの更なるサイド情報及び移調を使用して再生成される。コア符号化された信号の帯域幅が狭い低ビットレートでは、知覚的に快適な特性で高帯域を再生成することがますます重要になっている。WO98/57436に記載の高調波移調は、低いクロスオーバ周波数を有する状態で複雑な音楽データに対してうまく機能する。文献WO98/57436の内容を援用する。高調波移調の原理は、周波数ωの正弦波が周波数Q
φ
ωの正弦波にマッピングされる点にある。ただし、Q
φ
>1は、移調のオーダを規定する整数である。これに対して、単一サブバンド変調（SSB：single sideband modulation）に基づくHFRは、周波数ωの正弦波を周波数ω+Δωの正弦波にマッピングする。ただし、Δωは、固定の周波数シフトである。低い帯域幅のコア信号を前提として、典型的にはSSB移調から不調和音のアーティファクト（dissonant ringing artifact）が生じる。これらのアーティファクトのため、一般的には、高調波移調に基づくHFRがSSBに基づくHFRより好まれる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
改善したオーディオ品質を達成するために、高品質の高調波移調に基づくHFR方法は、典型的には、必要なオーディオ品質を達成するために、細かい周波数分解能及び高い程度のオーバーサンプリングを備えた複雑な変調フィルタバンクを使用する。細かい周波数分解能は、通常では、複数の正弦波の和として見なされてもよい異なるサブバンド信号の非線形な取り扱い又は処理から生じる不要な相互変調歪みを回避するために使用される。十分に狭いサブバンドでは（すなわち、十分に高い周波数分解能では）、高品質の高調波移調に基づくHFR方法は、各サブバンドにせいぜい１つの正弦波を有することを目指す。その結果、非線形処理によりもたらされる相互変調歪みは回避され得る。他方、フィルタバンク及び非線形処理によりもたらされ得る別の種類の歪みを回避するために、時間における高い程度のオーバーサンプリングが有利になる可能性がある。更に、サブバンド信号の非線形処理によりもたらされる過渡信号の前エコーを回避するために、周波数における或る程度のオーバーサンプリングが必要になる可能性がある。
【０００４】
更に、高調波移調に基づくHFR方法は、一般的には、２つのブロックのフィルタバンクに基づく処理を使用する。高調波移調に基づくHFRの第１の部分は、低周波数信号成分から高周波数信号成分を生成するために、高い周波数分解能並びに時間及び／又は周波数オーバーサンプリングを備えた分析／合成フィルタバンクを使用する。高調波移調に基づくHFRの第２の部分は、比較的粗い周波数分解能を備えたフィルタバンク（例えば、QMFフィルタバンク）を使用する。比較的粗い周波数分解能を備えたフィルタバンクは、所望のスペクトル形状を有する高周波数成分を生成するため、スペクトルサイド情報又はHFR情報を高周波数成分に適用するために（すなわち、いわゆるHFR処理を実行するために）使用される。フィルタバンクの第２の部分はまた、復号化されたオーディオ信号を提供するために、低周波数信号成分と変更された高周波数信号成分とを結合するために使用される。
【０００５】
一連の２つのブロックのフィルタバンクを使用し、高い周波数分解能並びに時間及び／周波数オーバーサンプリングを備えた分析／合成フィルタバンクを使用した結果として、高調波移調に基づくHFRの計算上の複雑性が比較的高くなる可能性がある。従って、低減した計算上の複雑性で、同時に様々な種類のオーディオ信号（例えば、過渡的な定常のオーディオ信号）の良好なオーディオ品質を提供する高調波移調に基づくHFR方法を提供する必要性が存在する。
【課題を解決するための手段】
【０００６】
一態様によれば、サブバンド信号の非線形処理によりもたらされる相互変調積（intermodulation product）を抑制するために、いわゆるサブバンドブロック（subband block）に基づく高調波移調が使用されてもよい。すなわち、高調波移調器のサブバンド信号のブロックに基づく非線形処理を実行することにより、サブバンド内の相互変調積が抑制又は低減され得る。その結果、比較的粗い周波数分解能及び／又は比較的低い程度のオーバーサンプリングを備えた分析／合成フィルタバンクを使用する高調波移調が適用されてもよい。一例として、QMFフィルタバンクが適用されてもよい。
【０００７】
サブバンドブロックに基づく高調波移調システムのブロックに基づく非線形処理は、複素サブバンドサンプル（complex subband sample）の時間ブロックの処理を有する。複素サブバンドサンプルのブロックの処理は、出力サブバンドサンプルを形成するための、複素サブバンドサンプルの共通の位相変調と、複数の変更されたサンプルの重ね合わせとを有してもよい。このブロックに基づく処理は、別法では複数の正弦波を有する入力サブバンド信号について生じる相互変調積を抑制又は低減する最終的な効果を有する。
【０００８】
比較的粗い周波数分解能を備えた分析／合成フィルタバンクがサブバンドブロックに基づく高調波移調に使用されてもよいという事実と、低減した程度のオーバーサンプリングが必要になり得るという事実とを鑑みて、ブロックに基づくサブバンド処理に基づく高調波移調は、高品質の高調波移調器（すなわち、細かい周波数分解能を有し、サンプルに基づく処理を使用する高調波移調器）と比べて低減した計算上の複雑性を有し得る。同時に、多くの種類のオーディオ信号で、サブバンドブロックに基づく高調波移調を使用した場合に達成され得るオーディオ品質が、サンプルに基づく高調波移調を使用した場合とほぼ同じであることが、実験的に示された。それにも拘らず、過渡的なオーディオ信号について得られたオーディオ信号について得られたオーディオ品質は、高品質のサンプルに基づく高調波移調器（すなわち、細かい周波数分解能を使用した高調波移調器）で実現され得るオーディオ品質に比べて、概して低減されることが観測された。過渡信号の低減した品質は、ブロック処理によりもたらされる時間不鮮明（time smearing）によるものであり得ることが特定された。
【０００９】
前述の品質の問題に加えて、サブバンドブロックに基づく高調波移調の複雑性は、最も簡単なSSBに基づくHFR方法の複雑性より依然として高い。これは、通常では、必要な帯域幅を合成するために、異なる移調オーダQ
φ
を備えた複数の信号が典型的なHFR用途で必要になるためである。典型的には、ブロックに基づく高調波移調の各移調オーダQ
φ
は、異なる分析及び合成フィルタバンクの枠組みを必要とする。
【００１０】
前述の分析を鑑みて、定常信号（stationary signal）の品質を維持しつつ、過渡的な音声信号のサブバンドブロックに基づく高調波移調の品質を改善する特定の必要性が存在する。以下に記載するように、品質改善は、非線形ブロック処理の固定の又は信号適応的な変更を用いて得られ得る。更に、サブバンドブロックに基づく高調波移調の複雑性を更に低減する必要性が存在する。以下に記載するように、計算上の複雑性の低減は、単一の分析及び合成フィルタバンクの対の枠組みで、複数のオーダのサブバンドブロックに基づく移調を効果的に実施することにより実現され得る。その結果、単一の分析／合成フィルタバンク（例えば、QMFフィルタバンク）が複数のオーダの高調波移調Q
φ
に使用され得る。更に、同じ分析／合成フィルタバンクの対は、高調波移調（すなわち、高調波移調に基づくHFRの第１の部分）及びHFR処理（すなわち、高調波移調に基づくHFRの第２の部分）に適用されてもよい。これにより、完全な高調波移調に基づくHFRは、単一の分析／合成フィルタバンクに依存してもよい。換言すると、後に高調波移調処理及びHFR処理に提示される複数の分析サブバンド信号を生成するために、唯一の分析フィルタバンクが入力側で使用され得る。最終的には、出力側で復号化された信号を生成するために、唯一の合成フィルタバンクが使用されてもよい。
（【００１１】以降は省略されています）

関連特許