特許ウォッチ

公開番号2025026831
公報種別公開特許公報(A)
公開日2025-02-26
出願番号2024165835,2023558124
出願日2024-09-25,2022-03-17
発明の名称アーチファクトおよび歪みに対するディープラーニングベースの音声強調のためのロバスト性/性能改良
出願人ドルビーラボラトリーズライセンシングコーポレイション
代理人弁理士法人ITOH
主分類G10L 21/0208 20130101AFI20250218BHJP(楽器;音響)
要約【課題】オーディオ信号を処理する方法並びに対応する装置、コンピュータプログラムおよびコンピュータ可読記憶媒体を提供する。
【解決手段】方法1000は、オーディオ信号の第1成分に強調を適用し、かつ/あるいは、第1成分に対してオーディオ信号の第2成分に抑制を適用するステップS1010と、出力にディープラーニングベースのモデルを適用することによってステップS1010の出力を修正しステップS1010によってオーディオ信号に導入されたアーチファクト及び/又は歪みを除去し、かつ、オーディオ信号の第1成分を知覚的に改良するステップS1020と、を含む。
【選択図】図10
特許請求の範囲【請求項１】
オーディオ信号を処理する方法であって、
前記オーディオ信号の第１成分に強調を適用し、かつ／あるいは、前記第１成分に対して前記オーディオ信号の第２成分に抑制を適用する、第１ステップと、
前記オーディオ信号の前記第１成分を知覚的に改良するために、前記第１ステップの出力にディープラーニングベースのモデルを適用することによって、前記第１ステップの出力を修正する第２ステップと、
を含む、方法。
続きを表示（約 1,500 文字）【請求項２】
前記第１ステップは、前記オーディオ信号に音声強調を適用するステップである、
請求項１に記載の方法。
【請求項３】
前記第１ステップの出力は、波形ドメインのオーディオ信号であり、前記第１成分が強調されており、かつ／あるいは、前記第１成分に対して前記第２成分が抑制されている、
請求項１または２に記載の方法。
【請求項４】
前記第１ステップの出力は、個々のビンまたは帯域について重み付け係数を示している変換ドメインのマスクであり、かつ、前記オーディオ信号に前記マスクを適用することは、前記第１成分の強調、及び／又は、前記第１成分に対して前記第２成分の抑制を結果として生じる、
請求項１または２に記載の方法。
【請求項５】
第２ステップは、前記第１ステップの出力に係る複数のインスタンスを受信し、
前記インスタンスそれぞれは、前記オーディオ信号に係る複数のフレームのそれぞれ１つに対応し、かつ、
前記第２ステップは、前記出力に係る複数のインスタンスに機械学習ベースのモデルを一緒に適用し、前記オーディオ信号に係る複数のフレームのうちの１つ以上において前記オーディオ信号の前記第１成分を知覚的に改良する、
請求項１乃至４いずれか一項に記載の方法。
【請求項６】
前記第２ステップは、前記オーディオ信号の所与のフレームについて、前記第１ステップの出力のインスタンスのシーケンスを受信し、
前記インスタンスそれぞれは、前記オーディオ信号のフレームのシーケンス内のそれぞれ１つに対応しており、
前記フレームのシーケンスは、前記所与のフレームを含み、かつ、
前記第２ステップは、前記所与のフレームにおける前記オーディオ信号の前記第１成分を知覚的に改良するために、前記出力のインスタンスのシーケンスに前記機械学習ベースのモデルを一緒に適用する、
請求項５に記載の方法。
【請求項７】
前記第２ステップの前記ディープラーニングベースのモデルは、エンコーダステージおよびデコーダステージを有する自動エンコーダアーキテクチャを実装し、
各ステージは、それぞれの複数の連続したフィルタ層を備え、
前記エンコーダステージは、前記エンコーダステージへの入力を、潜在空間表現にマッピングし、かつ、
前記デコーダステージは、前記エンコーダステージによって出力された前記潜在空間表現を、前記エンコーダステージへの前記入力と同じフォーマットを有する前記デコーダステージの出力にマッピングする、
請求項１乃至６いずれか一項に記載の方法。
【請求項８】
前記第２ステップの前記ディープラーニングベースのモデルは、複数の連続した層を有するリカレントニューラルネットワークアーキテクチャを実装し、
前記複数の層は、長短期記憶タイプ、または、ゲート付き再帰ユニットタイプの層である、
請求項１乃至６いずれか一項に記載の方法。
【請求項９】
前記ディープラーニングベースのモデルは、複数の連続した畳み込み層を有する生成モデルアーキテクチャを実装する、
請求項１乃至６いずれか一項に記載の方法。
【請求項１０】
前記畳み込み層は、拡張畳み込み層であり、任意的に、スキップ接続を含んでいる、
請求項９に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、オーディオ処理の分野に関する。特に、本開示は、ディープラーニング（deep-learning）モデルまたはシステムを使用するオーディオ強調(例えば、音声強調（audio enhancement）)のための技法に関し、そして、オーディオ強調についてディープラーニングモデルまたはシステムをトレーニングするためのフレームワークに関する。
続きを表示（約 2,500 文字）【０００２】
関連出願の相互参照
本出願は、2021年3月22日に出願された国際出願PCT/CN2021/082199、2021年6月8日に出願された欧州特許出願第２1178178.6号、および、2021年4月28日に出願された米国仮特許出願第63/180,705号について優先権を主張するものであり、これらの出願それぞれは、参照により、その全体が本明細書に組み込まれている。
【背景技術】
【０００３】
音声強調は、雑音の多い混合信号（noisy mixture signal）から音声信号(音声成分（speech component）)を強調または分離することを目的とする。多数の音声強調手法が、過去数十年にわたり開発されてきた。近年、音声強調は、教師あり学習タスク（supervised learning task）として定式化されており、ここでは、クリーンな音声およびバックグラウンドノイズの識別パターンがトレーニングデータから学習される。しかしながら、これらのアルゴリズムは、異なる音響環境（acoustic environment）を取り扱うときに、全てが、異なる処理歪み（processing distortion）にわずらわされる。典型的な処理歪みは、ターゲット損失、干渉、および、アルゴリズムアーチファクトを含んでいる。
【０００４】
従って、アーチファクト及び／又は歪みを低減することができる、音声強調を含む、オーディオ処理に係る改良されたディープラーニングベースの方法に対する必要性が存在している。
【発明の概要】
【０００５】
上記に鑑みて、本開示は、オーディオ信号を処理する方法、並びに、対応する装置、コンピュータプログラム、および、コンピュータ可読記憶媒体を提供し、それぞれの請求項が特徴を有している。
【０００６】
本開示の一態様に従って、オーディオ信号を処理する方法が提供される。本方法は、前記オーディオ信号の第１成分に強調を適用し、かつ／あるいは、前記第１成分に対して前記オーディオ信号の第２成分に抑制を適用する、第１ステップを含み得る。第１ステップは、オーディオ信号の任意の残差成分から第１成分を少なくとも部分的に分離するか、または、そうするためのマスクを生成する、強調ステップまたは分離ステップであってよい。かくして、第１ステップは、また、ノイズ除去動作を実行すると言うこともできる。第１成分の強調は、第２成分に対するものであり得る。第１成分は、例えば、音声(音声成分)であり得る。第２成分は、例えば、ノイズ(雑音成分)であってよく、バックグラウンド(背景成分)であり得る。本方法は、さらに、前記第１ステップの出力にディープラーニングベースのモデルを適用することによって、前記第１ステップの出力を修正する第２ステップを含み得る。第２ステップは、前記第１ステップによって前記オーディオ信号に導入されたアーチファクト及び／又は歪みを除去し、かつ、前記オーディオ信号の前記第１成分を知覚的に改良する。第２ステップは、修正ステップであってよく、または、改良ステップであってもよい。それは、第１ステップによって導入される歪み及び／又はアーチファクトの除去をもたらし得る。第２ステップは、第１ステップの出力に応じて、強調された第１成分及び／又は抑制された第２成分を有する波形信号に対して動作してよく、または、マスクに対して動作し得る。
【０００７】
上記で説明されるように構成されて、提案される方法は、音声強調ステップ(例えば、ディープラーニングベースの音声強調ステップ)といった、オーディオ処理ステップによって導入される、アーチファクトおよび歪みを除去することができる。これは、手近なオーディオ処理から生じるアーチファクトおよび歪みを除去するように、特定的にトレーニングすることができる、ディープラーニングベースのモデルによって達成される。
【０００８】
いくつかの実施形態において、前記第１ステップは、前記オーディオ信号に音声強調を適用するステップであり得る。従って、第１成分は音声成分に対応することができ、そして、第２成分は、ノイズ、バックグラウンド、または残差成分に対応することができる。
【０００９】
いくつかの実施形態において、第１ステップの出力は、波形ドメインのオーディオ信号(例えば、波形信号)であり、そこでは、前記第１成分が強調され、かつ／あるいは、前記第１成分に対して前記第２成分が抑制されている。かくして、第１ステップは、時間ドメイン(波形ドメイン)オーディオ信号を受信し、時間ドメインオーディオ信号を(直接)修正することによって、第１成分の強調及び／又は第２成分の抑制を適用することができる。
【００１０】
いくつかの実施形態において、前記第１ステップの出力は、個々のビンまたは帯域について重み付け係数を示している変換ドメインのマスクであり得る。変換ドメイン(変換された領域)は、例えば、周波数ドメインまたはスペクトルドメインであり得る。(変換ドメイン)ビンは、時間－周波数ビンであってよい。マスクは、例えば、振幅マスク、位相感応マスク、複素マスク、バイナリマスク、等であってよい。さらに、(変換ドメイン)オーディオ信号に前記マスクを適用することは、前記第１成分の強調、及び／又は、前記第１成分に対して前記第２成分の抑制を結果として生じ得る。具体的には、第１成分の強調及び／又は第２成分の抑制は、ノイズまたはバックグラウンドに関連する時間周波数タイルを除去または抑制することによって、変換ドメインオーディオ信号にマスクを適用することにより達成され得る。本方法は、オーディオ信号を変換ドメインに変換する(初期)ステップ、及び／又は、逆変換を実施する(最終)ステップを任意的に含み得ることが理解される。
（【００１１】以降は省略されています）

関連特許