特許ウォッチ

公開番号2024129003
公報種別公開特許公報(A)
公開日2024-09-26
出願番号2024076527,2023522981
出願日2024-05-09,2021-10-15
発明の名称フィルタバンク領域でオーディオサンプルを処理するための生成ニューラルネットワークモデル
出願人ドルビー・インターナショナル・アーベー
代理人個人,個人,個人
主分類G10L 25/30 20130101AFI20240918BHJP(楽器;音響)
要約【課題】本開示は、フィルタバンク領域でサンプルを処理するための生成ニューラルネットワークモデルに関する。
【解決手段】オーディオ信号の複数の現在フィルタバンクサンプルの分布を自己回帰的に生成するための生成モデルを実装するニューラルネットワークシステムが提供され、現在サンプルは現在時間スロットに対応し、各現在サンプルはフィルタバンクのチャネルに対応する。システムには、最上位層から最下位層へと順序付けられた複数のニューラルネットワーク処理層の階層であって、各層は、以前のフィルタバンクサンプルに基づいて条件付け情報を生成するようにトレーニングされ、少なくとも最上位層を除く各層については、階層の上位層の条件付け情報に更に基づいてトレーニングされる、階層と、1つ以上の以前の時間スロットの以前のサンプルと最低処理層の条件付け情報に基づいて確率分布を生成するようにトレーニングされた出力段と、が含まれる。
【選択図】図3B
特許請求の範囲【請求項１】
オーディオ信号のフィルタバンク表現のための複数の現在サンプル（x
m
）の確率分布を自己回帰的に生成するためのニューラルネットワークシステムであって、前記現在サンプルは現在時間スロット（m）に対応し、各現在サンプルはフィルタバンクの各々のチャネルに対応し、
最上位処理層（T
N-１
）から最下位処理層（T
０
）まで順序付けられた複数のニューラルネットワーク処理層（T
N-１
,T
N-２
,…,T
０
）の階層であって、各処理層（T
j
）は、前記フィルタバンク表現のための以前のサンプル（x
<m
）と、少なくとも最上位層を除く各処理層については、前記階層の上位の処理層（T
j+１
）によって生成された条件付け情報（c
j+１
）に更に基づいて、条件付け情報（c
j
）を生成するようにトレーニングされている、階層と、
前記フィルタバンク表現の１つ以上の以前の時間スロット（<m）に対応する以前のサンプル（x
<m
）と、最低処理層から生成された条件付け情報に基づいて確率分布を生成するようにトレーニングされた出力段であって、前記出力段は前記最下位処理層を含み、前記最下位処理層は複数の連続して実行されるサブレイヤに細分化され、各サブレイヤは前記フィルタバンクのチャネルの真部分集合に対応する１つ以上の現在サンプルの確率分布を生成するようにトレーニングされており、少なくとも最初に実行されたサブレイヤを除くすべてのサブレイヤについて、各サブレイヤは、１つ以上の以前に実行されたサブレイヤによって生成された現在サンプルに更に基づいて前記確率分布を生成するようにトレーニングされている、出力段と、
を含むシステム。

発明の詳細な説明【技術分野】
【０００１】
［関連出願］
本願は、以下の優先権出願：２０２０年１０月１６日に出願された米国仮出願６３／０９２,７５４（参照番号：D２００３７USP１）及び２０２０年１１月１２日に出願された欧州出願２０２０７２７２.４（参照番号：D２００３７EP）の優先権を主張する。
続きを表示（約 1,300 文字）【０００２】
［技術分野］
本開示は、機械学習とオーディオ信号処理の共通部分に関するものである。特に、本開示は、フィルタバンク領域でサンプルを処理するための生成ニューラルネットワークモデルに関するものである。
【背景技術】
【０００３】
生成ニューラルネットワークモデルは、トレーニングデータセットの真の分布を少なくとも近似的に学習するようにトレーニングされる場合があり、そのような学習された分布からのサンプリングによってモデルが新しいデータを生成する可能性がある。このように、生成ニューラルネットワークモデルは、音声とオーディオの合成、オーディオコーディング及びオーディオ拡張の両方を含む様々な信号合成スキームで有用であることが証明されている。このような生成モデルは、時間領域又は信号の周波数表現の振幅スペクトル（すなわちスペクトログラム上で）のいずれかで動作することが知られている。
【０００４】
しかし、時間領域で動作する生成モデル（WaveNetやsampleRNNなど）は、等化に使用されるツールなど、周波数領域インターフェースを持つ他の信号処理ツールとの統合を常に容易にするとは限らず、多くの場合、並列化の可能性が制限される場合のある回帰ネットワークを使用する。さらに、スペクトログラム（例えば、MelNet）で動作する最新の生成モデルは、合成中にオーディオ信号の位相を再構成せず、代わりに、オーディオを適切に再構成するために、後処理として位相再構成アルゴリズム（例えば、Griffin-Lim）に頼っている。
【０００５】
上記を考慮して、オーディオ信号処理のための改善された生成モデルが必要である。
【発明の概要】
【０００６】
本開示は、上記の特定されたニーズを少なくとも部分的に満足させようとするものである。
【０００７】
本開示の第１態様によれば、オーディオ信号のフィルタバンク表現について、複数の現在サンプルの確率分布を自己回帰的に生成するためのニューラルネットワークシステム（以下「システム」）が提供される。システムは、例えば、コンピュータ実装システムであってもよい。
【０００８】
本開示に関する限り、現在サンプルは、現在時間スロットに対応し、各現在サンプルは、フィルタバンクの各々のチャネルに対応する。
【０００９】
システムは、最上位層から最下位層に順序付けられた複数のニューラルネットワーク処理層（以下、「層」又は「tier」）の階層を含み、各層は、フィルタバンク表現のための以前のサンプルと、最上位層以外の少なくとも各処理層については、階層の上位の（例えば、層の階層の直上にある）処理層によって生成された条件付け情報に基づいて、条件付け情報を生成するようにトレーニングされている。
【００１０】
システムはさらに、フィルタバンク表現のための１つ以上の以前の時間スロットに対応する以前のサンプルと、最低処理層から生成された条件付け情報に基づいて確率分布を生成するようにトレーニングされた出力段を含む。
（【００１１】以降は省略されています）

関連特許