特許ウォッチ

公開番号2025063024
公報種別公開特許公報(A)
公開日2025-04-15
出願番号2024210542,2022199629
出願日2024-12-03,2019-10-23
発明の名称オーディオ特性の解析に基づいてオーディオ再生設定を調節するための方法及び装置
出願人グレースノートインコーポレイテッド
代理人個人,個人,個人
主分類G10L 21/0364 20130101AFI20250408BHJP(楽器;音響)
要約【課題】オーディオ特性の解析に基づいてオーディオ再生設定を調節するための方法、コンピューティングシステム及び非一時的コンピュータ可読記憶媒体を提供する。
【解決手段】車両のメディアユニット106は、ニューラルネットワークへの、オーディオ信号のサンプルの表現を含む等化(EQ)照会を生成するためのEQモデル照会ジェネレータと、EQ照会に基づいて、ニューラルネットワークによって決定された複数のオーディオ再生設定にアクセスし、複数のオーディオ再生設定に基づいて、オーディオ信号に適用するためのEQフィルタ係数を決定するためのEQフィルタ設定アナライザと、第1の持続時間にオーディオ信号に前記フィルタ係数を適用するためのEQ調節インプリメンタと、を含む。
【選択図】図2
特許請求の範囲【請求項１】
コンピューティングシステムであって、
プロセッサと、
前記プロセッサにより実行されたときに、動作のセットの実行をさせるプログラム命令を記憶した非一時的コンピュータ可読記憶媒体と、を含み、
前記動作のセットは、
等化調節をオーディオ信号に適用して等化後オーディオ信号を生成することと、
前記等化後オーディオ信号の周波数表現における不規則性を検出することであって、前記不規則性はしきい値を超える周波数値のセット間の音量の変化に対応する、検出することと、
前記不規則性を低減するために前記周波数値のセットの第１の周波数値における音量を調整することと、
コンピューティングシステム。
続きを表示（約 1,500 文字）【請求項２】
前記周波数値のセットは、隣り合う周波数値を含む、請求項１に記載のコンピューティングシステム。
【請求項３】
前記動作のセットは、
前記オーディオ信号の前記周波数表現のセットにおける前記隣り合う周波数値を選択することと、
前記隣り合う周波数値に関連付けられた音量値を決定することと、
前記隣り合う周波数値の間の前記音量の変化を決定することと、
前記音量の変化の絶対値が前記しきい値を超えると決定したことに応じて、前記隣り合う周波数値のうちの前記第１の周波数値における音量を調整して、前記不規則性を低減することと、を含む、
請求項２に記載のコンピューティングシステム。
【請求項４】
前記音量の変化は、前記周波数値のセットにわたる音量の２次導関数の値により表される、
請求項１に記載のコンピューティングシステム。
【請求項５】
前記第１の周波数値は、前記周波数値のセットの中心値であり、前記動作のセットは、
前記第１の周波数値における前記音量を、前記周波数値のセットの他の周波数値における音量レベル間の中間点になるように調整すること、を含む、
請求項１に記載のコンピューティングシステム。
【請求項６】
前記不規則性は、前記オーディオ信号内に知覚可能なアーチファクトをもたらし得る、前記周波数値のセットにわたる音量値の短期ピークまたは短期ディップのうちの少なくとも一つに対応する、
請求項１に記載のコンピューティングシステム。
【請求項７】
前記しきい値は第１のしきい値であり、前記動作のセットは、
前記オーディオ信号の前記周波数表現における残りの不規則性の数が第２のしきい値を満たすまで、前記オーディオ信号の前記周波数表現における少なくとも一つの追加の不規則性を検出および低減することと、を含む、
請求項１に記載のコンピューティングシステム。
【請求項８】
プロセッサにより実行されたときに、動作のセットの実行をさせるプログラム命令を記憶した非一時的コンピュータ可読記憶媒体であって、
前記動作のセットは、
等化調節をオーディオ信号に適用して等化後オーディオ信号を生成することと、
前記等化後オーディオ信号の周波数表現における不規則性を検出することであって、前記不規則性はしきい値を超える周波数値の間の音量の変化に対応する、検出することと、
前記不規則性を低減するために前記周波数値の第１の周波数値における音量を調整することと、を含む、
非一時的コンピュータ可読記憶媒体。
【請求項９】
前記周波数値のセットは、隣り合う周波数値を含む、請求項８に記載の非一時的コンピュータ可読記憶媒体。
【請求項１０】
前記命令が実行されたときに、前記動作のセットは、
前記オーディオ信号の前記周波数表現における前記隣り合う周波数値を選択することと、
前記隣り合う周波数値に関連付けられた音量値を決定することと、
前記音量の変化を決定することと、
前記音量の変化の絶対値が前記しきい値を超えると決定したことに応じて、前記隣り合う周波数値のうちの前記第１の周波数値における音量を調整して、前記不規則性を低減することと、を含む、
請求項９に記載の非一時的コンピュータ可読記憶媒体。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
[0002]本開示は、一般にはオーディオ再生設定に関し、より詳細には、オーディオ特性の解析に基づいてオーディオ再生設定を調節するための方法及び装置に関する。
続きを表示（約 4,900 文字）【関連出願】
【０００２】
[0001]本特許は、２０１８年１０月２４日に出願された米国特許仮出願第６２／７５０，１１３号、２０１９年３月１１日に出願された米国特許仮出願第６２／８１６，８１３号、２０１９年３月１１日に出願された米国特許仮出願第６２／８１６，８２３号及び２０１９年５月２０日に出願された米国特許仮出願第６２／８５０，５２８号の特典を主張する出願から生じるものである。米国特許仮出願第６２／７５０，１１３号、米国特許仮出願第６２／８１６，８１３号、米国特許仮出願第６２／８１６，８２３号及び米国特許仮出願第６２／８５０，５２８号は、参照によりその全体が本明細書に組み込まれる。米国特許仮出願第６２／７５０，１１３号、米国特許仮出願第６２／８１６，８１３号、米国特許仮出願第６２／８１６，８２３号、米国特許仮出願第６２／８５０，５２８号の優先権が本明細書によって主張される。
【背景技術】
【０００３】
[0003]近年、様々な特性の多数のメディアが、ますます多くのチャネルを使用して配信されている。メディアは、従来のチャネル（たとえば、ラジオ、携帯電話など）を使用して、又はインターネット接続されたストリーミングデバイスを使用するなど、最近開発されたチャネルを使用して受信することができる。これらのチャネルが開発されるにつれて、複数のソースからのオーディオを処理し、出力することのできるシステムも開発されてきた。これらのオーディオ信号は様々な特性（たとえば、ダイナミックレンジ、音量など）を有することがある。たとえば、ある自動車メディアシステムは、コンパクトディスク（ＣＤ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）接続デバイス、ユニバーサルシリアルバス（ＵＳＢ）接続デバイス、Ｗｉ－Ｆｉ接続デバイス、補助入力及び他のソースからメディアを配信することができる。
【図面の簡単な説明】
【０００４】
メディア特性のリアルタイム解析に基づく動的再生設定調節のための本開示の教示に従って構築された例示的環境を示すブロック図である。
本開示の教示の少なくとも第１の実装、第２の実装及び第３の実装によるオーディオ等化のための技法を実施するための、図１のメディアユニットの追加の詳細を示すブロック図である。
第２の実装による、図１のコンテンツプロファイルエンジンの追加の詳細を示すブロック図である。
図１のオーディオ等化（ＥＱ）エンジンの追加の詳細を示すブロック図である。
第１の実装による、メディア特性のリアルタイム解析に基づいてメディア再生設定を動的に調節するように図１及び２のメディアユニットを実装するために実行することのできる例示的機械可読命令を表すフローチャートである。
等化設定をパーソナライズするように図１及び２のメディアユニット１０６を実装するために実行することのできる例示的機械可読命令を表すフローチャートである。
第１の実装による、ＥＱニューラルネットワークをトレーニングするようにオーディオＥＱエンジンを実装するために実行することのできる例示的機械可読命令を表すフローチャートである。
第１の実装による、オーディオ特性のリアルタイム解析に基づく動的オーディオ再生設定調節を受けたが、平滑化フィルタを用いていないオーディオ信号の第１のスペクトログラムである。
図８Ａの第１のスペクトログラムについての周波数値に対する平均利得値を示すプロットである。
第１の実装による、平滑化フィルタを含む、オーディオ特性のリアルタイム解析に基づく動的オーディオ再生設定調節を受けたオーディオ信号の第２のスペクトログラムである。
図９Ａの第２のスペクトログラムの周波数値に対する平均利得値を示すプロットである。
第２の実装による、再生デバイスにコンテンツのストリームと共にプロファイル情報を配信するように図１及び３のコンテンツプロファイルエンジンを実装するために実行することのできる例示的機械可読命令を表すフローチャートである。
第２の実装による、修正後再生設定を使用してコンテンツを再生するように図１及び２のメディアユニットを実装するために実行することのできる例示的機械可読命令を表すフローチャートである。
第２の実装による、コンテンツに関連付けられるプロファイル情報に基づいて再生設定を調節するように図１及び２のメディアユニットを実装するために実行することのできる例示的機械可読命令を表すフローチャートである。
本開示の教示による例示的コンテンツプロファイルのブロック図である。
本開示の教示による例示的コンテンツプロファイルのブロック図である。
第３の実装による、リアルタイムオーディオ等化を実施するように図１及び２のメディアユニットを実装するために実行することのできる機械可読命令を表すフローチャートである。
第３の実装による、等化曲線を平滑化するように図１及び２のメディアユニットを実装するために実行することのできる機械可読命令を表すフローチャートである。
第３の実装による、データセットを集めて、基準オーディオ信号に基づいてニューラルネットワークをトレーニング及び／又は確認するように図１及び４のオーディオＥＱエンジンを実装するために実行することのできる機械可読命令を表すフローチャートである。
図１５に関連して示され、説明される平滑化技法を実施する前の等化後オーディオ信号の例示的表現である。
第３の実装による、図１５に関連して示され、説明される平滑化技法を実施した後の図１７Ａのオーディオ信号の例示的表現である。
図１及び２のメディアユニットを実装するために図５、６、１１、１２、１４及び１５の命令を実行するように構築された例示的な第１の処理プラットフォームのブロック図である。
図１及び４のオーディオＥＱエンジンを実装するために図７及び１６の命令を実行するための例示的な第２の処理プラットフォーム構造のブロック図である。
図１及び３のコンテンツプロファイルエンジンを実装するために図１０の命令を実行するための例示的な第２の処理プラットフォーム構造のブロック図である。
【発明を実施するための形態】
【０００５】
[0027]一般には、図面（複数可）及び添付の明細書全体にわたって、同一又は類似の部分を参照するために同一の参照番号が使用される。
【０００６】
[0028]従来のメディア処理実装では、異なるメディアに関連付けられるオーディオ信号は、異なる特性を有することがある。たとえば、異なるオーディオトラックは、異なる周波数プロファイル（たとえば、オーディオ信号の異なる周波数での様々な音量レベル）、異なる全音量（たとえば、平均音量）、ピッチ、音色などを有することがある。たとえば、あるＣＤのメディアは、別のＣＤのメディアとは異なって記録及び／又はマスタリングされることがある。同様に、ストリーミングデバイスから検索されたメディアは、ＣＤなどの非圧縮媒体から検索されたメディアとは著しく異なるオーディオ特性を有することがあり、異なるアプリケーション及び／又はオーディオ圧縮レベルを介して同一のデバイスから検索されたメディアとも異なることがある。ユーザが様々な異なるソース並びに様々なジャンル及びタイプのメディアをますます聴取するにつれて、ソース間のオーディオ特性の違い、及び同一のソースのメディア間のオーディオ特性の違いが非常に顕著になることがあり、潜在的には聴取者にとっていらいらさせられるものとなることがある。オーディオ等化は、オーディオ信号中の異なる周波数の音量レベルを調節するために利用される技法である。たとえば、音楽のジャンル、音楽の年代、ユーザプリファレンス、オーディオ信号が出力される空間などに関連付けられるプリファレンスに基づいて、低周波数信号、中間周波数信号及び／又は高周波数信号の存在を増大させるために等化を実施することができる。しかしながら、最適な、又は好ましい等化設定は、提示されているメディアに応じて変動することがある。したがって、聴取者は、メディアの変化（たとえば、ジャンルの変化、年代の変化、トラックの全音量の変化など）に基づいて聴取体験を最適化するために等化設定を頻繁に調節する必要があることがある。
【０００７】
[0029]いくつかの従来の手法では、特定のジャンル又はタイプの音楽に関連付けられる等化設定を選択することができる。たとえば、車両のメディアユニットでは、ロック音楽の典型的特性に基づいて、大きく聞こえることをユーザが望むことがある周波数をブーストし、非常に強いことがある他の周波数をカットするように構成される「ロック」用のイコライザを聴取者が選択できることがある。しかしながら、そのようなジャンル特有の広く適用される等化設定は、異なる歌の間の著しい違いに対処することができず、さらに、ラジオ局及びオーディオストリーミングアプリケーションでしばしば生じる、ユーザが異なるジャンルの新しいトラックを開始するときに、ユーザが等化設定を手動で変更することを依然として必要とする。
【０００８】
[0030]第１の実装では、本明細書で開示される例示的方法、装置、システム及び製造品が、オーディオ信号のリアルタイム特性に基づいて、オーディオ再生設定（たとえば、等化設定、音量設定など）を動的に調節する。本明細書で開示される例は、オーディオ信号のサンプル（たとえば、３秒のサンプル）の周波数表現（たとえば、ＣＱＴ表現）を決定し、ニューラルネットワークに照会して、オーディオ信号に特有の等化設定を決定する。本明細書で開示されるいくつかの例では、等化設定は、複数のフィルタ（たとえば、低シェルフフィルタ、ピーキングフィルタ、高シェルフフィルタなど）を含み、そのうちの１つ又は複数を選択し、オーディオ信号に適用することができる。本明細書で開示される例示的方法、装置、システム及び製造品では、等化設定を出力するニューラルネットワークが、メディアに対して最適化される（たとえば、オーディオエンジニアによって決定される）複数の等化プロファイルに対応する基準メディアのライブラリを使用してトレーニングされる。
【０００９】
[0031]第１の実装では、本明細書で開示される例示的方法、装置、システム及び製造品が、定期的に（たとえば、毎秒）ニューラルネットワークに対して（たとえば、３秒のオーディオを含む）オーディオサンプルを照会して、プロファイルについての等化設定を決定し、経時的なオーディオ信号の変化（たとえば、異なる特性を有するトラックの異なる部分、曲の遷移、ジャンルの遷移など）を補償する。本明細書で開示される例示的方法、装置、システム及び製造品は、フィルタ設定間を遷移するために平滑化フィルタ（たとえば、指数平滑化アルゴリズム、一極巡回型平滑化フィルタなど）を利用して、等化設定の知覚できる変化を回避する。
【００１０】
[0032]さらに、前処理されたプロファイル情報を使用してコンテンツの再生を修正するための例示的方法、システム及び製造品が、第２の実装に従って説明される。例示的方法、システム及び製造品は、再生デバイスに配信すべきコンテンツのストリームにアクセスし、再生デバイスに配信すべきコンテンツのストリーム内の１つのコンテンツを特定し、特定した１つのコンテンツについてのプロファイルを決定し、決定したプロファイルを再生デバイスに配信する。これらの動作を自動的に（たとえば、リアルタイムに）オンザフライで実施することができる。
（【００１１】以降は省略されています）

関連特許