特許ウォッチ

公開番号2025133686
公報種別公開特許公報(A)
公開日2025-09-11
出願番号2024214122
出願日2024-12-09
発明の名称2つのオーディオ信号の間のアラインメントの自動検出
出願人ディズニーエンタープライジーズインコーポレイテッド,イーティーエイチ・チューリッヒ(アイトゲネジュッシュ・テヒニシュア・ホーホシューレ・チューリッヒ),ETH Zuerich (Eidgenoessische Technische Hochschule Zuerich)
代理人弁理士法人鈴榮特許綜合事務所
主分類G10L 25/51 20130101AFI20250904BHJP(楽器;音響)
要約【課題】2つのオーディオ信号間の時間的オフセットを検出することで、同期化問題に対処する。
【解決手段】基準オーディオ同期化システム100は、第1のオーディオ信号の第1のサンプルを分析し、空間内の第1の表現を決定する予測ネットワーク分岐#1と、第2のオーディオ信号の第2のサンプルが分析し、空間内の複数の第2の表現を決定する予測ネットワーク分岐#2と、を含む予測ネットワーク及び第1の表現と複数の第2の表現とを比較し、第1のサンプルと第2のサンプルとの間のオフセットを出力するオフセット分析器を備える。
【選択図】図1
特許請求の範囲【請求項１】
空間内の第１の表現を決定するために、第１のオーディオ信号の第１のサンプルを分析することと、
前記空間内の複数の第２の表現を決定するために、第２のオーディオ信号のための複数の第２のサンプルを分析することと、
第２の表現を選択するために、前記空間内の前記第１の表現と前記複数の第２の表現との間の、前記空間内の距離を比較することと、
前記第１のオーディオ信号内の前記第１のサンプルと、前記第２の表現に関連した前記第２のオーディオ信号内の第２のサンプルとの間のオフセットを決定することと、
前記オフセットを出力することと
を備える、方法。
続きを表示（約 1,200 文字）【請求項２】
前記第１のサンプルを分析すること、および前記複数の第２のサンプルを分析することは、
モデルの第１の分岐を用いて、前記第１のサンプルを分析することと、
前記モデルの第２の分岐を用いて、前記複数の第２のサンプルを分析することと
を備える、請求項１に記載の方法。
【請求項３】
前記第１の分岐および前記第２の分岐は、前記空間内の、それぞれ第１の表現と第２の表現とを生成するために、同じロジックを含む、請求項２に記載の方法。
【請求項４】
前記第１の分岐は、第１の表現を生成するように訓練される第１のパラメータを備え、
前記第２の分岐は、第２の表現を生成するように訓練される第２のパラメータを備える、
請求項３に記載の方法。
【請求項５】
前記第１のサンプルに基づいて、時間期間を選択することと、
前記時間期間に基づいて、前記複数の第２のサンプルを選択することと
をさらに備える、請求項１に記載の方法。
【請求項６】
前記第１の表現と、前記複数の第２の表現とを比較することは、
前記第１の表現と、前記複数の第２の表現内の第２の表現との間の、前記空間内の距離を比較することと、
それぞれの前記距離に基づいて、前記複数の第２の表現から第２の表現を選択することと
を備える、請求項１に記載の方法。
【請求項７】
第２のサンプルを選択することは、
前記空間内の前記第１の表現までの最小距離を有する前記第２の表現に基づいて、前記複数の第２の表現から前記第２の表現を選択すること
を備える、請求項６に記載の方法。
【請求項８】
前記第１のサンプルは、前記第１のオーディオ信号内の第１のサンプルの第１のシーケンスからのものであり、
前記第２のサンプルは、前記第２のオーディオ信号内の第２のサンプルの第２のシーケンスからのものである、
請求項１に記載の方法。
【請求項９】
それぞれの第２のサンプルまでの前記第１のサンプルに対するオフセットを決定することと、
前記第１のサンプルに対する前記オフセットに基づいて、前記第１のシーケンスに対するオフセットを決定することと
をさらに備える、請求項８に記載の方法。
【請求項１０】
第１の訓練オーディオサンプルと第２の訓練オーディオサンプルとのペア含む訓練データセットを決定することと、
第１の訓練表現と第２の訓練表現とを出力するために、モデルを用いて前記ペアを分析することと、
前記ペアに関連したラベルと、それぞれの第１の訓練表現と第２の訓練表現との間の距離とに基づいて、前記モデルのパラメータを調整することと
をさらに備える、請求項１に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
関連出願の相互参照
[0001]３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）に従って、本出願は、すべての目的に対してその全体が参照により本明細書に組み込まれている、「ＡｕｔｏｍａｔｉｃＤｅｔｅｃｔｉｏｎｏｆＡｌｉｇｎｍｅｎｔＢｅｔｗｅｅｎＴｗｏＡｕｄｉｏＳｉｇｎａｌｓ」という名称の、２０２４年３月１日に出願された、米国特許仮出願第６３／５６０，４１９号の出願日の恩恵を有し、権利を主張するものである。
続きを表示（約 3,200 文字）【背景技術】
【０００２】
[0002]オーディオ品質管理は、企業にとって大部分は手作業のプロセスである。オーディオエラーは、コンテンツパイプライン内の多様な場所で生じ、コンテンツマスタリングからコンテンツ配給までずっと拡がり得る。オーディオとビデオとの不整列は、今日のメディア消費での最も気を散らす品質欠陥の１つである。オーディオとビデオでのわずかなオフセットであっても、視聴者には顕著になり得る。映画産業では、オーディオとビデオとの同期化問題は、視聴者の離脱への主な促進要因になり得る。媒体同期化問題は、無数の理由に対して生じるが、これらのエラーをより被りやすい１つのエリアは、ダビングである。いくつかの例では、ダビングされた媒体の視覚構成要素は不変であるが、オーディオトラックは、原語の翻訳された表現によって置き換えられる。新たなオーディオトラックを作り出し、挿入することは、結果として、オリジナルのオーディオトラックとの非同期化を生じ得る。ダビングされたコンテンツが人気において一貫して成長するのに従って、識別されない同期エラーの問題が、ますます広がっている。
【０００３】
[0003]ダビングされた媒体の品質管理は、ほとんど手作業のプロセスになり得る。品質チェックは、オーディオにおける差異に対して聞くことを専門とするユーザ、または任意のエラーに対して生の波形を視覚的に比較する、品質管理作業者を含み得る。これらの主観的評価は、コストがかかり、非効率であり得、また小さな孤立したエラーを検出することができない。
【発明の概要】
【０００４】
[0004]含まれた図面は、例示のためであり、開示される本発明のシステム、装置、方法、およびコンピュータプログラム製品に対する、可能な構造および動作の例をもたらすのに役立つためのみである。これらの図面は、開示される実装形態の思想および範囲から逸脱せずに、当業者によってなされ得る形および詳細における任意の変更を制限するものでは全くない。
【図面の簡単な説明】
【０００５】
[0005]いくつかの実施形態による、オーディオ信号を分析するための簡略化されたシステムを示す図。
[0006]いくつかの実施形態による、予測ネットワークを訓練するための方法の簡略化されたフローチャートを示す図。
[0007]いくつかの実施形態による、オフセットを予測するための簡略化されたフローチャートを示す図。
[0008]いくつかの実施形態による、オフセット分析プロセスの例を示す図。
[0009]いくつかの実施形態による、検出され得るオフセットのグラフを示す図。
[0010]いくつかの実施形態による、コンピューティングデバイスの一例を示す図。
【発明を実施するための形態】
【０００６】
[0011]本明細書で述べられるのは、オーディオ信号分析システムのための技法である。以下の記述では、説明のために、いくつかの実施形態の徹底的な理解をもたらすために、数多くの例および特定の詳細が記載される。特許請求項によって定義されるいくつかの実施形態は、これらの例単独での、または以下で述べられる他の特徴との組み合わせでの、いくつかまたはすべての特徴を含むことができ、ならびに本明細書で述べられる特徴および概念の、修正および等価物をさらに含み得る。
【０００７】
[0012]システム概要
[0013]システムは、比較のために２つのオーディオ信号を受信する。オーディオ信号は、非限定的に、モノラル、ステレオ（２．０）、サラウンド（例えば、５．１、７．１）その他など、異なるタイプのオーディオ信号とすることができる。基準オーディオ信号は、ビデオの原語など、第１言語での第１のオーディオ信号とすることができる。目標オーディオ信号は、基準オーディオ信号に関係付けられ得る、第２のオーディオ信号とすることができる。例えば、目標オーディオ信号は、原語から翻訳された外国語など、任意の言語でのダビングされたオーディオ信号とすることができる。目標オーディオ信号はまた、基準オーディオ信号のエンコードされたバージョン、ナレーショントラック（基準オーディオ信号と混合された記述）、または基準オーディオ信号からの任意の派生的オーディオ信号とすることができる。システムは、２つのオーディオ信号を比較して、信号の間のオフセットを決定する。ビデオに対しては、複数の外国語での、複数のダビングされたオーディオ信号が存在し得る。システムは、基準オーディオ信号と、各々のダビングされたオーディオ信号との間の、以下の分析を行い得る。各基準オーディオ信号と、ダビングされたオーディオ信号とのペアは、検出され得る異なるオフセット問題を有し得る。
【０００８】
[0014]いくつかの実施形態では、予測ネットワークは、２つのオーディオ信号から特徴を抽出する、２つの分岐を含む。例えば、第１の分岐は、基準オーディオ信号から特徴を抽出し、第２の分岐は、ダビングされたオーディオ信号から特徴を抽出する。各分岐は、ある時間期間に対応する、それぞれのオーディオ信号のサンプルを受信する。時間期間は、ｂがａよりｔ秒だけ大きいとして、ａからｂまでのタイムスタンプからの生のオーディオのサンプルなどの同じ時間期間、または異なる時間期間からのものとすることができる。各分岐は、それぞれのサンプルの、より高次元の空間での表現を出力する。システムは、２つのオーディオ信号に対する出力を比較して、２つのオーディオ信号の間の時間的オフセットを決定する。オフセットを決定するために、異なる方法が用いられることが可能であり、これは以下で述べられる。オフセット問題は、２つのオーディオ信号の全体にわたって、複数のサンプルを分析することに基づいて決定され得る。例えば、オフセットは、最初にタイムスタンプ０ｓ～１０ｓ、次いで１０ｓ～２０ｓなどに対して計算される。この説明では、１０秒、２００ミリ秒、２０ミリ秒など、ある特定の時間期間が用いられるが、これらの時間期間は単なる例であり、他の時間期間が用いられ得る。これは、基準オーディオ信号および目標オーディオ信号内に存在し得る、オフセットのタイプをより詳細に見ることを可能にする。システムは、オーディオ信号の間のオフセットを決定し、同期化問題に対処するために、そのオフセットを用いて、ダビングされたオーディオ信号を調整することができる。
【０００９】
[0015]システムは、ダビングプロセスにおいて生じ得る、複数の問題を認識するように訓練され得る。例えば、システムは、一定オフセットおよびドリフトオフセットにさらにグループ化され得る、全体的オフセットと、オーディオ信号の一部分の間の孤立した／１回限りのオフセットである、間欠的オフセット（例えば、無音、全く異なるオーディオファイルからの相関のないオーディオ、または一時的シフトなど）とを、認識することができ得る。全体的オフセットは、ビデオ全体にわたって生じるオフセットとすることができる。一定オフセットは、ビデオ全体にわたって一定である。ドリフトオフセットは、ある方向へビデオ全体にわたってドリフトし得る。間欠的オフセットは、ビデオの孤立した部分で生じ得る、孤立したオフセットとすることができる。音声問題は、背景キューのみを含むオーディオの部分と比べて、対話のみを含むシーケンスにおいて生じ得る。
【００１０】
[0016]品質管理分析が用いられ得るいくつかのユースケースは、以下を含む。
（【００１１】以降は省略されています）

関連特許