特許ウォッチ

公開番号2025084774
公報種別公開特許公報(A)
公開日2025-06-03
出願番号2025018368,2024005428
出願日2025-02-06,2018-05-23
発明の名称アテンションベースのシーケンス変換ニューラルネットワーク
出願人グーグルエルエルシー,Google LLC
代理人個人,個人,個人
主分類G06N 3/0455 20230101AFI20250527BHJP(計算;計数)
要約【課題】アテンションベースのシーケンス変換ニューラルネットワークを提供する。
【解決手段】アテンションベースのシーケンス変換ニューラルネットワークは、入力シーケンスを受信し、ネットワーク入力のエンコードされた表現を生成するエンコーダニューラルネットワーク110を含み、エンコーダニューラルネットワークは、1つまたは複数のエンコーダサブネットワーク130のシーケンスを備え、各エンコーダサブネットワークは、入力位置の各々について夫々のエンコーダサブネットワーク入力を受信し、入力位置の各々について夫々のサブネットワーク出力を生成し、入力順に各特定の入力位置について、エンコーダサブネットワーク入力から導き出された1つ又は複数のクエリを使用してエンコーダサブネットワーク入力にわたりアテンションメカニズムを適用するエンコーダセルフアテンションサブレイヤ132を備える。
【選択図】図1
特許請求の範囲【請求項１】
1つまたは複数のコンピュータと、命令を格納する1つまたは複数のストレージデバイスとを備えるシステムであって、前記命令は、前記1つまたは複数のコンピュータによって実行されるとき、前記1つまたは複数のコンピュータに、入力順に複数の入力位置の各々においてそれぞれのネットワーク入力を有する入力シーケンスを、出力順に複数の出力位置の各々においてそれぞれのネットワーク出力を有する出力シーケンスに変換するためのシーケンス変換ニューラルネットワークを実施させ、前記シーケンス変換ニューラルネットワークは、
前記入力シーケンスを受信し、前記入力シーケンス内の前記ネットワーク入力の各々のそれぞれエンコードされた表現を生成するように構成され、1つまたは複数のエンコーダサブネットワークのシーケンスを備えるエンコーダニューラルネットワークであって、各エンコーダサブネットワークは、前記複数の入力位置の各々についてそれぞれのエンコーダサブネットワーク入力を受信し、前記複数の入力位置の各々についてそれぞれのサブネットワーク出力を生成するように構成され、各エンコーダサブネットワークは、
前記複数の入力位置の各々について前記サブネットワーク入力を受信するように構成されるエンコーダセルフアテンションサブレイヤであって、入力順に各特定の入力位置について、
前記特定の入力位置において前記エンコーダサブネットワーク入力から導き出された1つまたは複数のクエリを使用して前記入力位置において前記エンコーダサブネットワーク入力にわたりアテンションメカニズムを適用して、前記特定の入力位置についてそれぞれの出力を生成するように構成されるエンコーダセルフアテンションサブレイヤを備える、エンコーダニューラルネットワークと、
前記エンコードされた表現を受信し、前記出力シーケンスを生成するように構成されたデコーダニューラルネットワークとを備えるシステム。
続きを表示（約 1,700 文字）【請求項２】
前記エンコーダニューラルネットワークは、
前記入力シーケンス内の各ネットワーク入力について、
前記ネットワーク入力を前記ネットワーク入力の埋め込み表現にマップし、
前記ネットワーク入力の前記埋め込み表現を、入力順に前記ネットワーク入力の前記入力位置の位置埋め込みと結合して前記ネットワーク入力の結合された埋め込み表現を生成して、
前記ネットワーク入力の前記結合された埋め込み表現を、エンコーダサブネットワークの前記シーケンス内の第1のエンコーダサブネットワークに対する前記エンコーダサブネットワーク入力として提供するように構成された埋め込みレイヤをさらに備える請求項1に記載のシステム。
【請求項３】
前記ネットワーク入力の前記それぞれエンコードされた表現は、前記シーケンス内の最後のエンコーダサブネットワークにより生成された前記エンコーダサブネットワーク出力である請求項1または2に記載のシステム。
【請求項４】
前記シーケンス内の前記第1のエンコーダサブネットワーク以外の各エンコーダサブネットワークについて、前記エンコーダサブネットワーク入力は、前記シーケンス内の先行するエンコーダサブネットワークの前記エンコーダサブネットワーク出力である請求項1から3のいずれか一項に記載のシステム。
【請求項５】
前記エンコーダサブネットワークの少なくとも1つは、
各入力位置について、
前記入力位置において入力を受信し、
前記入力位置において変換のシーケンスを前記入力に適用して、前記入力位置に対する出力を生成するように構成される位置ごとのフィードフォワードレイヤをさらに備える請求項1から4のいずれか一項に記載のシステム。
【請求項６】
前記シーケンスは、活性化関数によって分離される2つの学習された線形変換を備える請求項5に記載のシステム。
【請求項７】
前記少なくとも1つのエンコーダサブネットワークは、
前記位置ごとのフィードフォワードレイヤの前記出力を前記位置ごとのフィードフォワードレイヤへの前記入力と結合してエンコーダ位置ごとの残余出力を生成する残余接続レイヤと、
レイヤ正規化を前記エンコーダ位置ごとの残余出力に適用するレイヤ正規化レイヤとをさらに備える請求項5または6に記載のシステム。
【請求項８】
各エンコーダサブネットワークは、
前記エンコーダセルフアテンションサブレイヤの前記出力を前記エンコーダセルフアテンションサブレイヤへの前記入力と結合してエンコーダセルフアテンション残余出力を生成する残余接続レイヤと、
レイヤ正規化を前記エンコーダセルフアテンション残余出力に適用するレイヤ正規化レイヤとをさらに備える請求項1から7のいずれか一項に記載のシステム。
【請求項９】
各エンコーダセルフアテンションサブレイヤは、複数のエンコーダセルフアテンションレイヤを備える請求項1から8のいずれか一項に記載のシステム。
【請求項１０】
各エンコーダセルフアテンションレイヤは、
学習されたクエリ線形変換を各入力位置において各エンコーダサブネットワーク入力に適用して、各入力位置に対してそれぞれのクエリを生成し、
学習されたキー線形変換を各入力位置において各エンコーダサブネットワーク入力に適用して、各入力位置に対してそれぞれのキーを生成し、
学習された値線形変換を各入力位置において各エンコーダサブネットワーク入力に適用して、各入力位置に対してそれぞれの値を生成するように構成され、
各入力位置について、
前記入力位置の前記クエリと前記キーの間に比較関数を適用することにより、前記入力位置の各々についてそれぞれ入力位置固有の重みを決定し、
前記入力位置の初期エンコーダセルフアテンション出力を、前記入力位置の前記対応する入力位置固有の重みにより加重された値の加重合計を決定することにより、決定するように構成される請求項9に記載のシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
関連出願の相互参照
本出願は、2017年5月23日に出願した米国仮特許出願第62/510、256号明細書、および2017年8月4日に出願した米国仮特許出願第62/541、594号明細書の通常出願であり、その優先権を主張するものである。前述の出願の内容全体は、参照により本明細書に組み込まれる。
続きを表示（約 2,400 文字）【０００２】
本明細書は、ニューラルネットワークを使用してシーケンスを変換することに関する。
【背景技術】
【０００３】
ニューラルネットワークは、非線形ユニットの1つまたは複数のレイヤを採用して、受信された入力に対する出力を予測する機械学習モデルである。一部のニューラルネットワークは、出力レイヤに加えて、1つまたは複数の隠れレイヤを含む。各隠れレイヤの出力は、ネットワーク内の次のレイヤ、つまり次の隠れレイヤまたは出力レイヤへの入力として使用される。ネットワークの各レイヤは、パラメータのそれぞれのセットの現在値に従って受信された入力から出力を生成する。
【発明の概要】
【課題を解決するための手段】
【０００４】
本明細書は、入力順に複数位置の各々においてそれぞれの入力を含む入力シーケンスから出力順に複数位置の各々においてそれぞれの出力を含む出力シーケンスを生成する、つまり入力シーケンスを出力シーケンスに変換する、1つまたは複数の場所における1つまたは複数のコンピュータ上でコンピュータプログラムとして実施されるシステムについて説明する。特に、システムは、いずれもアテンションベースであるエンコーダニューラルネットワークおよびデコーダニューラルネットワークを使用して出力シーケンスを生成する。
【０００５】
本明細書において説明される主題の特定の実施態様は、以下の利点の1つまたは複数を実現するために実施されてもよい。
【０００６】
ニューラルネットワークを使用するシーケンス変換への多くの既存の手法は、エンコーダおよびデコーダにおいて再帰型ニューラルネットワークを使用する。これらの種類のネットワークは、シーケンス変換タスクで良好なパフォーマンスを達成することができるが、それらの計算は本質的に順次である、つまり再帰型ニューラルネットワークは、先行の時間ステップにおける再帰型ニューラルネットワークの隠れ状態に条件付けられた現在時間ステップにおいて出力を生成する。この順次の特性は、並列化を妨げ、その結果として長いトレーニングおよび推論時間と、それに応じて膨大量の計算リソースを利用するワークロードをもたらすことになる。
【０００７】
一方、説明されるシーケンス変換ニューラルネットワークのエンコーダおよびデコーダはアテンションベースであるため、シーケンス変換ニューラルネットワークは、シーケンスをより迅速に変換することが可能であり、より高速にトレーニングされることが可能であるか、またはネットワークの動作がさらに容易に並列化され得るのでその両方が可能となる。すなわち、説明されるシーケンス変換ニューラルネットワークが入力と出力の間のグローバル依存関係を引き出すためにアテンションメカニズムに全面的に依存し、いかなる再帰型ニューラルネットワークレイヤも採用しないので、再帰型ニューラルネットワークレイヤの順次の特性により引き起こされる長いトレーニングおよび推論時間ならびに高いリソース使用量に関連する問題が緩和される。
【０００８】
さらに、シーケンス変換ニューラルネットワークは、たとえトレーニングおよび推論時間が短いとしても、畳み込みレイヤまたは再帰型レイヤに基づく既存のネットワークよりもさらに正確に、シーケンスを変換することができる。特に、従来のモデルにおいて、2つの任意の入力または出力位置からの信号を関連付けるために必要とされる動作の数は、たとえばモデルアーキテクチャに線形または対数的に依存する、位置間の距離に伴って増大する。これは、トレーニング中に遠隔位置間の依存関係を学習することをさらに困難にする。現在説明されているシーケンス変換ニューラルネットワークにおいて、この動作の数は、再帰または畳み込みに依存することなく、アテンション(および、特に、セルフアテンション)の使用により、一定数の動作まで低減される。セルフアテンションは、場合によってはイントラアテンションと称されるが、シーケンスの表現を計算するために、単一のシーケンスの異なる位置を関係付けるアテンションメカニズムである。アテンションメカニズムの使用により、シーケンス変換ニューラルネットワークは、トレーニング中に遠隔位置間の依存関係を効果的に学習することができるようになり、たとえば機械翻訳のようなさまざまな変換タスクでのシーケンス変換ニューラルネットワークの精度を高めることができる。実際に、説明されるシーケンス変換ニューラルネットワークは、従来の機械翻訳ニューラルネットワークよりもトレーニングしやすく、迅速に出力を生成するにもかかわらず、機械翻訳タスクに最先端の結果を達成することができる。シーケンス変換ニューラルネットワークはまた、アテンションメカニズムの使用を通じてタスク固有の調整を行うことなく従来の機械翻訳ニューラルネットワークにまさる改善されたパフォーマンスを呈することもできる。
【０００９】
本明細書の主題の1つまたは複数の実施形態の詳細は、添付の図面および以下の説明に示される。主題のその他の特徴、態様、および利点は、説明、図面、および特許請求の範囲から明らかとなろう。
【図面の簡単な説明】
【００１０】
例示のニューラルネットワークシステムを示す図である。
エンコーダニューラルネットワークおよびデコーダニューラルネットワークのサブネットワークにおいてアテンションサブレイヤにより適用されるアテンションメカニズムを示す図である。
入力シーケンスから出力シーケンスを生成するための例示のプロセスを示す流れ図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許