特許ウォッチ

公開番号2025170771
公報種別公開特許公報(A)
公開日2025-11-19
出願番号2025077099
出願日2025-05-07
発明の名称トランスフォーマー加速装置
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.,ネイバーコーポレーション,NAVER Corporation
代理人弁理士法人ITOH
主分類G06N 3/063 20230101AFI20251112BHJP(計算;計数)
要約【課題】キーバリューベクトルを読み出すトランスフォーマー加速装置を開示する。
【解決手段】トランスフォーマー加速装置は、複数のトークンらに対する複数のキャッシュベクトルを保存する第1、第2メモリブロックを含むメモリ装置及び第1ストライディング要請に応答して、第1及び第2メモリブロックにアクセスするメモリストライディング回路を含む。メモリストライディング回路は、第1、第2メモリブロックに対する第1、第2メモリブロック基底アドレスを保存するメモリブロックアドレス管理回路、ストライディング要請に応答して、メモリブロック基底アドレス及びサブブロックオフセットに基づいて、第1、第2ターゲットアドレスを演算するターゲットアドレス生成回路及びターゲットアドレスに位置したターゲットサブブロックに対する第1、第2複数のメモリアクセスコマンドらを発行するように構成されるコマンド発行回路を含む。
【選択図】図13
特許請求の範囲【請求項１】
トランスフォーマー加速装置であって、
第１複数のトークンらに対する第１複数のキャッシュベクトルを保存する第１メモリブロック、及び第２複数のトークンらに対する第２複数のキャッシュベクトルを保存する第２メモリブロックを含むメモリ装置、及び、
外部から提供された第１ストライディング要請に応答して、前記第１及び第２メモリブロックにアクセスするように構成されたメモリストライディング回路、
を含み、
前記メモリストライディング回路は、
前記第１メモリブロックに対する第１メモリブロック基底アドレス及び前記第２メモリブロックに対する第２メモリブロック基底アドレスを保存するメモリブロックアドレス管理回路、
前記第１ストライディング要請に応答して、前記第１メモリブロック基底アドレス及び第１サブブロックオフセットに基づいて、前記第１メモリブロックに含まれる第１ターゲットアドレスを演算し、前記第２メモリブロック基底アドレス及び前記第１サブブロックオフセットに基づいて、前記第２メモリブロックに含まれる第２ターゲットアドレスを演算するターゲットアドレス生成回路、及び、
前記第１ターゲットアドレスに位置した第１ターゲットサブブロックに対する第１複数のメモリアクセスコマンドら、及び前記第２ターゲットアドレスに位置した第２ターゲットサブブロックに対する第２複数のメモリアクセスコマンドらを発行するように構成されるコマンド発行回路を含むことを特徴とするトランスフォーマー加速装置。
続きを表示（約 1,900 文字）【請求項２】
前記第１及び第２ターゲットサブブロックのサイズは、第１リーディングサイズであることを特徴とする請求項１に記載のトランスフォーマー加速装置。
【請求項３】
前記第１ストライディング要請は、
前記第１メモリブロック基底アドレス、前記第２メモリブロック基底アドレス、前記第１サブブロックオフセット、及び前記第１リーディングサイズを含むことを特徴とする請求項２に記載のトランスフォーマー加速装置。
【請求項４】
前記ターゲットアドレス生成回路は、
前記第１ストライディング要請に応答して、前記第１メモリブロック基底アドレス及び第２サブブロックオフセットに基づいて、前記第１メモリブロックに含まれる第３ターゲットアドレスを演算し、前記第２メモリブロック基底アドレス及び前記第２サブブロックオフセットに基づいて、前記第２メモリブロックに含まれる第４ターゲットアドレスを演算するように構成され、
前記コマンド発行回路は、
前記第３ターゲットアドレスに位置した第３ターゲットサブブロックに対する第３複数のメモリアクセスコマンドら及び前記第４ターゲットアドレスに位置した第４ターゲットサブブロックに対する第４複数のメモリアクセスコマンドらを発行するようにさらに構成されることを特徴とする請求項２に記載のトランスフォーマー加速装置。
【請求項５】
前記第１ストライディング要請は、
前記第１メモリブロック基底アドレス、前記第２メモリブロック基底アドレス、ヘッドアドレスインターバル、レイヤーアドレスインターバル、及び前記第１リーディングサイズを含むことを特徴とする請求項４に記載のトランスフォーマー加速装置。
【請求項６】
前記ターゲットアドレス生成回路は、
前記ヘッドアドレスインターバル及び前記レイヤーアドレスインターバルに基づいて、前記第１及び第２サブブロックオフセットを演算するようにさらに構成されることを特徴とする請求項５に記載のトランスフォーマー加速装置。
【請求項７】
前記第１及び第２サブブロックオフセットのそれぞれは、前記ヘッドアドレスインターバルの整数倍及び前記レイヤーアドレスインターバルの整数倍の合計に対応することを特徴とする請求項６に記載のトランスフォーマー加速装置。
【請求項８】
前記コマンド発行回路は、
前記第１及び第２複数のメモリアクセスコマンドらを第１時間間隔の間に読み出すように構成され、
前記第３及び第４複数のメモリアクセスコマンドらを前記第１時間間隔の後の第２時間間隔の間に読み出すように構成されることを特徴とする請求項５に記載のトランスフォーマー加速装置。
【請求項９】
前記第１複数のキャッシュベクトルのうち、前記第１ターゲットサブブロックに含まれるキャッシュベクトルらは、互いに隣接したアドレスに保存され、
前記第２複数のキャッシュベクトルのうち、前記第２ターゲットサブブロックに含まれるキャッシュベクトルらは、互いに隣接したアドレスに保存されることを特徴とする請求項１に記載のトランスフォーマー加速装置。
【請求項１０】
トランスフォーマー加速装置であって、
複数のヘッドに基づいて行われるマルチヘッドアテンション演算をそれぞれ含む複数のデコーダーレイヤーを実行し、
前記複数のヘッドのうちの1つである第１ヘッド及び前記複数のデコーダーレイヤーのうちの1つである第１デコーダーレイヤーに基づいて、第１複数のトークンらに対して生成された第１複数のキャッシュベクトルを保存する第１サブブロックを含む第１メモリブロック、
前記第１ヘッド及び前記第１デコーダーレイヤーに基づいて、第２複数のトークンらに対して生成された第２複数のキャッシュベクトルを保存する第２サブブロックを含む第２メモリブロック、
外部から提供された第１ストライディング要請に応答して、前記第１サブブロック及び前記第２サブブロックに順次アクセスして前記第１複数のキャッシュベクトル及び前記第２複数のキャッシュベクトルを読み出すメモリストライディング回路、及び、
前記第１複数のキャッシュベクトル及び前記第２複数のキャッシュベクトルに基づいて、前記第１ヘッド及び前記第１デコーダーレイヤーに対する第１アテンション演算を行う演算回路を含むことを特徴とするトランスフォーマー加速装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、複数の入力トークンに基づいて出力トークンを生成するトランスフォーマーを実行するトランスフォーマー加速装置に関するものである。より詳細には、本開示は、トランスフォーマーの実行のためにキャッシングされるキーバリューベクトルを連続的に読み出すように構成されるメモリストライディング回路を含むトランスフォーマー加速装置に関するものである。
続きを表示（約 3,800 文字）【背景技術】
【０００２】
トランスフォーマー加速装置は、複数の入力トークンに基づいて出力トークンを生成する。例えば、トランスフォーマー加速装置は、複数の入力トークンに基づいてトランスフォーマーを実行して、複数の入力トークンに後行されることに適した第１出力トークンを生成することができる。
【０００３】
トランスフォーマーは、オートリグレッション（ａｕｔｏ－ｒｅｇｒｅｓｓｉｏｎ）方式で動作することができる。例えば、トランスフォーマーは、複数の入力トークンと共に第１出力トークンをさらに使用して、複数の入力トークン及び第１出力トークンに後行されることに適した第２出力トークンを生成することができる。即ち、トランスフォーマーは、複数のイテレーション（ｉｔｅｒａｔｉｏｎ）にわたって順次動作することができ、各イテレーションにより生成されたトークンを次のイテレーションの入力として使用することができる。
【０００４】
トランスフォーマーは、複数のイテレーションにわたって生成されるキーバリューベクトルを再利用することができる。例えば、トランスフォーマーは、以前のイテレーションで演算されたキーバリューベクトルを次のイテレーションでリサイクルすることができる。ところが、トランスフォーマーがキーバリューベクトルを保存して読み出す方式が最適化されない場合、キーバリューベクトルの保存及び読み出すことにより、トランスフォーマー加速装置の動作効率が低下することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は、前述された技術的課題を解決するためのものである。より詳細には、本開示の目的はｎ最適化した方式でキーバリューベクトルを読み出すように具現されたメモリストライディング回路を含むトランスフォーマー加速装置を提供することにある。
【課題を解決するための手段】
【０００６】
本開示の一実施例によるトランスフォーマー加速装置は、第１複数のトークンらに対する第１複数のキャッシュベクトルを保存する第１メモリブロック、及び第２複数のトークンらに対する第２複数のキャッシュベクトルを保存する第２メモリブロックを含むメモリ装置；及び外部から提供された第１ストライディング要請に応答して前記第１及び第２メモリブロックにアクセスするように構成されたメモリストライディング回路を含むことができる。この場合、前記メモリストライディング回路は：前記第１メモリブロックに対する第１メモリブロック基底アドレス及び前記第２メモリブロックに対する第２メモリブロック基底アドレスを保存するメモリブロックアドレス管理回路；前記第１ストライディング要請に応答して、前記第１メモリブロック基底アドレス及び第１サブブロックオフセットに基づいて、前記第１メモリブロックに含まれる第１ターゲットアドレスを演算し、前記第２メモリブロック基底アドレス及び前記第１サブブロックオフセットに基づいて、前記第２メモリブロックに含まれる第２ターゲットアドレスを演算するターゲットアドレス生成回路；及び前記第１ターゲットアドレスに位置した第１ターゲットサブブロックに対する第１複数のメモリアクセスコマンドら、及び前記第２ターゲットアドレスに位置した第２ターゲットサブブロックに対する第２複数のメモリアクセスコマンドらを発行するように構成されるコマンド発行回路を含むことができる。
【０００７】
本開示の一実施例による複数のヘッドに基づいて行われるマルチヘッドアテンション演算をそれぞれ含む複数のデコーダーレイヤーを実行するトランスフォーマー加速装置は：前記複数のヘッドのうちの1つである第１ヘッド及び前記複数のデコーダーレイヤーのうちの1つである第１デコーダーレイヤーに基づいて、第１複数のトークンらに対して生成された第１複数のキャッシュベクトルを保存する第１サブブロックを含む第１メモリブロック；前記第１ヘッド及び前記第１デコーダーレイヤーに基づいて、第２複数のトークンらに対して生成された第２複数のキャッシュベクトルを保存する第２サブブロックを含む第２メモリブロック；外部から提供された第１ストライディング要請に応答して、前記第１サブブロック及び前記第２サブブロックに順次アクセスして前記第１複数のキャッシュベクトル及び前記第２複数のキャッシュベクトルを読み出すメモリストライディング回路；及び前記第１複数のキャッシュベクトル及び前記第２複数のキャッシュベクトルに基づいて、前記第１ヘッド及び前記第１デコーダーレイヤーに対する第１アテンション演算を行う演算回路を含むことができる。
【０００８】
本開示の一実施例による複数のサブブロックらを含むトランスフォーマー加速装置は：複数のメモリブロックを含むメモリ装置;外部から提供された第１ストライディング要請に応答して前記複数のサブブロックらに順次アクセスするメモリストライディング回路;及び前記複数のサブブロックのうちの前記メモリストライディング回路から第１時間間隔の間のアクセスされた第１複数のサブブロックに基づいて、第１アテンション演算を行い、前記複数のサブブロックのうちの前記メモリストライディング回路から第１時間間隔の後の第２時間間隔の間のアクセスされた第２複数のサブブロックに基づいて、第２アテンション演算を行う演算回路を含むことができる。
【図面の簡単な説明】
【０００９】
本開示の実施例によるトランスフォーマー加速装置を示すブロック図である。
図１のトランスフォーマー加速装置をより詳細に示すブロック図である。
図１のトランスフォーマーの動作を示すブロック図である。
一実施例による図３のトランスフォーマーの構成を示すブロック図である。
図４のデコーダーレイヤーの構成をより詳細に示す図である。
図５のリニア演算をより詳細に示す図である。
図５のマルチヘッドアテンション演算をより詳細に示す図である。
図５のマルチヘッドアテンション演算をより詳細に示す図である。
図７のアテンションスコア演算をより詳細に示す図である。
図７のアテンションベクトル演算をより詳細に示す図である。
図３のトランスフォーマーの動作を総合的に示す図である。
本開示の実施例によるメモリストライディング回路の動作をより詳細に示すブロック図である。
図２のメモリストライディング回路をより詳細に示すブロック図である。
図１３のメモリブロック基底アドレステーブルを示す図である。
図１２のメモリブロックをより詳細に示す図である。
図１５に示すサブブロックの構成をより詳細に示す図である。
図１５のサブブロックグループをより詳細に示す図である。
図１５のサブブロックグループをより詳細に示す図である。
一実施例によるメモリストライディング回路の動作を示す図である。
図１９のメモリストライディング回路の動作をより詳細に示す図である。
図１９のメモリストライディング回路の動作を示すフローチャートである。
図２１のＳ１２０段階をより詳細に示すフローチャートである。
一実施例によるメモリストライディング回路の動作を示す図である。
図２０のメモリストライディング回路の動作をより詳細に示す図である。
図２４のメモリストライディング回路の動作を示すフローチャートである。
図２５のＳ２２０段階をより詳細に示すフローチャートである。
一実施例によるメモリストライディング回路の動作を示す図である。
図２７のメモリストライディング回路の動作をより詳細に示す図である。
図２７のメモリストライディング回路の動作を示すフローチャートである。
図２９のＳ３２０段階をより詳細に示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本開示の技術分野における通常の知識を有する者が本開示を容易に実施することができるように、本開示の実施例らが明確で詳細に記載されるはずである。詳細な構成ら及び構造らのような細部的な事項らは、単に本開示の実施例らの全般的な理解のために提供される。従って、本開示の技術的な思想及び範囲から逸脱することなく、本明細書に記載された実施例らの変形らは、当業者によって実行することができる。さらに、周知の機能ら及び構造らに対する説明らは、明確性及び簡潔性のために省略される。以下の図面らまたは詳細な説明における構成らは、図面に示されたり、または詳細な説明に記載された構成要素以外に他のものと連結されることがある。本明細書における使用される用語らは、本開示の機能らを考慮して定義された用語らであり、特定機能に限定されない。用語らの定義は、詳細な説明に記載されている事項に基づいて決定することができる。
（【００１１】以降は省略されています）

関連特許