特許ウォッチ

公開番号2025114507
公報種別公開特許公報(A)
公開日2025-08-05
出願番号2025008120
出願日2025-01-21
発明の名称マシン学習アクセラレータ、マシン学習アクセラレータを含むコンピューティング装置、およびデータをマシン学習アクセラレータにロードする方法
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.,ネイバーコーポレーション,NAVER Corporation
代理人弁理士法人ITOH
主分類G06F 12/04 20060101AFI20250729BHJP(計算;計数)
要約【課題】圧縮された重みデータをより短時間の間にロードするマシン学習アクセラレータを提供する。
【解決手段】コンピューティング装置10において、アクセラレータは、オリジナル長さ情報を記憶し、第1長さを有する第1データを圧縮解除する第1データコントローラ(CT)から、オリジナル長さを有する第2データを第1重みデータとして用いて、第1マシン学習ベース動作を遂行する第1アクセラレータコア(C)と、オリジナル長さ情報を記憶し、第1長さより短い第2長さを有する第3データを圧縮解除する第2データコントローラから、オリジナル長さを有する第4データを第2重みデータとして用いて、第2マシン学習ベース動作を遂行する第2アクセラレータコアと、を備え、第1、第2データコントローラのそれぞれは、オリジナル長さに基づいて圧縮解除が完了されるタイミングをモニタし、そして圧縮解除が完了されるタイミングに圧縮解除を終了する。
【選択図】図1
特許請求の範囲【請求項１】
データのオリジナル長さを指すオリジナル長さ情報を記憶し、第１長さを有する第１データを受信し、前記第１長さを有する前記第１データを圧縮解除して前記オリジナル長さを有する第２データを生成し、前記オリジナル長さを有する前記第２データを出力するように構成される第１データコントローラと、
前記オリジナル長さ情報を記憶し、前記第１長さよりも短い第２長さを有する第３データを受信し、前記第２長さを有する前記第３データを圧縮解除して前記オリジナル長さを有する第４データを生成し、前記オリジナル長さを有する前記第４データを出力するように構成される第２データコントローラと、
前記オリジナル長さを有する前記第２データを受信し、前記第２データを第１重みデータとして用いて、第１マシン学習ベースの動作を遂行するように構成される第１アクセラレータコアと、
前記オリジナル長さを有する前記第４データを受信し、前記第４データを第２重みデータとして用いて、第２マシン学習ベースの動作を遂行するように構成される第２アクセラレータコアと、を備え、
前記第１データコントローラおよび前記第２データコントローラのそれぞれは、
前記オリジナル長さに基づいて圧縮解除が完了されるタイミングをモニタし、
前記圧縮解除が完了されるタイミングに前記圧縮解除を終了するように構成される、
マシン学習アクセラレータ。
続きを表示（約 2,600 文字）【請求項２】
前記マシン学習アクセラレータは、前記第１データコントローラおよび前記第２データコントローラが、
前記第１データおよび前記第２データを並列に受信し、
前記第２データおよび前記第４データを並列に出力するように構成される、
請求項１に記載のマシン学習アクセラレータ。
【請求項３】
前記第１データコントローラおよび前記第２データコントローラのうちの少なくとも１つは、
前記第１データおよび前記第２データのうち対応するデータを受信するように構成され、対応するドレイン信号が非活性状態であるとき、前記対応するデータを出力するように構成されるドレイン回路と、
前記ドレイン回路から前記対応するデータを受信し、前記対応するデータを圧縮解除し、前記圧縮解除されたデータを出力するように構成される圧縮解除回路と、
前記オリジナル長さ情報が指すデータの圧縮解除が完了されたときに、前記対応するドレイン信号を活性化するように構成されるモニタ回路と、を含み、
前記対応するドレイン回路が活性状態となることに応答して、前記ドレイン回路は、前記対応するデータの出力を中止するように構成される、
請求項１に記載のマシン学習アクセラレータ。
【請求項４】
前記第１長さを有する前記第１データを読み取って、前記第１データコントローラの前記圧縮解除回路に前記第１データを伝達するように構成される第１ＤＭＡマスタと、
前記第２データを含み前記第１長さを有する第５データを読み取って、前記第２データコントローラの前記圧縮解除回路に前記第５データを伝達するように構成される第２ＤＭＡマスタと、をさらに備え、
前記第１ＤＭＡマスタおよび前記第２ＤＭＡマスタは、同じ開始アドレスおよび前記第１長さに基づいて同時にプログラムされる、
請求項３に記載のマシン学習アクセラレータ。
【請求項５】
前記第１データコントローラおよび前記第２データコントローラのそれぞれは、
前記第１データおよび前記第２データのうち対応するデータを受信するように構成され、前記対応するデータを圧縮解除し、前記圧縮解除されたデータを出力するように構成される圧縮解除回路と、
前記オリジナル長さ情報が指す前記対応するデータの前記圧縮解除が完了されたときに、リセット信号を活性化するように構成されるモニタ回路と、を含み、
前記リセット信号が活性化されるという判定に応答して、前記圧縮解除回路は、前記対応するデータの前記圧縮解除を中止するように構成される、
請求項４に記載のマシン学習アクセラレータ。
【請求項６】
前記モニタ回路は、前記リセット信号を外部の第１ＤＭＡ(Direct Memory Access)マスタおよび外部の第２ＤＭＡマスタのうち対応するＤＭＡマスタに伝送するように構成される、
請求項５に記載のマシン学習アクセラレータ。
【請求項７】
前記第１長さを有する前記第１データを読み取って、前記第１データコントローラの前記圧縮解除回路に前記第１データを伝達するように構成される第１ＤＭＡマスタと、
前記第２データを含み前記第１長さを有する第５データを読み取って、前記第２データコントローラの前記圧縮解除回路に前記第５データを伝達するように構成される第２ＤＭＡマスタと、をさらに含み、
前記第１データコントローラの前記モニタ回路により前記リセット信号が活性化されるという判定に応答して、前記第１ＤＭＡマスタは、前記第１データをリードすることを中止するように構成され、
前記第２データコントローラの前記モニタ回路により前記リセット信号が活性化されるという判定に応答して、前記第２ＤＭＡマスタは、前記第５データをリードすることを中止するように構成される、
請求項５に記載のマシン学習アクセラレータ。
【請求項８】
前記第１ＤＭＡマスタおよび前記第２ＤＭＡマスタは、同じ開始アドレスおよび前記第１長さに基づいて同時にプログラムされる、
請求項７に記載のマシン学習アクセラレータ。
【請求項９】
第１長さを有する第１データおよび前記第１長さよりも短い第２長さを有する第２データを記憶するメモリと、
前記メモリから前記第１データと、前記第１長さを有し、前記第２データを含む第３データとを受信するように構成されるマシン学習アクセラレータと、を備え、
前記マシン学習アクセラレータは、
前記第１長さを有する前記第１データを圧縮解除して第１重みデータを生成し、
前記第１長さを有する前記第３データを前記第２長さを有する前記第２データに変換し、
前記第２長さを有する前記第２データを圧縮解除して第２重みデータを生成し、
前記第１重みデータおよび前記第２重みデータに基づいてマシン学習ベースの動作を遂行するように構成される、
コンピューティング装置。
【請求項１０】
プロセッサが、データをマシン学習アクセラレータにロードする方法であって、
前記プロセッサが、２つ以上のＤＭＡマスタを第１開始アドレスおよび第１長さ情報を用いて同時にプログラムする段階と、
前記２つ以上のＤＭＡマスタが、前記第１開始アドレスおよび前記第１長さ情報に基づいてメモリからデータを並列に読み取り、並列に読み取られたデータを前記マシン学習アクセラレータに伝送する段階と、を含み、
前記マシン学習アクセラレータは、
前記並列に読み取られたデータのうち、前記第１長さ情報に対応する第１データを圧縮解除して第１重みデータを生成し、
前記第１長さ情報に対応する第２データを変換して、前記第１長さ情報が指す第１長さより短い第２長さを有する第３データを生成し、
前記第２長さを有する前記第３データを圧縮解除して第２重みデータを生成し、
前記第１重みデータおよび前記第２重みデータに基づいてマシン学習ベースの動作を遂行するように構成される、
方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は電子装置に関し、より詳しくは、向上したデータローディング速度を有するマシン学習アクセラレータ、マシン学習アクセラレータを含むコンピューティング装置、およびデータをマシン学習アクセラレータにロードする方法に関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
マシン学習アクセラレータは重みデータをロードして、マシン学習ベースの動作を遂行するように構成される。マシン学習と関連する技術が発展するにつれて、マシン学習アクセラレータにロードされるデータの容量が増加している。したがって、マシン学習アクセラレータに重みデータをロードする時間もまた増加している。
【０００３】
マシン学習アクセラレータに重みデータをロードする時間を減らすために、重みデータは圧縮され得る。圧縮された重みデータはより短時間の間、マシン学習アクセラレータに伝達され得る。
【先行技術文献】
【特許文献】
【０００４】
米国特許第１０,５４６,３９３号明細書
米国特許第１１,６６９,７３６号明細書
米国特許出願公開第２０２３/００５９９７０号明細書
米国特許出願公開第２０２２/０３９８４４１号明細書
中国公開特許第１１１０４７０２０号公報
米国特許出願公開第２０１８/００８２１８１号明細書
米国特許第１１,６３２,１２９号明細書
米国特許出願公開第２０２１/０２８７０７４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、圧縮された重みデータをより短時間の間にロードできるマシン学習アクセラレータ、マシン学習アクセラレータを含むコンピューティング装置、およびデータをマシン学習アクセラレータにロードする方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の少なくとも１つの実施形態によれば、データのオリジナル長さを指すオリジナル長さ情報を記憶し、第１長さを有する第１データを受信し、第１長さを有する第１データを圧縮解除してオリジナル長さを有する第２データを生成し、オリジナル長さを有する第２データを出力するように構成される第１データコントローラと、オリジナル長さ情報を記憶し、第１長さよりも短い第２長さを有する第３データを受信し、第２長さを有する第３データを圧縮解除してオリジナル長さを有する第４データを生成し、オリジナル長さを有する第４データを出力するように構成される第２データコントローラと、オリジナル長さを有する第２データを受信し、第２データを第１重みデータとして用いて、第１マシン学習ベースの動作を遂行するように構成される第１アクセラレータコアと、オリジナル長さを有する第４データを受信し、第４データを第２重みデータとして用いて、第２マシン学習ベースの動作を遂行するように構成される第２アクセラレータコアと、を備え、第１データコントローラおよび第２データコントローラのそれぞれは、オリジナル長さに基づいて圧縮解除が完了されるタイミングをモニタし、圧縮解除が完了されるタイミングに圧縮解除を終了するように構成される、マシン学習アクセラレータである。
マシン学習アクセラレータ
【０００７】
本発明の少なくとも１つの実施形態によれば、第１長さを有する第１データおよび第１長さよりも短い第２長さを有する第２データを記憶するメモリと、メモリから第１データと、第１長さを有し、第２データを含む第３データとを受信するように構成されるマシン学習アクセラレータと、を備え、マシン学習アクセラレータは、第１長さを有する第１データを圧縮解除して第１重みデータを生成し、第１長さを有する第３データを第２長さを有する第２データに変換し、第２長さを有する第２データを圧縮解除して第２重みデータを生成し、第１重みデータおよび第２重みデータに基づいてマシン学習ベースの動作を遂行するように構成される、コンピューティング装置である。
【０００８】
本発明の少なくとも実施形態によれば、プロセッサが、データをマシン学習アクセラレータにロードする方法であって、プロセッサが、２つ以上のＤＭＡ(Direct Memory Access)マスタを第１開始アドレスおよび第１長さ情報を用いて同時にプログラムする段階と、２つ以上のＤＭＡマスタが、第１開始アドレスおよび第１長さ情報に基づいてメモリからデータを並列に読み取り、並列に読み取られたデータをマシン学習アクセラレータに伝送する段階と、を含み、マシン学習アクセラレータは、並列に読み取られたデータのうち、第１長さ情報に対応する第１データを圧縮解除して第１重みデータを生成し、第１長さ情報に対応する第２データを変換して、第１長さ情報が指す第１長さより短い第２長さを有する第３データを生成し、第２長さを有する第３データを圧縮解除して第２重みデータを生成し、第１重みデータおよび第２重みデータに基づいてマシン学習ベースの動作を遂行するように構成される、方法である。。
【発明の効果】
【０００９】
本発明の実施形態によれば、圧縮された重みデータをマシン学習アクセラレータにロードするＤＭＡ(Direct Memory Access)マスタは、同じ開始アドレスおよび同じ長さ情報を用いて同時にプログラムされ得る。したがって、圧縮された重みデータをローディングする時間が減少するマシン学習アクセラレータ、マシン学習アクセラレータを含むコンピューティング装置、およびデータをマシン学習アクセラレータにロードする方法が提供される。
【図面の簡単な説明】
【００１０】
本発明の少なくとも１つの実施形態によるコンピューティング装置を示す。
アクセラレータにローディングされる重みデータの圧縮された実施形態の例を示す。
コンピューティング装置が、圧縮された重みデータをアクセラレータにロードする方法の例を示す。
コンピューティング装置が、圧縮された重みデータをストレージ装置からメモリにロードする方法の例を示す。
図４の方法により圧縮された重みデータをストレージ装置からメモリにロードする過程の例を示す。
コンピューティング装置が、アクセラレータに圧縮された重みデータをロードする方法の例を示す。
本発明の少なくとも１つの実施形態によるデータコントローラおよび関連する構成要素を示す。
ドレイン回路の動作方法の例を示す。
本発明の少なくとも１つの実施形態によるデータコントローラおよび関連する構成要素を示す。
本発明の少なくとも１つの実施形態によるデータコントローラおよび関連する構成要素を示す。
図１０のデータコントローラのそれぞれの有効性モニタの動作方法の例を示す。
アクセラレータにローディングされる重みデータの圧縮された形態の別の例を示す。
図４の方法により圧縮された重みデータをストレージ装置からメモリにロードする過程の例を示す。
本発明の別の実施形態によるコンピューティング装置を示す。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許