特許ウォッチ

公開番号2025065042
公報種別公開特許公報(A)
公開日2025-04-17
出願番号2024171956
出願日2024-10-01
発明の名称アクセラレータ装置およびアクセラレータ装置を制御する方法
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.,ネイバーコーポレーション,NAVER Corporation
代理人弁理士法人ITOH
主分類G06N 3/063 20230101AFI20250410BHJP(計算;計数)
要約【課題】改善された動作速度および低減された電力消費を有し、マシン学習ベースの推論をサポートするアクセラレータ装置およびアクセラレータ装置を制御する方法を提供する。
【解決手段】本発明のアクセラレータ装置100は、外部装置と通信するインターフェース回路と、インターフェース回路を介して外部装置から受信する第1データを記憶するメモリと、メモリから提供される第1データに対してポーラエンコーディングを遂行し、ポーラエンコーディングの結果を第2データとして出力する可変長のポーラエンコーダと、第2データをロードするアクセラレータコアと、を備え、第1データは可変長を有し、圧縮された重みデータを含み、第2データは圧縮解除された重みデータを含み、アクセラレータコアは、第2データに基づいてマシン学習ベースの推論を遂行する。
【選択図】図1
特許請求の範囲【請求項１】
外部装置と通信するように構成されるインターフェース回路と、
前記インターフェース回路を介して受信される第１データを記憶するように構成されるメモリと、
前記メモリから提供される前記第１データに対してポーラエンコーディングを遂行し、前記ポーラエンコーディングの結果を第２データとして出力するように構成されるポーラエンコーダと、
前記第２データをロードするように構成されるアクセラレータコアと、を備え、
前記第１データは圧縮された重みデータを含み、
前記第２データは圧縮解除された重みデータを含み、
前記アクセラレータコアは、前記第２データに基づいてマシン学習ベースの推論を遂行するように構成され、
前記第１データは可変長を有する、アクセラレータ装置。
続きを表示（約 1,400 文字）【請求項２】
前記第１データは、前記メモリの帯域幅に基づいて、他の圧縮された重みデータと共に第１データチャンクとして前記ポーラエンコーダに提供される、請求項１に記載のアクセラレータ装置。
【請求項３】
前記第１データチャンクは、前記第１データに対応する第１長さ情報を含み、
前記ポーラエンコーダは、前記第１データチャンクから前記第１長さ情報を抽出し、前記第１長さ情報に基づいて前記第１データチャンクから前記第１データを収集するように構成される、請求項２に記載のアクセラレータ装置。
【請求項４】
前記ポーラエンコーダは、前記第１データにパディングデータを追加して固定長の第３データを生成し、前記第３データに対して前記ポーラエンコーディングを遂行して前記第２データを生成するように構成される、請求項３に記載のアクセラレータ装置。
【請求項５】
前記ポーラエンコーダは、前記第１データチャンクに含まれた前記他の圧縮された重みデータおよび前記第１データチャンクに続く第２データチャンクから第２長さ情報を抽出するように構成される、請求項２に記載のアクセラレータ装置。
【請求項６】
前記第１データは、前記メモリの帯域幅に基づいて少なくとも２つのデータチャンクに分割され、前記ポーラエンコーダに順次提供される、請求項１に記載のアクセラレータ装置。
【請求項７】
前記ポーラエンコーダは、前記少なくとも２つのデータチャンクのうち第１データチャンクから第１長さ情報を抽出し、前記第１長さ情報に対応するデータが収集されるまでデータチャンクを受信するように構成される、
請求項６に記載のアクセラレータ装置。
【請求項８】
外部装置と通信するように構成されるインターフェース回路と、
前記インターフェース回路を介して受信される第１データを記憶するように構成されるメモリと、
前記メモリから提供される前記第１データに対してポーラエンコーディングを遂行し、前記ポーラエンコーディングの結果を第２データとして出力するように構成されるポーラエンコーダと、
前記第２データをロードするように構成されるアクセラレータコアと、を備え、
前記第１データは圧縮された重みデータを含み、
前記第２データは圧縮解除された重みデータを含み、
前記アクセラレータコアは、前記第２データに基づいてマシン学習ベースの推論を遂行するように構成され、
前記第２データは可変長を有する、アクセラレータ装置。
【請求項９】
前記第１データは、前記メモリの帯域幅に基づいて第１データチャンクに含まれ、前記ポーラエンコーダに提供される、請求項８に記載のアクセラレータ装置。
【請求項１０】
前記第１データチャンクは、前記第１データに対応する第１長さ情報をさらに含み、
前記ポーラエンコーダは、前記第１データチャンクから前記第１長さ情報を抽出し、前記第１データに対して前記ポーラエンコーディングを遂行して第３データを生成し、前記第１長さ情報に基づいて前記第３データら前記第２データを抽出するように構成される、請求項９に記載のアクセラレータ装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は電子装置に関し、より詳しくは、アクセラレータ装置およびアクセラレータ装置を制御する方法に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
コンピューティング装置は電子装置の一種であり、オペレーティングシステムに基づいて多様なアプリケーションを実行することができる。コンピューティング装置は、オペレーティングシステムおよびアプリケーションを実行するためのメインプロセッサであり、中央処理ユニット、アプリケーションプロセッサなどを含み得る。
【０００３】
コンピューティング装置で遂行されるタスクの種類が多様になるにつれて、メインプロセッサをサポートするように構成されるアクセラレータ装置がコンピューティング装置に追加される。例えば、アクセラレータ装置は、イメージプロセッサ、グラフィックプロセッサなどを含み得る。アクセラレータ装置は、メインプロセッサとは分離された半導体パッケージで実現されるか、またはメインプロセッサと同じ半導体パッケージで互いに区別されるコアで実現される。
【０００４】
コンピューティング装置で遂行されるタスクとして、マシン学習ベースの推論が追加される。マシン学習ベースの推論は多数の並列演算を必要とし、並列演算をサポートするグラフィックプロセッサを用いて遂行される。しかしながら、グラフィックプロセッサはマシン学習のために設計されたプロセッサではなく、したがってマシン学習をサポートするのに限界を有し得る。
【先行技術文献】
【特許文献】
【０００５】
韓国公開特許第１０－２０１５－０１３３２５４号公報
米国特許出願公開第２０１６/００１３８８７号明細書
韓国公開特許第１０－２０１９－００５１２４５号公報
米国特許出願公開第２０１９/０１４０６５５号明細書
韓国登録特許第１０－２１２５５２０号公報
米国特許出願公開第２０１４/０２０８１８３号明細書
韓国登録特許第１０－１９５１６６３号公報
米国特許第１０,６８６,４７３号明細書
米国特許出願公開第２０２３/０１２４６６４号明細書
米国特許第５,９２０,３５３号明細書
米国特許第９,４５４,５５２号明細書
米国特許第１０,４７６,５２０号明細書
米国特許第１１,３２９,６６７号明細書
米国特許第１１,２６５,０２０号明細書
米国特許出願公開第２０２２/０２２４９４７号明細書
【非特許文献】
【０００６】
「Encoding Weights of Irregular Sparsity for Fixed-to-Fixed Model Compression」Bae Seong Park Et al., ICLR 2022 Conference Program Chairs．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、改善された動作速度および低減された電力消費を有し、マシン学習ベースの推論をサポートするアクセラレータ装置およびアクセラレータ装置を制御する方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の実施形態によるアクセラレータ装置は、外部装置と通信するように構成されるインターフェース回路と、インターフェース回路を介して受信される第１データを記憶するように構成されるメモリと、メモリから提供される第１データに対してポーラエンコーディングを遂行し、ポーラエンコーディングの結果を第２データとして出力するように構成されるポーラエンコーダと、第２データをロードするように構成されるアクセラレータコアと、を備え、第１データは圧縮された重みデータを含み、第２データは圧縮解除された重みデータを含み、アクセラレータコアは、第２データに基づいてマシン学習ベースの推論を遂行するように構成され、そして第１データは可変長を有する。
【０００９】
本発明の実施形態によるアクセラレータ装置は、外部装置と通信するように構成されるインターフェース回路と、インターフェース回路を介して受信される第１データを記憶するように構成されるメモリと、メモリから提供される第１データに対してポーラエンコーディングを遂行し、ポーラエンコーディングの結果を第２データとして出力するように構成されるポーラエンコーダと、第２データをロードするように構成されるアクセラレータコアと、を備え、第１データは圧縮された重みデータを含み、第２データは圧縮解除された重みデータを含み、アクセラレータコアは、第２データに基づいてマシン学習ベースの推論を遂行するように構成され、そして第２データは可変長を有する。
【００１０】
ポーラエンコーダおよびアクセラレータコアを含む本発明の実施形態によるアクセラレータ装置を制御する方法は、第１データをポーラエンコーダに入力する段階と、ポーラエンコーダが第１データに対してポーラエンコーディングを遂行して第２データを生成する段階と、第２データをアクセラレータコアにロードする段階と、アクセラレータコアが第２データに基づいてマシン学習ベースの推論を遂行する段階と、を備え、第１データは圧縮された重みデータを含み、第２データは圧縮解除された重みデータを含み、そして第１データおよび第２データのうち１つのデータは可変長を有する。
【発明の効果】
（【００１１】以降は省略されています）

関連特許