特許ウォッチ

公開番号2025114508
公報種別公開特許公報(A)
公開日2025-08-05
出願番号2025008121
出願日2025-01-21
発明の名称人工知能演算を遂行するように構成されたアクセラレータ、アクセラレータの動作方法およびアクセラレータを含む人工知能システム
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.,ネイバーコーポレーション,NAVER Corporation
代理人弁理士法人ITOH
主分類G06N 3/063 20230101AFI20250729BHJP(計算;計数)
要約【課題】本発明の目的は、減少したコスト(費用)と向上した性能を有する人工知能演算を遂行するように構成されたアクセラレータ、アクセラレータの動作方法およびアクセラレータを含む人工知能システムを提供することにある。
【解決手段】本発明によれば、人工知能(AI:artificial intelligence)演算を遂行するように構成されたアクセラレータは、メモリからロードされた第1活性データおよび第1重みデータに対する第1演算を遂行して第1結果データを生成するように構成された処理部と、第1結果データに対する量子化を遂行して第1出力データを生成するように構成された量子化器と、を備える。第1活性データ、第1重みデータおよび第1出力データは低精度タイプであり、第1結果データは高精度タイプであり、第1出力データはメモリに記憶される。
【選択図】図2
特許請求の範囲【請求項１】
人工知能（ＡＩ：artificial intelligence）演算を遂行するように構成されたアクセラレータであって、
メモリからロードされた第１活性データおよび第１重みデータに対する第１演算を遂行して、第１結果データを生成するように構成された処理部と、
前記第１結果データに対して量子化を遂行して第１出力データを生成するように構成された量子化器と、を備え、
前記第１活性データ、前記第１重みデータおよび前記第１出力データは低精度タイプであり、前記第１結果データは高精度タイプであり、
前記第１出力データは前記メモリに記憶される、
アクセラレータ。
続きを表示（約 1,600 文字）【請求項２】
前記第１出力データのサイズは、前記第１結果データのサイズより小さい、
請求項１に記載のアクセラレータ。
【請求項３】
前記高精度タイプは、ＢＦ１６（Brain Floating Point Format）タイプ、ＦＰ１６（half-precision IEEE Floating Point Format）タイプ、ＦＰ３２（Single-precision floating-point format）タイプおよびＦＰ６４（Double-precision floating-point format）タイプのうち、少なくとも１つを含み、
前記低精度タイプは、ＩＮＴ４タイプ、ＩＮＴ８タイプおよびＩＮＴ１６タイプのうち少なくとも１つを含む、
請求項１に記載のアクセラレータ。
【請求項４】
前記第１演算は、前記第１活性データと前記第１重みデータに対するＭＡＣ（multiply and accumulate）演算である、
請求項１に記載のアクセラレータ。
【請求項５】
前記量子化器は、
前記第１結果データを受信するように構成されたラウンドロビンスイッチと、
前記ラウンドロビンスイッチから受信された前記第１結果データに対する量子化を遂行し、前記第１出力データを生成するように構成された複数の量子化コアと、
前記複数の量子化コアのそれぞれを制御するように構成された制御ロジック回路と、を含み、
前記複数の量子化コアによって生成された前記第１出力データは、前記ラウンドロビンスイッチを介して前記メモリに転送される、
請求項１に記載のアクセラレータ。
【請求項６】
前記複数の量子化コアのそれぞれは、並列に量子化を行う、
請求項５に記載のアクセラレータ。
【請求項７】
前記複数の量子化コアのそれぞれは、
前記ラウンドロビンスイッチから受信された前記第１結果データのフォーマットを変更し、中間結果を格納するように構成された入力リフォーマッタと、
前記入力リフォーマッタから受信された入力データに対する演算を遂行し、前記第１結果データを生成するように構成された変換回路と、
前記変換回路から生成された前記第１結果データを格納し、前記第１結果データを前記ラウンドロビンスイッチに出力するように構成された出力リフォーマッタと、を含む、
請求項５に記載のアクセラレータ。
【請求項８】
前記変換回路は、
前記入力データの符号を管理するように構成された符号演算モジュールと、
前記入力データに対するスカラー演算を遂行するように構成されたスカラー演算モジュールと、
前記入力データに対するベクトル-スカラー演算を遂行するように構成されたベクトル-スカラー演算モジュールと、
前記入力データに対するベクトル-ベクトル演算を遂行するように構成されたベクトル-ベクトル演算モジュールと、を含む、
請求項７に記載のアクセラレータ。
【請求項９】
前記制御ロジック回路は、前記複数の量子化コアのそれぞれで遂行される量子化アルゴリズムに応じて、前記複数の量子化コアのそれぞれの前記入力リフォーマッタ、前記出力リフォーマッタ、前記符号演算モジュール、前記スカラー演算モジュール、前記ベクトル-スカラー演算モジュールおよび前記ベクトル-ベクトル演算モジュールを順次制御する、
請求項８に記載のアクセラレータ。
【請求項１０】
前記量子化器は、ＢＣＱ（Binary Coding based Quantization）に基づいて量子化を行う、
請求項１に記載のアクセラレータ。

発明の詳細な説明【技術分野】
【０００１】
本発明は、人工知能システムに関し、より詳細には、人工知能演算を遂行するように構成されたアクセラレータ（加速器）、アクセラレータの動作方法およびアクセラレータを含む人工知能システムに関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
最近、人工知能は、自然言語の理解、自然言語の翻訳、ロボティクス、人工視覚、問題解決、学習、知識の獲得、認知科学のような多様な分野で広く活用されているコンピュータ科学の１つの分野である。
【０００３】
人工知能は、多様なアルゴリズムに基づいて実施されている。一例として、ニューラルネットワーク（神経網：neural network）は、ノード（node）とシナプス（synapse）が繰り返し連結された複雑なネットワークから構成される。現在のノードから次のノードにデータが移動する過程で、対応するシナプスに応じて多様な信号処理が発生することができ、このような信号処理過程はレイヤ(Layer)と呼ばれる。すなわち、ニューラルネットワークは、相互に複雑に連結された多様なレイヤを含み得る。ニューラルネットワークに含まれる多様なレイヤは、大量の演算を必要とするため、これを最適化するための多様な方法が研究されている。言い換えれば、シングル-レイヤでは演算量が多いため、演算の最適化を少しだけ改善しても、マルチ-レイヤの速度、効率性、消費電力などに大きな影響を与えることができる。
【先行技術文献】
【特許文献】
【０００４】
米国特許出願公開第２０２２/００４４１１４号明細書
米国特許第１１、４６１、６１４号明細書
米国特許第１１、５５６、７７２号明細書
中国公開特許第１１６０５０４６４号公報
中国公開特許第１１６４３２７１２号公報
中国公開特許第１１６５０２６９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、減少したコスト（費用）と向上した性能を有する人工知能演算を遂行するように構成されたアクセラレータ、アクセラレータの動作方法およびアクセラレータを含む人工知能システムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一実施形態によれば、人工知能(ＡＩ：artificial intelligence)演算を遂行するように構成されたアクセラレータは、メモリからロードされた第１活性データおよび第１重みデータに対する第１演算を遂行して、第１結果データを生成するように構成された処理部と、前記第１結果データに対する量子化を遂行して前記第１出力データを生成するように構成された量子化器と、を備える。前記第１活性データ、前記第１重みデータおよび前記第１出力データは低精度タイプであり、前記第１結果データは高精度タイプであり、前記第１出力データは前記メモリに格納される。
【０００７】
本発明の一実施形態によれば、人工知能(ＡＩ：artificial intelligence)演算を遂行するように構成されたアクセラレータの動作方法は、メモリから第１活性データおよび第１重みデータをロードする段階と、前記第１活性データおよび第１重みデータに対する第１演算を遂行して第１結果データを生成する段階と、前記第１結果データに対する量子化を遂行して第１出力データを生成する段階と、前記第１出力データを前記メモリに格納する段階と、を備える。前記第１活性データ、前記第１重みデータおよび前記第１出力データは低精度タイプであり、前記第１結果データは高精度タイプである。
【０００８】
本発明の一実施形態によれば、人工知能システムは、第１活性データおよび第１重みデータを記憶するように構成されたメモリと、前記メモリから前記第１活性データおよび前記第１重みデータをロードし、前記第１活性データおよび前記第１重みデータに対する第１演算を遂行して、第１結果データを生成し、前記第１結果データに対する量子化を遂行して第１出力データを生成するように構成されたアクセラレータと、前記メモリと前記アクセラレータを制御するように構成されたＣＰＵ（Central Processing Unit）と、を備える。前記第１活性データ、前記第１重みデータおよび前記第１出力データは低精度タイプであり、前記第１結果データは高精度タイプであり、前記第１出力データは前記メモリに記憶される。
【発明の効果】
【０００９】
本発明によれば、アクセラレータは人工知能モデルに対する演算を遂行することができる。このとき、アクセラレータは、アクセラレータの学習または推論中に生成される多様なデータに対する、量子化を遂行するように構成された量子化器を含み得る。したがって、アクセラレータの学習または推論中に生成される多様なデータ（例えば、活性(Activation)、重み(Weight)など）に対する容量が減少するため、多様なデータを格納またはロードするように構成されたメモリの必要な帯域幅および必要な容量が減少することができる。したがって、減少したコストと向上した性能を有する人工知能演算を遂行するように構成されたアクセラレータ、アクセラレータの動作方法およびアクセラレータを含む人工知能システムが提供される。
【図面の簡単な説明】
【００１０】
人工知能モデルを処理するように構成されたシステムを示すブロック図である。
本発明の一実施形態によるシステムを示すブロック図である。
図２のアクセラレータによって遂行されるディープラーニングを説明するための概念図である。
図２のアクセラレータで行われるＭＡＣ演算の概念を説明するための図である。
図２のアクセラレータの量子化器によって行われる量子化動作を説明するための図である。
図２のアクセラレータを示すブロック図である。
図６の量子化器を示すブロック図である。
図７の複数の量子化コアのうち１つの量子化コアを示すブロック図である。
図８の変換回路を示すブロック図である。
図２のアクセラレータの動作を示すフローチャートである。
図７の量子化器によって行われる量子化動作を説明するための図である。
図７の量子化器によって行われる量子化動作を説明するための図である。
図７の量子化器によって行われる量子化動作を説明するための図である。
図２のアクセラレータを示すブロック図である。
本発明の一実施形態によるアクセラレータの構造を示す図である。
本発明の一実施形態によるアクセラレータの構造を示す図である。
本発明の一実施形態によるアクセラレータの構成を示すブロック図である。
本発明の一実施形態によるシステムを示すブロック図である。
本発明の一実施形態によるシステムを示すブロック図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許