特許ウォッチ

公開番号2025073115
公報種別公開特許公報(A)
公開日2025-05-12
出願番号2024187872
出願日2024-10-25
発明の名称マトリックス乗算器、および、それを含むマトリックス乗算装置の動作方法
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.,ネイバーコーポレーション,NAVER Corporation
代理人弁理士法人ITOH
主分類G06N 3/063 20230101AFI20250501BHJP(計算;計数)
要約【課題】より速い速度およびより少ない演算量でマトリックス乗算を行うマトリックス乗算器及びマトリックス乗算装置を提供する。
【解決手段】マトリックス乗算器は、入力ベクトル及び複数の量子化スケール係数に基づいて、スケーリングされた入力ベクトルを生成する入力ベクトルスケーラと、スケーリングされた入力ベクトルに基づいて、固定小数点スケーリングされた入力ベクトルを生成する第1資料型変換器と、固定小数点スケーリングされた入力ベクトルと、複数の量子化符号値に基づいて、第1、第2固定小数点出力エレメントを生成するプロセッシングエレメントを含むプロセッシングエレメントアレイと、第1、第2固定小数点出力エレメントの資料型をそれぞれ変換して、第1、第2出力エレメントを生成し、第1、第2出力エレメントを含む出力ベクトルを出力する第2資料型変換器と、を含む。
【選択図】図7
特許請求の範囲【請求項１】
マトリックス乗算器であって、
第１入力ベクトル、複数の共通スケール係数、および、第１～第Ｒ倍率スケール係数に基づいて、第１量子化スケーリングされた入力ベクトルを生成する、入力ベクトルスケーラ（但し、Ｒは２以上の整数）と、
前記第１量子化スケーリングされた入力ベクトルに基づいて、第１固定小数点量子化スケーリングされた入力ベクトルを生成する、第１資料型変換器と、
前記第１固定小数点量子化スケーリングされた入力ベクトル、および、第１複数の量子化符号ビットに基づいて、第１固定小数点出力エレメントを生成する、第１プロセッシングエレメント、および、前記第１固定小数点量子化スケーリングされた入力ベクトルおよび第２複数の量子化符号ビットに基づいて、第２固定小数点出力エレメントを生成する、第２プロセッシングエレメントを含む、プロセッシングエレメントアレイと、
前記第１固定小数点出力エレメントおよび第２固定小数点出力エレメントの資料型をそれぞれ変換して、第１出力エレメントおよび第２出力エレメントを生成し、前記第１出力エレメントおよび第２出力エレメントを含む第１出力ベクトルを出力する、第２資料型変換器と、
を含む、マトリックス乗算器。
続きを表示（約 3,000 文字）【請求項２】
前記第１入力ベクトルは、第１入力エレメントおよび第２入力エレメントを含み、
前記第１量子化スケーリングされた入力ベクトルは、
前記第１入力エレメント、前記複数の共通スケール係数のうちの一つである第１共通スケール係数、および、前記第１～第Ｒ倍率スケール係数に基づいて生成される第１複数の量子化スケーリングされた入力エレメントと、
前記第２入力エレメント、前記複数の共通スケール係数のうちの一つである第２共通スケール係数、および、前記第１～第Ｒ倍率スケール係数に基づいて生成される第２複数の量子化スケーリングされた入力エレメントと、
を含む、請求項１に記載のマトリックス乗算器。
【請求項３】
前記入力ベクトルスケーラは、
前記第１入力エレメントおよび前記第１～第Ｒ倍率スケール係数に基づいて、第１～第Ｒ倍率でスケーリングされた入力エレメントを生成し、前記第２入力エレメントおよび前記第１～第Ｒ倍率スケール係数に基づいて、第（Ｒ＋１）～第（２Ｒ）倍率でスケーリングされた入力エレメントを生成する、倍率スケーリング回路と、
前記第１～第Ｒ倍率スケーリングされた入力エレメントそれぞれの前記第１共通スケール係数に対する積に基づいて、前記第１複数の量子化スケーリングされた入力エレメントを生成し、前記第（Ｒ＋１）～第（２Ｒ）倍率でスケーリングされた入力エレメントそれぞれの前記第２共通スケール係数に対する積に基づいて、前記第２複数の量子化スケーリングされた入力エレメントを生成する、共通スケーリング回路と、
を含む、請求項２に記載のマトリックス乗算器。
【請求項４】
前記入力ベクトルスケーラは、
前記第１入力エレメントおよび前記第１共通スケール係数の積に基づいて、第１共通スケーリングされた入力エレメントを生成し、前記第２入力エレメントおよび前記第２共通スケール係数の積に基づいて、第２共通スケーリングされた入力エレメントを生成する、共通スケーリング回路と、
前記第１～第Ｒ倍率スケール係数それぞれの前記第１共通スケーリングされた入力エレメントに対する積に基づいて、前記第１複数の量子化スケーリングされた入力エレメントを生成し、前記第１～第Ｒ倍率スケール係数それぞれの前記第２共通スケーリングされた入力エレメントに対する積に基づいて、前記第２複数の量子化スケーリングされた入力エレメントを生成する、倍率スケーリング回路と、
を含む、請求項２に記載のマトリックス乗算器。
【請求項５】
前記入力ベクトルスケーラは、
前記第１～第Ｒ倍率スケール係数それぞれの前記第１共通スケール係数に対する積に基づいて、第１～第Ｒ量子化スケール係数を生成し、前記第１～第Ｒ倍率スケール係数それぞれの前記第２共通スケール係数に対する積に基づいて、第（Ｒ＋１）～第（２Ｒ）量子化スケール係数を生成する、倍率スケーリング回路と、
前記第１入力エレメントおよび前記第１～第Ｒ量子化スケール係数に基づいて、前記第１複数の量子化スケーリングされた入力エレメントを生成し、前記第２入力エレメントおよび第（Ｒ＋１）～第（２Ｒ）量子化スケール係数に基づいて、前記第２複数の量子化スケーリングされた入力エレメントを生成する、第１量子化スケーリング回路と、
を含む、請求項２に記載のマトリックス乗算器。
【請求項６】
前記入力ベクトルスケーラは、
第２入力ベクトル、前記複数の共通スケール係数、および、前記第１～第Ｒ倍率スケール係数に基づいて、第２量子化スケーリングされた入力ベクトルを生成するように、さらに構成され、
前記第１資料型変換器は、
前記第２量子化スケーリングされた入力ベクトルに基づいて、第２固定小数点量子化スケーリングされた入力ベクトルを生成するように、さらに構成され、
前記プロセッシングエレメントアレイは、
前記第２固定小数点量子化スケーリングされた入力ベクトルおよび前記第１複数の量子化符号ビットに基づいて、第３固定小数点出力エレメントを生成する第３プロセッシングエレメント、および、前記第２固定小数点量子化スケーリングされた入力ベクトルおよび前記第２複数の量子化符号ビットに基づいて、第４固定小数点出力エレメントを生成する第４プロセッシングエレメントを、さらに含み、
前記第２資料型変換器は、
前記第３固定小数点出力エレメントおよび第４固定小数点出力エレメントの資料型をそれぞれ変換して、第３出力エレメントおよび第４出力エレメントを生成し、前記第３出力エレメントおよび第４出力エレメントを含む第２出力ベクトルを出力するように、さらに構成されている、
請求項５に記載のマトリックス乗算器。
【請求項７】
前記第２入力ベクトルは、第３入力エレメントおよび第４入力エレメントを含み、
前記入力ベクトルスケーラは、
前記第３入力エレメントおよび前記第１～第Ｒ量子化スケール係数に基づいて、前記第２量子化スケーリングされた入力ベクトルに含まれる、第３複数の量子化スケーリングされた入力エレメントを生成し、前記第４入力エレメントおよび前記第（Ｒ＋１）～第（２Ｒ）量子化スケール係数に基づいて、前記第２量子化スケーリングされた入力ベクトルに含まれる、第４複数の量子化スケーリングされた入力エレメントを生成する、第２量子化スケーリング回路を、
さらに含む、請求項６に記載のマトリックス乗算器。
【請求項８】
前記第１プロセッシングエレメントは、前記プロセッシングエレメントアレイの第１プロセッシングエレメントロウ、および、第１プロセッシングエレメントカラムに配置され、
前記第２プロセッシングエレメントは、前記プロセッシングエレメントアレイの前記第１プロセッシングエレメントロウ、および、第２プロセッシングエレメントカラムに配置され、
前記第３プロセッシングエレメントは、前記プロセッシングエレメントアレイの第２プロセッシングエレメントロウ、および、前記第１プロセッシングエレメントカラムに配置され、
前記第４プロセッシングエレメントは、前記プロセッシングエレメントアレイの前記第２プロセッシングエレメントロウ、および、前記第２プロセッシングエレメントカラムに配置される、
請求項６に記載のマトリックス乗算器。
【請求項９】
前記第１共通スケール係数は、浮動小数点資料型を有し、
前記倍率スケーリング回路は、
前記第１～第Ｒ倍率スケール係数に基づいて、前記第１共通スケール係数の指数部（ｅｘｐｏｎｅｎｔｐａｒｔ）の値を変更して、前記第１～第Ｒ量子化スケール係数を生成する、ように構成されている、
請求項５に記載のマトリックス乗算器。
【請求項１０】
前記第１～第Ｒ倍率スケール係数は、公比が２である等比数列を形成する、
請求項１に記載のマトリックス乗算器。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、半導体装置に関する。より詳しくは、本開示は、マトリックスの乗算を行うマトリックス乗算器、および、それを含むマトリックス乗算装置に関するものである。
続きを表示（約 4,900 文字）【背景技術】
【０００２】
最近、人工知能技術が発展するにつれて、人工知能モデルの演算量が急激に増加している。これにより、人工知能モデルの駆動時間を短縮させるための多様な技術が研究されている。
【０００３】
一般的に、人工知能モデルの動作時間の大部分はマトリックス乗算（ｍａｔｒｉｘｍｕｌｔｉｐｌｉｃａｔｉｏｎ）に使用されている。例えば、人工知能モデルは、入力マトリックスおよびウェイトマトリックスの乗算を行って出力マトリックスを演算する動作に大部分の駆動時間を使用する。これにより、ＢＣＱ（ＢｉｎａｒｙＣｏｄｉｎｇＱｕａｎｔｉｚａｔｉｏｎ）などのような、入力マトリックスおよびウェイトマトリックスの乗算を、より少ない演算量で行うための多様なアルゴリズムが研究されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、前述の技術的課題を解決するためのものである。より詳しくは、本開示の目的は、より速い速度、および、より少ない演算量でマトリックス乗算を行うように構成された、マトリックス乗算器、および、それを含むマトリックス乗算装置を提供することにある。
【課題を解決するための手段】
【０００５】
本開示の実施形態によるマトリックス乗算器は、第１入力ベクトル、複数の共通スケール係数、および、第１～第Ｒ倍率スケール係数に基づいて、第１量子化スケーリングされた入力ベクトルを生成する入力ベクトルスケーラ；前記第１量子化スケーリングされた入力ベクトルに基づいて、第１固定小数点量子化スケーリングされた入力ベクトルを生成する、第１資料型変換器；前記第１固定小数点量子化スケーリングされた入力ベクトルおよび第１複数の量子化符号ビットに基づいて、第１固定小数点出力エレメントを生成する、第１プロセッシングエレメント、および、前記第１固定小数点量子化スケーリングされた入力ベクトルおよび第２複数の量子化符号ビットに基づいて、第２固定小数点出力エレメントを生成する第２プロセッシングエレメントを含む、プロセッシングエレメントアレイ；および、前記第１固定小数点出力エレメントおよび第２固定小数点出力エレメントの資料型をそれぞれ変換して、第１出力エレメントおよび第２出力エレメントを生成し、前記第１出力エレメントおよび第２出力エレメントを含む第１出力ベクトルを出力する、第２資料型変換器、を含むことができる。
【０００６】
本開示の実施形態によるマトリックス乗算装置の動作方法は、外部装置から第１～第Ｎウェイトを受信する段階；前記第１～第Ｎウェイトを均等バイナリコーディング量子化（ｕｎｉｆｏｒｍｂｉｎａｒｙｃｏｄｉｎｇｑｕａｎｔｉｚａｔｉｏｎ）して、第１～第Ｎ共通スケール係数、第１～第Ｒ倍率スケール係数、および、第１～第（Ｎ×Ｒ）量子化符号ビットを生成する段階；前記外部装置から第１～第Ｎ入力エレメントを受信する段階；前記第１～第Ｎ共通スケール係数および第１～第Ｒ倍率スケール係数に基づいて、前記第１～第Ｎ入力エレメントを量子化スケーリングして、第１～第（Ｎ×Ｒ）量子化スケーリングされた入力エレメントを生成する段階；および、前記第１～第（Ｎ×Ｒ）量子化符号ビットおよび前記第１～第（Ｎ×Ｒ）量子化スケーリングされた入力エレメントに基づいて生成された第１出力エレメントを出力する段階、を含むことができる。
【０００７】
本開示の実施形態によるマトリックス乗算器は、第１入力ベクトル、および、第１～第Ｒ倍率スケール係数に基づいて第１倍率スケーリングされた入力ベクトルを生成する、入力ベクトルスケーラ；前記第１倍率スケーリングされた入力ベクトルに基づいて、第１固定小数点倍率スケーリングされた入力ベクトルを生成する、第１資料型変換器；前記第１固定小数点倍率スケーリングされた入力ベクトルおよび第１複数の量子化符号ビットに基づいて、第１固定小数点部分積を生成する第１プロセッシングエレメントを含む、プロセッシングエレメントアレイ；前記第１固定小数点部分積の資料型を変換して第１部分積を生成する、第２資料型変換器；および、前記第１部分積および第１共通スケール係数の積に基づいて第１出力エレメントを生成し、前記第１出力エレメントを含む第１出力ベクトルを出力する、共通スケーラを含むことができる。
【発明の効果】
【０００８】
本開示の実施形態によれば、マトリックス乗算器の演算量を減少させることができる。
【図面の簡単な説明】
【０００９】
本開示の実施形態による、マトリックス乗算装置を示すブロック図である。
図１の入力マトリックスおよびウェイトマトリックスを直接掛けるように実現された、マトリックス乗算装置の動作を示す図である。
図１の均等ＢＣＱ回路の動作を示す図である。
図１の均等ＢＣＱ回路の動作を示す図である。
ウェイトマトリックスのカラム別にバイナリコーディング量子化動作を行う、図１の均等ＢＣＱ回路の動作を示す図である。
図５の実施形態による、マトリックス乗算器の動作を示す図である。
図４の実施形態による、図１のマトリックス乗算器の構成を示すブロック図である。
図７の入力ベクトルスケーラの構成を示すブロック図である。
図８の倍率スケーリング回路の動作を、より詳細に示す図である。
図８の倍率スケーリング回路が倍率スケーリング動作を行う方式を、より詳細に示す図である。
図７の第１資料型変換器の構成を示す図である。
図１１の指数抽出回路の動作を示す図である。
図１１の資料型変換回路の動作を示す図である。
図７のプロセッシングエレメントアレイの構成を、より詳細に示すブロック図である。
図７のマトリックス乗算器の一部動作を、より詳細に示すブロック図である。
図１５の第１プロセッシングエレメントロウの動作を、より詳細に示すブロック図である。
一実施形態によって実現された、図１６のプロセッシングエレメントのうちの一つの構成を示す図である。
図７の第２資料型変換器の動作を示す図である。
図１のマトリックス乗算装置の動作を示すフローチャートである。
図１９のＳ１５０段階を、より詳細に示すフローチャートである。
図１のマトリックス乗算装置の動作を示すフローチャートである。
図２１のＳ２５０段階を、より詳細に示すフローチャートである。
一開示の実施形態による図１のＢＣＱ回路の動作を示す図である。
図２３の実施形態によって近似されたウェイトマトリックスを示す図である。
図２４の量子化符号ビットマトリックスを示す図である。
本開示の実施形態によって実現された、図１のマトリックス乗算器の構成を示すブロック図である。
一実施形態による、図２６の入力ベクトルスケーラの構成を示すブロック図である。
図２７の共通スケーリング回路の動作を、より詳細に示す図である。
一実施形態による、図２６の入力ベクトルスケーラの構成を示すブロック図である。
図２９の共通スケーリング回路の動作を、より詳細に示す図である。
図２９の倍率スケーリング回路の動作を、より詳細に示す図である。
一実施形態による、図２６の入力ベクトルスケーラの構成を示すブロック図である。
図３２の倍率スケーリング回路の動作を、より詳細に示す図である。
図３２の量子化スケーリング回路の動作を、より詳細に示す図である。
図２６の第１資料型変換器の構成を示すブロック図である。
図２６のプロセッシングエレメントアレイの構成を、より詳細に示すブロック図である。
図３６のプロセッシングエレメントの動作を、より詳細に示すブロック図である。
一実施形態によって実現された、図３６のプロセッシングエレメントのうちの一つの構成を示す図である。
図２６の第２資料型変換器の動作を示す図である。
図１のマトリックス乗算装置の動作を示すフローチャートである。
図４０のＳ３５０段階を、より詳細に示すフローチャートである。
図１のマトリックス乗算装置の動作を示すフローチャートである。
一実施形態によって実現された図４２のＳ４４０段階を、より詳細に示すフローチャートである。
一実施形態によって実現された図４２のＳ４４０段階を、より詳細に示すフローチャートである。
一実施形態によって実現された図４２のＳ４４０段階を、より詳細に示すフローチャートである。
図４２のＳ４５０段階を、より詳細に示すフローチャートである。
一実施形態による、図１のＢＣＱ回路の動作を示す図である。
一実施形態によって実現された図１のマトリックス乗算器の構成を示すブロック図である。
一実施形態による、図４８の入力ベクトルスケーラの構成を示すブロック図である。
図４９の倍率スケーリング回路の動作を、より詳細に示す図である。
図４９の共通スケーリング回路の動作を、より詳細に示す図である。
一実施形態による、図４８の入力ベクトルスケーラの構成を示すブロック図である。
図５２の共通スケーリング回路の動作を、より詳細に示す図である。
一実施形態による、図５２の倍率スケーリング回路の動作を、より詳細に示す図である。
一実施形態による、図４８の入力ベクトルスケーラの構成を示すブロック図である。
図５５の倍率スケーリング回路の動作を、より詳細に示す図である。
図５５の量子化スケーリング回路の動作を、より詳細に示す図である。
図４８のプロセッシングエレメントアレイの動作を、より詳細に示す図である。
シストリックアレイ（ｓｙｓｔｏｌｉｃａｒｒａｙ）方式で実現された、図２６のプロセッシングエレメントアレイを示すブロック図である。
図５９のプロセッシングエレメントの構成を、より詳細に示す図である。
一実施形態による、図１のマトリックス乗算装置の動作を示す図である。
図６１のフル－入力マトリックスを示す図である。
図６１のフル－ウェイトマトリックスを示す図である。
図６１のフル－出力マトリックスを示す図である。
一実施形態によって実現された、ニューラルプロセッシングシステムを示すブロック図である。
図６５のニューラルプロセッシングシステムが駆動する人工知能モデル、を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下では、本開示の技術分野で通常の知識を有する者が本開示を容易に実施することができる程度に、本開示の実施形態が、明確且つ詳細に記載される。詳細な構成および構造のような細部的な事項は、単純に本開示の実施形態の全般的な理解を助けるために提供される。したがって、本開示の技術的思想および範囲からの離脱なく、本文に記載された実施形態の変形は、当業者が行うことができる。さらに、よく知られた機能および構造に関する説明は、明確性および簡潔性のために省略される。以下の図面または詳細な説明での構成は、図面に示されるか、または、詳細な説明に記載された構成要素以外に他のものと連結できる。本文で使用された用語は、本開示の機能を考慮して定義された用語であり、特定機能に限定されない。用語の定義は、詳細な説明に記載された事項を基盤にして決定される。
（【００１１】以降は省略されています）

関連特許