特許ウォッチ

公開番号2025065006
公報種別公開特許公報(A)
公開日2025-04-17
出願番号2024165735
出願日2024-09-25
発明の名称演算装置および方法
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.,ネイバーコーポレーション,NAVER Corporation
代理人弁理士法人ITOH
主分類G06G 7/60 20060101AFI20250410BHJP(計算;計数)
要約【課題】一実施例は、異なるデータタイプを有する入力データに対する乗算演算を行うことができる演算装置および方法を提供する。
【解決手段】一実施例に係る演算装置は、第1データタイプの第1入力データおよび前記第1データタイプと異なる第2データタイプの第2入力データを受信し、前記第1データタイプを示す第1信号、前記第2データタイプを示す第2信号、および前記第1入力データと前記第2入力データのビット(bit)数に基づいたクロック信号を出力する制御器と、前記第1信号、前記第2信号、および前記クロック信号に基づいて前記第1入力データおよび前記第2入力データに対する乗算演算を行って出力データを生成する演算回路と、を含み得る。
【選択図】図6
特許請求の範囲【請求項１】
第１データタイプの第１入力データおよび前記第１データタイプと異なる第２データタイプの第２入力データを受信し、前記第１データタイプを示す第１信号、前記第２データタイプを示す第２信号、および前記第１入力データと前記第２入力データのビット（ｂｉｔ）数に基づいたクロック信号を出力する制御器と、
前記第１信号、前記第２信号、および前記クロック信号に基づいて前記第１入力データおよび前記第２入力データに対する乗算演算を行って出力データを生成する演算回路と、
を含む、演算装置。
続きを表示（約 1,500 文字）【請求項２】
前記第１入力データは、符号データおよび整数データを含み、
前記第２入力データは、符号データ、指数データ、および仮数データを含む、請求項１に記載の演算装置。
【請求項３】
前記演算回路は、
前記出力データの符号データを、出力する第１回路と、
前記第１信号および前記第２信号に基づいて前記出力データの指数データを、出力する第２回路と、
前記クロック信号に基づいて前記出力データの仮数データを出力する第３回路と、を含む、請求項２に記載の演算装置。
【請求項４】
前記第１回路は、前記第１入力データの符号データと前記第２入力データの符号データを受信し、前記出力データの符号データを出力する排他的論理和（ＥｘｃｌｕｓｉｖｅＯＲ、ＸＯＲ）ゲートを含む、請求項３に記載の演算装置。
【請求項５】
前記第２回路は、
前記第２入力データの指数データを出力する、請求項３に記載の演算装置。
【請求項６】
前記第３回路は、
前記第１入力データの整数データに対応する第１データと前記第２入力データの仮数データに対応する第２データを受信し、前記第１データと前記第２データに対する乗算演算を行う、請求項３に記載の演算装置。
【請求項７】
第１ビット数の第１データと前記第１ビット数と異なる第２ビット数の第２データに対する乗算演算を行う演算装置であって、
前記第１ビット数に基づいてクロック信号のサイクル回数をカウンティングするカウンターの出力信号を受信する選択ノードおよび前記第１データのそれぞれのビット値を受信する複数の入力ノードを含む第１マルチプレクサーと、
前記第１マルチプレクサーの出力データを受信する選択ノード、第１値を受信する第１入力ノード、および前記第２データまたはシフタから前記第２データを１ビットずつシフトしたデータを受信する第２入力ノードを含む第２マルチプレクサーと、
前記クロック信号に基づいて前記第２マルチプレクサーの出力データを加算演算する第１加算器と、
を含む、演算装置。
【請求項８】
前記第１マルチプレクサーは、前記カウンターの出力信号に基づいて、前記第１データのビット値のうち、最下位ビット値から順次に１ビットずつ出力し、
前記第２マルチプレクサーは、前記第１マルチプレクサーの出力データが「０」であると、前記第１値を出力し、前記第１マルチプレクサーの出力データが「１」であると、前記第２データまたは前記シフタの出力データを出力する、請求項７に記載の演算装置。
【請求項９】
前記第１ビット数は、前記第２ビット数より少ない、請求項７に記載の演算装置。
【請求項１０】
データを保存するメモリと、
前記メモリから入力データに対応する入力行列および重み行列を受信し、前記入力行列と前記重み行列に対する行列内積演算を行い、前記行列内積演算の実行結果を出力行列として出力するニューラルプロセッシングユニットと、
を含むニューラルプロセッシングシステムであって、
前記入力行列は、第１データタイプの要素（ｅｌｅｍｅｎｔｓ）を含み、前記重み行列は、前記第１データタイプと異なる第２データタイプの要素を含み、
前記ニューラルプロセッシングユニットは、前記第１データタイプおよび前記第２データタイプに基づいて、前記入力行列の要素の指数データまたは前記重み行列の要素の指数データを前記出力行列の要素の指数データとして出力する演算装置を含む、
ニューラルプロセッシングシステム。

発明の詳細な説明【技術分野】
【０００１】
開示内容は、演算装置および方法に関するものである。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
人工知能（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）の一分野のディープラーニング（ＤｅｅｐＬｅａｒｎｉｎｇ）は、複雑なデータのパターンを認識して精巧な予測を可能にする。一般に、ディープラーニングは、学習用データを活用してニューラルネットワークモデルを学習させる学習ステップ（ｔｒａｉｎｉｎｇ）と、学習済みのニューラルネットワークモデルに新たなデータを入力して出力を得る推論ステップ（ｉｎｆｅｒｅｎｃｅ）とから構成される。このようなディープラーニングは、ニューラルネットワークを深く構成するほどさらに精巧な予測が可能で性能を向上させることができる一方で、これは莫大な演算量によって、より多くの電力を必要とし、速度が低下するという問題がある。
【０００３】
一方、ニューラルネットワークは、精巧な予測のために多くのレイヤーを含むことがあり、そのために演算の複雑度が増加することがある。したがって、演算の複雑度を減少させるために、浮動少数点データを整数にマッピングするなどのアルゴリズム軽量化技術が用いられている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一実施例は、異なるデータタイプを有する入力データに対する乗算および累積演算を行うことができる演算装置および方法を提供しようとする。
【０００５】
一実施例は、異なる精度（ｐｒｅｃｉｓｉｏｎ）を有する入力データに対する乗算および累積演算を行うことができる演算装置および方法を提供しようとする。
【課題を解決するための手段】
【０００６】
一実施例に係る演算装置は、第１データタイプの第１入力データおよび前記第１データタイプと異なる第２データタイプの第２入力データを受信し、前記第１データタイプを示す第１信号、前記第２データタイプを示す第２信号、および前記第１入力データと前記第２入力データのビット（ｂｉｔ）数に基づいたクロック信号を出力する制御器と、前記第１信号、前記第２信号、および前記クロック信号に基づいて前記第１入力データおよび前記第２入力データに対する乗算演算を行って出力データを生成する演算回路と、を含み得る。
【０００７】
一実施例に係る演算装置は、第１ビット数の第１データと前記第１ビット数と異なる第２ビット数の第２データに対する乗算演算を行う演算装置であって、前記第１ビット数に基づいてクロック信号のサイクル回数をカウンティングするカウンターの出力信号を受信する選択ノードおよび前記第１データのそれぞれのビット値を受信する複数の入力ノードを含む第１マルチプレクサーと、前記第１マルチプレクサーの出力データを受信する選択ノード、第１値を受信する第１入力ノード、および前記第２データまたは前記第２データを１ビットずつシフトしたデータを受信する第２入力ノードを含む第２マルチプレクサーと、前記クロック信号に基づいて前記第２マルチプレクサーの出力データを加算演算する第１加算器と、を含み得る。
【０００８】
一実施例に係るニューラルプロセッシングシステムは、データを保存するメモリと、前記メモリから入力データに対応する入力行列および重み行列を受信し、前記入力行列と前記重み行列に対する行列内積演算を行い、前記行列内積演算の実行結果を出力行列として出力するニューラルプロセッシングユニットを含むニューラルプロセッシングシステムであって、前記入力行列は、第１データタイプの要素（ｅｌｅｍｅｎｔｓ）を含み、前記重み行列は、前記第１データタイプと異なる第２データタイプの要素を含み、前記ニューラルプロセッシングユニットは、前記第１データタイプおよび前記第２データタイプに基づいて、前記入力行列の要素の指数データまたは前記重み行列の要素の指数データを前記出力行列の要素の指数データとして出力する演算装置を含み得る。
【図面の簡単な説明】
【０００９】
図１は、一実施例に係るニューラルプロセッシングシステムを示すブロック図である。
図２は、一実施例に係るニューラルネットワーク演算を説明するための図である。
図３は、入力データフォーマットを説明するための図である。
図４は、比較例に係る演算回路を示す図である。
図５は、一実施例に係るニューラルプロセッシングユニットの動作方法を説明するためのフローチャートである。
図６は、一実施例に係る演算装置の概略的なブロック図である。
図７は、一実施例に係る演算回路の概略的なブロック図である。
図８は、一実施例に係る指数演算部を示す図である。
図９は、一実施例に係る仮数演算部を示す図である。
図１０は、図９に係る仮数演算部の演算方法を説明するための図である。
図１１は、一実施例に係る仮数演算部で行われる演算のタイミング図を示す。
図１２は、他の実施例に係る仮数演算部で行われる演算のタイミング図を示す。
図１３は、一実施例に係るマルチヘッドアテンションを説明するための例示的な図である。
図１４は、図１３のスケール化内積アテンションを説明するための例示的な図である。
【発明を実施するための形態】
【００１０】
以下では、添付の図面を参考として、本発明の実施例に対して本発明の属する技術分野における通常の知識を有する者が容易に実施できるように詳しく説明する。しかし、本発明は、色々な異なる形態で具現することができ、ここで説明する実施例に限定されない。
（【００１１】以降は省略されています）

関連特許