特許ウォッチ

公開番号2025117692
公報種別公開特許公報(A)
公開日2025-08-13
出願番号2024012553
出願日2024-01-31
発明の名称演算装置
出願人株式会社Preferred Networks,国立大学法人神戸大学
代理人個人,個人
主分類G06F 7/483 20060101AFI20250805BHJP(計算;計数)
要約【課題】回路規模の増大を抑制しつつ、複数の精度の浮動小数点数データの行列演算を実行する。
【解決手段】演算装置は、浮動小数点数データの仮数部の行列乗算を実行可能な演算装置であって、それぞれが、前記仮数部のデータペアを乗算する複数の乗算器と、複数の乗算器による乗算結果及び補正値を加算する第1加算器と、を含む複数の積和演算回路と、複数の前記積和演算回路から出力される演算結果を加算し、加算結果を複数種の浮動小数点数フォーマットのいずれかの仮数部のデータの行列乗算結果として出力する加算回路と、を有する。
【選択図】図2
特許請求の範囲【請求項１】
浮動小数点数データの仮数部の行列乗算を実行可能な演算装置であって、
それぞれが、前記仮数部のデータペアを乗算する複数の乗算器と、複数の前記乗算器による乗算結果及び補正値を加算する第１加算器と、を含む複数の積和演算回路と、
複数の前記積和演算回路から出力される演算結果を加算し、加算結果を複数種の浮動小数点数フォーマットのいずれかの仮数部のデータの行列乗算結果として出力する加算回路と、を有する、
演算装置。
続きを表示（約 1,600 文字）【請求項２】
複数の前記積和演算回路は、前記乗算器にそれぞれ接続される複数の第２加算器と、複数の前記第２加算器と前記第１加算器との間に接続されたシフタとをそれぞれ含む、
請求項１に記載の演算装置。
【請求項３】
前記積和演算回路に供給される前記仮数部のデータペアの各々のビット数が複数の前記乗算器のそれぞれが処理できるビット数より多い場合、複数の前記乗算器は、前記仮数部のデータペアの各々を分割して得られる複数の部分仮数データのいずれかを組み合わせた複数の部分仮数データペアのうち、より上位ビット側の組み合わせの前記部分仮数データペアの乗算を複数の前記乗算器に割り当てて実行し、
前記補正値は、複数の前記乗算器に割り当てられない前記部分仮数データペアの代わりに前記第１加算器に入力される、
請求項１に記載の演算装置。
【請求項４】
前記積和演算回路は、複数の前記乗算器に割り当てられない前記部分仮数データペアに基づいて前記補正値を生成する補正値生成回路を有する、
請求項３に記載の演算装置。
【請求項５】
実行する行列乗算の種類と前記浮動小数点数フォーマットとを識別する制御情報を前記浮動小数点数データの仮数部のデータペアとともに前記積和演算回路に出力する命令出力回路を有し、
前記補正値生成回路は、前記制御情報に基づいて前記補正値を生成するか否かを判断する、
請求項４に記載の演算装置。
【請求項６】
前記積和演算回路は、前記制御情報に基づいて複数の前記乗算器のうちの一部の乗算器の動作を停止する、
請求項５に記載の演算装置。
【請求項７】
前記加算回路は、
２つの前記積和演算回路からそれぞれ出力される２つの演算結果を加算する複数の第３加算器と、
２つの前記第３加算器から出力される加算結果を加算する複数の第４加算器と、を有し、
第１浮動小数点数フォーマットの仮数部のデータペアが前記積和演算回路にそれぞれ供給される場合、前記第３加算器は、前記第１浮動小数点数フォーマットの仮数部のデータの行列乗算結果を出力し、
仮数部のビット数が前記第１浮動小数点数フォーマットの仮数部のビット数より多い第２浮動小数点数フォーマットの仮数部のデータペアが前記積和演算回路にそれぞれ供給される場合、前記第４加算器は、前記第２浮動小数点数フォーマットの仮数部のデータの行列乗算結果を出力する、
請求項１乃至請求項６のいずれか１項に記載の演算装置。
【請求項８】
前記複数の乗算器のそれぞれは、９ビットの乗算器であり、
前記第１浮動小数点数フォーマットは、半精度浮動小数点数フォーマットであり、
前記第２浮動小数点数フォーマットは、単精度浮動小数点数フォーマット、又は、仮数部のビット数が半精度浮動小数点数フォーマットの仮数部のビット数より多く、単精度浮動小数点数フォーマットの仮数部のビット数より少ない疑似単精度浮動小数点数フォーマットである、
請求項７に記載の演算装置。
【請求項９】
前記加算回路は、さらに、４つの前記第４加算器から出力される加算結果を加算する複数の第５加算器を有し、
倍精度浮動小数点数フォーマットの仮数部のデータペアが前記積和演算回路にそれぞれ供給される場合、前記第５加算器は、倍精度浮動小数点数フォーマットの仮数部のデータの行列乗算結果を出力する、
請求項８に記載の演算装置。
【請求項１０】
２のｉ乗個（ｉは２以上の正の整数）の前記乗算器を有する、
請求項１乃至請求項６のいずれか１項に記載の演算装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、演算装置に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
ディープラーニング等の処理を実施するアプリケーションで使用する演算装置は、多数の行列演算を実行するため高い演算性能が求められる。このため、演算装置の演算性能を高めるために多数の行列演算回路を搭載したＡＳＩＣ（Application Specific Integrated Circuit）が演算装置として用いられる場合がある。
【０００３】
プロセッサチップ等のＡＳＩＣに実装可能な行列演算回路の数及び規模には上限がある。例えば、複数の精度の浮動小数点数データの行列演算がアプリケーションで必要な場合、精度毎の行列演算回路をプロセッサチップに搭載することが好ましい。しかしながら、回路規模の制約から、必要な精度の複数の行列演算回路をプロセッサチップに搭載することが困難な場合がある。また、回路規模が大きくなることで消費電力は大きくなる場合がある。
【０００４】
なお、浮動小数点数データの一例として、複数の浮動小数点数データの指数部を複数のデータで共通化するブロック浮動小数点数フォーマットが知られている。ブロック浮動小数点数フォーマットでは、例えば行列内の最大の浮動小数点数データの指数を用いて行列内の複数の浮動小数点数データの指数部を共通化してもよい。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示では、回路規模の増大を抑制しつつ、複数の精度の浮動小数点数データの行列演算を実行する。
【課題を解決するための手段】
【０００６】
本発明の実施形態の演算装置は、浮動小数点数データの仮数部の行列乗算を実行可能な演算装置であって、それぞれが、前記仮数部のデータペアを乗算する複数の乗算器と、複数の乗算器による乗算結果及び補正値を加算する第１加算器と、を含む複数の積和演算回路と、複数の前記積和演算回路から出力される演算結果を加算し、加算結果を複数種の浮動小数点数フォーマットのいずれかの仮数部のデータの行列乗算結果として出力する加算回路と、を有する。
【図面の簡単な説明】
【０００７】
本発明の第１の実施形態における演算装置の構成の一例を示すブロック図である。
図１の乗算実行部の一例を示す回路ブロック図である。
半精度、疑似単精度、単精度及び倍精度の浮動小数点数フォーマットの一例を示す図である。
図２の乗算実行部が実行する半精度データの仮数の行列乗算の例を示す図である。
図２の乗算実行部が実行する疑似単精度データの仮数の行列乗算の例を示す図である。
図２の乗算実行部が実行する単精度データの仮数の行列乗算の例を示す図である。
単精度データの行列乗算を実行する場合の補正値への置き換えの例を示す図である。
図２の乗算実行部が実行する倍精度データの仮数の行列乗算の例を示す図である。
図２の乗算実行部が倍精度データの仮数の行列乗算を実行する場合の演算の流れの例を示す図である。
倍精度データの行列乗算を実行する場合の補正値への置き換えの例を示す図である。
本発明の第２の実施形態における演算装置の構成の一例を示すブロック図である。
図１１の乗算実行部が実行する疑似単精度データの仮数の行列乗算の例を示す図である。
図１１の乗算実行部が実行する単精度データの仮数の行列乗算の例を示す図である。
図１１の乗算実行部が実行する倍精度データの仮数の行列乗算の例を示す図である。
図１１の乗算実行部が実行する倍精度データの仮数の行列乗算の例を示す図である。
図１に示した演算装置が搭載される計算機のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。特に限定されないが、演算装置は、サーバ等のコンピュータに搭載されるプロセッサでもよく、プログラム（命令）を実行することで、ディープニューラルネットワークの訓練又は推論において畳み込み演算等を実行してもよい。なお、以下で説明する演算装置は、科学技術計算などに使用されてもよい。
【０００９】
図１は、本発明の第１の実施形態における演算装置の構成の一例を示すブロック図である。例えば、図１に示す演算装置１００は、ハードウェア（回路）により形成されてもよい。演算装置１００は、命令メモリ１１０、命令供給回路１２０、命令デコーダ１３０、演算ユニット１４０及びレジスタファイル１５０を有してもよい。演算装置１００は、チップの形態を有するプロセッサでもよい。
【００１０】
命令メモリ１１０は、外部メモリ２００から転送される命令を保持し、保持している命令を命令供給回路１２０に順次出力してもよい。命令供給回路１２０は、命令メモリ１１０から転送される命令を命令デコーダ１３０に順次供給してもよい。命令デコーダ１３０は、命令供給回路１２０から受信する命令をデコードして命令の実行に必要な制御情報を生成し、生成した制御情報を演算ユニット１４０に出力してもよい。命令デコーダ１３０は、実行する行列乗算の種類と浮動小数点数フォーマットとを識別する制御情報を浮動小数点数データの仮数部のデータペアとともに乗算実行部１４１に出力する命令出力回路の一例である。
（【００１１】以降は省略されています）

関連特許