特許ウォッチ

公開番号2025133280
公報種別公開特許公報(A)
公開日2025-09-11
出願番号2024031135
出願日2024-03-01
発明の名称演算システムおよび演算システムの制御方法
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06F 12/0897 20160101AFI20250904BHJP(計算;計数)
要約【課題】メモリ帯域幅を有効に利用する。
【解決手段】演算システム1はAI処理の実装に好適である。複数のアクセラレータ110は行列積演算を行う。LLC200は、複数のアクセラレータのそれぞれによる演算結果を保存する外部メモリ300のデータをキャッシュする。メモリコントローラ120は、LLC200に対するアクセスが混雑しているかどうかを判定し、混雑していると判定した場合にLLC200を制御する。この制御は、外部メモリ300で保存されている行列と他の行列との行列積演算を行うアクセラレータ110からのアクセスに応じて外部メモリ300より読み出された行列を、当該行列の各成分の値の精度を低下させる変換を行った上で転送させる制御である。
【選択図】図2

特許請求の範囲【請求項１】
行列積演算を行う複数のアクセラレータと、
前記複数のアクセラレータのそれぞれによる演算結果を保存する外部メモリのデータをキャッシュするキャッシュメモリと、
前記キャッシュメモリに対するアクセスが混雑しているかどうかを判定し、混雑していると判定した場合に前記キャッシュメモリを制御して、前記複数のアクセラレータのうちの１のアクセラレータであって前記外部メモリで保存されている行列と他の行列との前記行列積演算を行う前記１のアクセラレータからのアクセスに応じて前記外部メモリより読み出された前記行列を、前記行列の各成分の値の精度を低下させる変換を行った上で転送させるコントローラと、
を備えることを特徴とする演算システム。
続きを表示（約 1,000 文字）【請求項２】
前記複数のアクセラレータのうちの、前記行列を前記演算結果として出力したアクセラレータは、浮動小数点数の表現形式で表されている前記行列の各成分の値における指数部が取る値の範囲を求めて前記コントローラに通知し、
前記コントローラは、前記変換後の前記精度を前記範囲に基づいて決定する、
ことを特徴とする請求項１に記載の演算システム。
【請求項３】
前記変換は、前記行列の各成分の値を、指数部として、前記範囲の最大値を表現可能なビット幅を有しており、且つ、前記値の表現に用いるビット数が減少する前記表現形式で表現させる変換であることを特徴とする請求項２に記載の演算システム。
【請求項４】
前記変換は、前記行列の各成分の値を、指数部として、前記範囲の最大値と最小値との両方を表現可能なビット幅を有しており、且つ、前記値の表現に用いるビット数が減少する前記表現形式で表現させる変換であることを特徴とする請求項２に記載の演算システム。
【請求項５】
前記コントローラは、前記変換後の前記行列の各成分の値についての前記表現形式を、前記表現形式の選択肢のうちから選択することを特徴とする請求項２又は３に記載の演算システム。
【請求項６】
前記１のアクセラレータは、前記行列と前記他の行列との前記行列積演算として行う前記行列の成分と前記他の行列の成分との積和演算を行うために実行する、乗算と前記乗算の結果の順次加算とのうちの前記順次加算を、前記変換前の精度により実行することを特徴とする請求項１に記載の演算システム。
【請求項７】
行列積演算を行う複数のアクセラレータと、前記複数のアクセラレータのそれぞれによる演算結果を保存する外部メモリのデータをキャッシュするキャッシュメモリとを備える演算システムの制御方法であって、
前記キャッシュメモリに対するアクセスが混雑しているかどうかを判定し、
混雑していると判定した場合に前記キャッシュメモリを制御して、前記複数のアクセラレータのうちの１のアクセラレータであって前記外部メモリで保存されている行列と他の行列との前記行列積演算を行う前記１のアクセラレータからのアクセスに応じて前記外部メモリより読み出された前記行列を、前記行列の各成分の値の精度を低下させる変換を行った上で転送させる、
ことを特徴とする演算システムの制御方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、演算システムおよび演算方法に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
ＡＩ（人工知能：Artificial Intelligence）を実現する演算処理（以下、「ＡＩ処理」と称することとする）の高速化が求められており、そのための技術が幾つか提案されている（例えば特許文献１～特許文献５参照）。
【先行技術文献】
【特許文献】
【０００３】
特表２０２２－５２３９１２号公報
特開２０２３－７７８１８号公報
米国特許出願公開第２０１９／０３５４８４６号明細書
米国特許出願公開第２０２０／０２５８２６３号明細書
米国特許出願公開第２０２２／００４４１１４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＡＩ処理の多くは、その処理の大部分を行列積演算が占めている。例えば、ディープニューラルネットワークモデルの実装によるＡＩ処理では、前段の行列積演算による演算結果の行列を用いて次段の行列積演算を行うという処理が繰り返される。
【０００５】
行列積演算に適した演算装置（アクセラレータ）を用いて高速なＡＩ処理を実現する演算システムが広く知られている。集積度の向上などによるアクセラレータの高性能化によって行列積演算自体は高速化が進展している一方で、その演算結果を保存するメモリとの間でのデータ転送におけるメモリ帯域幅は性能向上が追いついていない。このことは、ＡＩ処理の高速化を妨げる要因のひとつとなっている。
【０００６】
１つの側面では、本発明は、メモリ帯域幅を有効に利用することを目的とする。
【課題を解決するための手段】
【０００７】
１つの実施形態では、演算システムが、複数のアクセラレータと、キャッシュメモリと、コントローラとを備える。複数のアクセラレータは行列積演算を行う。キャッシュメモリは、複数のアクセラレータのそれぞれによる演算結果を保存する外部メモリのデータをキャッシュする。コントローラは、キャッシュメモリに対するアクセスが混雑しているかどうかを判定し、混雑していると判定した場合にキャッシュメモリを制御する。この制御は、外部メモリで保存されている行列と他の行列との行列積演算を行うアクセラレータからのアクセスに応じて外部メモリより読み出された行列を、当該行列の各成分の値の精度を低下させる変換を行った上で転送させる制御である。
【発明の効果】
【０００８】
１つの側面では、本発明は、メモリ帯域幅を有効に利用することが可能となる。
【図面の簡単な説明】
【０００９】
ＡＩ処理における演算の流れを説明する図である。
演算システムの構成の一例を示す図である。
演算器の詳細構成の一例を説明する図である。
ＰＥの内部構成の一例を示す図である。
指数部範囲テーブルの一例を示す図である。
アクセラレータが行う処理の第１の例の処理内容を示したフローチャートである。
アクセラレータが行う処理の第２の例の処理内容を示したフローチャートである。
メモリコントローラが行う処理の一例の処理内容を示したフローチャートである。
精度決定処理の一例の処理内容を示したフローチャートである。
読み出し処理の一例の処理内容を示したフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、実施形態を詳細に説明する。
（【００１１】以降は省略されています）

関連特許