特許ウォッチ

公開番号2025145578
公報種別公開特許公報(A)
公開日2025-10-03
出願番号2024045839
出願日2024-03-22
発明の名称シストリックアレイ型行列乗算器およびシストリックアレイ型行列乗算器の動作方法
出願人富士通株式会社
代理人個人,個人
主分類G06F 17/16 20060101AFI20250926BHJP(計算;計数)
要約【課題】回路規模の増加を抑えつつ、様々な大きさの行列乗算を実行する。
【解決手段】マトリックス状に配置された複数のプロセッシングエレメントを含み、行列乗算を実行するシストリックアレイ型行列乗算器であって、複数のプロセッシングエレメントの各々は、第1方向の一端側に設けられる第1入力端子から受ける第1行列の各要素を順次保持する第1保持部と、第1保持部の出力を第1方向の他端側に設けられる第1出力端子に出力する第1パスと、第1方向の他端側に設けられる第2入力端子から受ける第1行列の各要素を順次保持する第2保持部と、第2保持部の出力を第1方向の一端側に設けられる第2出力端子に出力する第2パスと、第1パスに接続される積和演算器と、第1パスまたは第1出力端子を第2パスに接続する第1選択部と、第2パスまたは第1保持部の出力を第1パスに接続する第2選択部と、を有する。
【選択図】図3
特許請求の範囲【請求項１】
マトリックス状に配置された複数のプロセッシングエレメントを含み、行列乗算を実行するシストリックアレイ型行列乗算器であって、
前記複数のプロセッシングエレメントの各々は、
第１方向の一端側に設けられる第１入力端子から受ける第１行列の各要素を順次保持する第１保持部と、
前記第１保持部の出力を前記第１方向の他端側に設けられる第１出力端子に出力する第１パスと、
前記第１方向の他端側に設けられる第２入力端子から受ける前記第１行列の各要素を順次保持する第２保持部と、
前記第２保持部の出力を前記第１方向の一端側に設けられる第２出力端子に出力する第２パスと、
前記第１パスに接続される積和演算器と、
前記第１パスまたは前記第２入力端子を前記第２パスに接続する第１選択部と、
前記第２パスまたは前記第１保持部の出力を前記第１パスに接続する第２選択部と、を有する
シストリックアレイ型行列乗算器。
続きを表示（約 3,000 文字）【請求項２】
前記複数のプロセッシングエレメントのうち、前記第１方向の一端に配置されるプロセッシングエレメントは、前記第２選択部により前記第２パスを前記第１パスに接続し、
前記複数のプロセッシングエレメントのうち、前記第１方向の他端に配置されるプロセッシングエレメントは、前記第１選択部により前記第１パスを前記第２パスに接続し、
前記複数のプロセッシングエレメントのうち、前記第１方向の一端および前記第１方向の他端以外に配置されるプロセッシングエレメントは、前記第２選択部により前記第１保持部の出力を前記第１パスに接続し、前記第１選択部により前記第２入力端子を前記第２保持部の入力に接続する
請求項１に記載のシストリックアレイ型行列乗算器。
【請求項３】
前記複数のプロセッシングエレメントをｉ行ｊ列（ｉ、ｊは２以上の整数）のｉ×ｊ個の前記プロセッシングエレメントを含む複数のサブアレイに区画し、前記複数のサブアレイの各々で行列乗算を実行する場合、
前記複数のサブアレイの各々において、
前記複数のプロセッシングエレメントのうち、前記第１方向の一端に配置されるプロセッシングエレメントは、前記第２選択部により前記第２パスを前記第１パスに接続し、
前記複数のプロセッシングエレメントのうち、前記第１方向の他端に配置されるプロセッシングエレメントは、前記第１選択部により前記第１パスを前記第２パスに接続し、
前記複数のプロセッシングエレメントのうち、前記第１方向の一端および前記第１方向の他端以外に配置されるプロセッシングエレメントは、前記第２選択部により前記第１保持部の出力を前記第１パスに接続し、前記第１選択部により前記第２入力端子を前記第２保持部の入力に接続する
請求項１に記載のシストリックアレイ型行列乗算器。
【請求項４】
前記複数のプロセッシングエレメントの各々は、
前記第１方向と交差する第２方向の一端側に設けられる第３入力端子から受ける第２行列の各要素を前記積和演算器に出力する第３パスと、
前記積和演算器から出力される演算結果を順次保持し、前記第２方向の他端側に設けられる第３出力端子に出力する第３保持部と、
前記第２方向の他端側に設けられる第４入力端子から受ける前記第２行列の各要素を順次保持する第４保持部と、
前記第４保持部の出力を前記第２方向の一端側に設けられる第４出力端子に出力する第４パスと、
前記第３パスまたは前記第４入力端子を前記第４パスに接続する第３選択部と、
前記第４パスまたは前記第３入力端子を前記第３パスに接続する第４選択部と、を有する
請求項１に記載のシストリックアレイ型行列乗算器。
【請求項５】
前記複数のプロセッシングエレメントのうち、前記第２方向の一端に配置されるプロセッシングエレメントは、前記第４選択部により前記第４パスを前記第３パスに接続し、
前記複数のプロセッシングエレメントのうち、前記第２方向の他端に配置されるプロセッシングエレメントは、前記第３選択部により前記第３パスを前記第４パスに接続し、
前記複数のプロセッシングエレメントのうち、前記第２方向の一端および前記第２方向の他端以外に配置されるプロセッシングエレメントは、前記第４選択部により前記第３入力端子を前記第３パスに接続し、前記第３選択部により前記第４入力端子を前記第４パスに接続する
請求項４に記載のシストリックアレイ型行列乗算器。
【請求項６】
前記複数のプロセッシングエレメントをｉ行ｊ列（ｉ、ｊは２以上の整数）のｉ×ｊ個の前記プロセッシングエレメントを含む複数のサブアレイに区画し、前記複数のサブアレイの各々で行列乗算を実行する場合、
前記複数のサブアレイの各々において、
前記複数のプロセッシングエレメントのうち、前記第２方向の一端に配置されるプロセッシングエレメントは、前記第４選択部により前記第４パスを前記第３パスに接続し、
前記複数のプロセッシングエレメントのうち、前記第２方向の他端に配置されるプロセッシングエレメントは、前記第３選択部により前記第３パスを前記第４パスに接続し、
前記複数のプロセッシングエレメントのうち、前記第２方向の一端および前記第２方向の他端以外に配置されるプロセッシングエレメントは、前記第４選択部により前記第３入力端子を前記第３パスに接続し、前記第３選択部により前記第４入力端子を前記第４パスに接続する
請求項４に記載のシストリックアレイ型行列乗算器。
【請求項７】
前記複数のプロセッシングエレメントの各々は、前記積和演算器の出力または前記第３パスを前記第３保持部に接続する第５選択部を有し、
前記第３保持部は、前記積和演算器から出力される演算結果または前記第２方向の一端側に配置される前記プロセッシングエレメントの前記積和演算器から出力される演算結果を保持し、
前記複数のサブアレイのうち、前記第２方向の一端に他のサブアレイが配置されるサブアレイに含まれる前記プロセッシングエレメントは、
前記他のサブアレイから行列乗算結果が転送されるとき、前記第４選択部および前記第５選択部により前記第３入力端子を前記第３保持部に接続する
請求項６に記載のシストリックアレイ型行列乗算器。
【請求項８】
マトリックス状に配置された複数のプロセッシングエレメントを含み、前記複数のプロセッシングエレメントの各々が、積和演算回路と、第１方向の一端側に設けられる第１入力端子から受ける第１行列の各要素を順次保持する第１保持部と、前記第１保持部の出力を前記第１方向の他端側に設けられる第１出力端子に出力する第１パスと、前記第１方向の他端側に設けられる第２入力端子から受ける前記第１行列の各要素を順次保持する第２保持部と、前記第２保持部の出力を前記第１方向の一端側に設けられる第２出力端子に出力する第２パスと、前記第１パスに接続される積和演算器と、前記第１パスまたは前記第１出力端子を前記第２パスに接続する第１選択部と、前記第２パスまたは前記第１保持部の出力を前記第１パスに接続する第２選択部と、を有し、行列乗算を実行するシストリックアレイ型行列乗算器の動作方法であって、
前記複数のプロセッシングエレメントのうち、前記第１方向の一端に配置されるプロセッシングエレメントは、前記第２選択部により前記第２パスを前記第１パスに接続し、
前記複数のプロセッシングエレメントのうち、前記第１方向の他端に配置されるプロセッシングエレメントは、前記第１選択部により前記第１パスを前記第２パスに接続し、
前記複数のプロセッシングエレメントのうち、前記第１方向の一端および前記第１方向の他端以外に配置されるプロセッシングエレメントは、前記第２選択部により前記第１保持部の出力を前記第１パスに接続し、前記第１選択部により前記第２入力端子を前記第２保持部の入力に接続する
シストリックアレイ型行列乗算器の動作方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、シストリックアレイ型行列乗算器およびシストリックアレイ型行列乗算器の動作方法に関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
科学技術計算または機械学習等で使用する演算は、行列演算が多用されることが多い。汎用ＣＰＵを用いた大規模な行列演算は、性能向上に限界があることが知られている。そこで、複数のプロセッシングエレメントを縦横に配置して大規模な行列乗算を高速に実行するシストリックアレイ型のアクセラレータが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
米国特許出願公開第２０１８－０２６７９３６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
シストリックアレイの規模は、演算を実行する行列のサイズが大きいほど大きくなる。例えば、シストリックアレイで実行可能な最大サイズより小さい行列の演算をシストリックアレイで実行する場合、一部のプロセッシングエレメントは、行列の要素の転送のみに使用される。
【０００５】
この際、プロセッシングエレメントに含まれる積和演算器は、上流から転送される積和演算結果Ｃが変更されないように、無駄な演算（０×０＋Ｃ）を実行する。実質的な演算を実行するプロセッシングエレメントが少なくなるため、演算の処理効率は低下する。
【０００６】
シストリックアレイ内のプロセッシングエレメントを分割可能にすることで、複数のサイズの行列の演算が実行可能になる。しかしながら、この場合、分割されるプロセッシングエレメントのグループ毎にメモリが必要になるため、回路規模が増大してしまう。
【０００７】
さらに、演算に使用するデータのシストリックアレイへの入力と、シストリックアレイからの演算結果の出力を並列に行う場合、シストリックアレイに接続されるバスの帯域制限により、演算性能が低下するおそれがある。
【０００８】
１つの側面では、本発明は、バスの帯域制限による演算性能の低下を抑制可能なシストリックアレイ型行列乗算器を提供することを目的とする。
【課題を解決するための手段】
【０００９】
一つの観点によれば、シストリックアレイ型行列乗算器は、マトリックス状に配置された複数のプロセッシングエレメントを含み、行列乗算を実行するシストリックアレイ型行列乗算器であって、前記複数のプロセッシングエレメントの各々は、第１方向の一端側に設けられる第１入力端子から受ける第１行列の各要素を順次保持する第１保持部と、前記第１保持部の出力を前記第１方向の他端側に設けられる第１出力端子に出力する第１パスと、前記第１方向の他端側に設けられる第２入力端子から受ける前記第１行列の各要素を順次保持する第２保持部と、前記第２保持部の出力を前記第１方向の一端側に設けられる第２出力端子に出力する第２パスと、前記第１パスに接続される積和演算器と、前記第１パスまたは前記第１出力端子を前記第２パスに接続する第１選択部と、前記第２パスまたは前記第１保持部の出力を前記第１パスに接続する第２選択部と、を有する。
【発明の効果】
【００１０】
バスの帯域制限による演算性能の低下を抑制可能なシストリックアレイ型行列乗算器を提供することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許