特許ウォッチ

公開番号2025034245
公報種別公開特許公報(A)
公開日2025-03-13
出願番号2023140519
出願日2023-08-30
発明の名称演算処理装置
出願人国立研究開発法人産業技術総合研究所
代理人
主分類G06F 17/16 20060101AFI20250306BHJP(計算;計数)
要約【課題】注意機構をベースとするネットワークモデルの計算を高速化する。
【解決手段】複数の演算ユニットセット16を備え、その各々は、直列のネットワーク14で接続されたM個(Mは2以上の整数)の演算ユニット11を含み、その各々は、第1の行列aおよび第2の行列bのうち列ベクトルの一つの組[a_m,b_m]をm番目の演算ユニットのSRAMに記憶し、各々の演算ユニットからN次元の列ベクトルb_mの配列データをネットワークを介して第1の方向に送り出し、順次後段に隣接する演算ユニットに伝播して、第2の行列の各々の列ベクトルb₀～b_M-1と演算ユニット内部に蓄えたa_mとのドット積、すなわちM次元列ベクトルx_mをm番目の演算ユニットの乗算器と加算器によって積算するデータパスにより算出し、M次元列ベクトルx_mをm番目の演算ユニットのSRAMに記憶する、演算処理装置が提供される。
【選択図】図1
特許請求の範囲【請求項１】
複数の演算ユニットセットを備える演算処理装置であって、
前記複数の演算ユニットセットの各々は、直列のネットワークで接続されたＭ個（Ｍは２以上の整数）の演算ユニットを含み、
前記Ｍ個の演算ユニットの各々は、少なくとも一つのＳＲＡＭまたはレジスタファイル、乗算器および加算器と、該ＳＲＡＭまたはレジスタファイルを選択してデータを該乗算器に出力するポートとを有し、該ＳＲＡＭまたはレジスタファイルは該データを各々配列として記憶する領域を有し、第２の方向に隣接する前記演算ユニットから前記ネットワークを介してデータを入力する入力ポートと、第１の方向に隣接する前記演算ユニットへ送信するために前記ネットワークにデータを出力する出力ポートとをさらに有し、該入力ポートから入力されたデータと該ＳＲＡＭまたはレジスタファイルに記憶したデータとを該乗算器に入力して、その乗算結果を該加算器によって積算するデータパスと、該積算結果を配列データとして該ＳＲＡＭまたはレジスタファイルに入力するデータパスとをさらに有し、
前記複数の演算ユニットセットの各々は、第１の行列ａ＝［ａ
０，
ａ
１，
ａ
２，…，
ａ
Ｍ－１
］および第２の行列ｂ＝［ｂ
０，
ｂ
１，
ｂ
２，…，
ｂ
Ｍ－１
］のうち列ベクトルの一つの組［ａ
ｍ，
ｂ
ｍ
］をｍ番目の演算ユニットの前記ＳＲＡＭまたはレジスタファイルに記憶し、各々の演算ユニットからＮ次元の列ベクトルｂ
ｍ
の配列データを前記ネットワークを介して前記第１の方向に送り出し、順次後段に隣接する演算ユニットに伝播して、前記第２の行列の各々の列ベクトルｂ
０，
ｂ
１，
ｂ
２，…，
ｂ
Ｍ－１
と演算ユニット内部に蓄えたａ
ｍ
とのドット積、すなわちＭ×Ｍ次元の第３の行列の配列の部分をなすＭ次元列ベクトルｘ
ｍ
＝［ａ
ｍ
・ｂ
０，
ａ
ｍ
・ｂ
１，
ａ
ｍ
・ｂ
２，…，
ａ
ｍ
・ｂ
Ｍ－１
］
Ｔ
をｍ番目の演算ユニットの前記乗算器と前記加算器によって積算するデータパスにより算出し、該Ｍ次元列ベクトルｘ
ｍ
をｍ番目の演算ユニットの前記ＳＲＡＭまたはレジスタファイルに記憶する、前記演算処理装置。
続きを表示（約 1,900 文字）【請求項２】
前記ネットワークは、前記Ｍ個の演算ユニットのうち隣接する演算ユニットを前記第１の方向に直列に接続する第１のデイジーチェインと、前記Ｍ個の演算ユニットのうち隣り合う演算ユニットを前記第２の方向に直列に接続する第２のデイジーチェインとを有し、該第１のデイジーチェインの終端と該第２のデイジーチェインの終端とが結合されて伝播するデータを折り返す機能を有する、請求項１記載の演算処理装置。
【請求項３】
チャネル数ないしシーケンス数の異なる問題に対応できるように、前記ネットワークをチャネル数またはシーケンス数に合わせて分割し、前記第１のデイジーチェインと前記第２のデイジーチェインとを結合する回路要素を有する、請求項２に記載の演算処理装置。
【請求項４】
前記ｍ番目の演算ユニットの前記ＳＲＡＭまたはレジスタファイルに記憶した前記第３の行列に属する列ベクトルｘ
ｍ
とあらかじめ記憶したＭ×Ｎ次元の第４の行列ｃ＝［ｃ
０，
ｃ
１，
ｃ
２，…，
ｃ
Ｍ－１
］とから行列の積ｙ＝［ｙ
０，
ｙ
１，
ｙ
２，…，
ｙ
Ｍ－１
］＝ｃｘによって生成される第５の行列のデータのうち、この部分をなし、前記ｍ番目の演算ユニットに蓄える列ベクトルｙ
ｍ
すなわち
TIFF
2025034245000008.tif
16
170
を計算する際に、
各演算ユニットに記憶したＮ次元列ベクトルｃ
ｍ
の要素をｃ
ｍ０
, ｃ
ｍ１
, ｃ
ｍ２
, …，ｃ
ｍ（Ｎ－１）
の順に前記ネットワーク上に送出し、前記Ｎ次元の列ベクトルｙ
ｍ
を計算し、各々のｍ番目の演算ユニットの前記ＳＲＡＭまたはレジスタファイルに記憶する、請求項１に記載の演算処理装置。
【請求項５】
Ｍ×Ｌ次元行列を構成する列ベクトルｄ
ｍ
＝［ｄ
ｍ０，
ｄ
ｍ１，
ｄ
ｍ２，…，
ｄ
ｍ（Ｌ－１）
］
Ｔ
に対してリニア層の計算をＭチャネル分行う際に、Ｎ×Ｌ次元の係数行列ＵまたはＮ次元のバイアスベクトルＶを外部から前記ネットワークに順次入力して伝播させ、あらかじめ各ｍ番目の演算ユニットに記憶した前記列ベクトルｄ
ｍ
との間で、
TIFF
2025034245000009.tif
28
170
を計算し、ｍ番目のＮ次元列ベクトルｚ
ｍ
を各々の演算ユニットの前記ＳＲＡＭまたはレジスタファイルに記憶する、但しｕおよびｖは各々係数行列Ｕ、バイアスベクトルＶの要素を表す、請求項１または４に記載の演算処理装置。
【請求項６】
アテンションのマルチヘッド化を行う際に、ヘッド数Ｈ分の前記ネットワークおよび前記Ｍ個の演算ユニットの組を有し、ヘッド分割する直前のリニア層の係数行列の行数をヘッド数Ｈで分割し、分割された区分行列を各々ｈ番目のヘッド用通信路に順次入力し、共有された被演算ベクトルデータｄ
ｍ
との間で、
TIFF
2025034245000010.tif
23
170
を計算することによってマルチヘッド化を行う、請求項１または４に記載の演算処理装置。
【請求項７】
当該演算処理装置は、前記アテンションのマルチヘッド化を行う際に、マルチヘッド化されたベクトルを結合するために、結合直後のリニア層の係数行列の列数をヘッド数Ｈで分割し、分割された区分行列を各々ｈ番目のヘッド用通信路に順次入力し、ヘッド毎に分割された部分和を合算し所定の演算ユニット内部に記憶する機能を有する、請求項６に記載の演算処理装置。
【請求項８】
前記ネットワークに演算コードをデータとともに順次直列に伝播する、請求項１に記載の演算処理装置。
【請求項９】
ハードウェアを追加することなくマルチヘッド化された列ベクトルデータの処理を行うために、配列の授受と積和演算の累算をヘッド順に区切って順次行うことで、マルチヘッド処理を模擬する、請求項１または４に記載の演算処理装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は演算システムに係り、特に機械学習処理を効率的に行う演算処理装置に関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
画像処理演算装置（ＧＰＵ：ＧｒａｐｈｉｃａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）による汎用計算（ＧＰＧＰＵ：ＧｅｎｅｒａｌＰｕｒｐｏｓｅｃｏｍｐｕｔｉｎｇｏｎＧＰＵ）によって、機械学習の速度は飛躍的に向上している。
【０００３】
一方で、機械学習のネットワークモデルは、単純な畳み込み演算だけでなく、注意機構と呼ばれるベクトルの内積演算を用いるものに関しても、自動翻訳や画像処理など有用な応用が多数知られるようになってきている（例えば、特許文献１、非特許文献１、２参照。）。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－０１９４２２号公報
【非特許文献】
【０００５】
A. Vaswani et al., “Attention is all you need”, 31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA, Dec. 4-9, 2017. https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf
A. Dudovskiy et al., “An image is worth 16x16 words: transformers for image recognition at scale”, The 9th International Conference on Learning Representations (ICLR 2021), Virtual Only, May 3-7, 2021. https://iclr.cc/virtual/2021/poster/3013
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像処理演算装置は、一般的に多くの種類の行列演算を実行できるように汎用性が高くできており、その装置上で走らせるソフトウェアライブラリによって具体的な処理を行う構造となっている。この場合、汎用性のために、余分な消費電力を消費すること、ソフトウェア処理が入るために、速度が低下することが知られている。一方で、完全な専用回路を作ることは、他の計算を実行することができないという短所を生ずる。
【０００７】
本開示の目的は、注意機構（以下、「アテンション」とも称する。）をベースとするネットワークモデルの計算を高速化できる演算処理装置を提供することである。
【課題を解決するための手段】
【０００８】
本開示の一態様によれば、複数の演算ユニットセットを備える演算処理装置であって、上記複数の演算ユニットセットの各々は、直列のネットワークで接続されたＭ個（Ｍは２以上の整数）の演算ユニットを含み、上記Ｍ個の演算ユニットの各々は、－少なくとも一つのＳＲＡＭまたはレジスタファイル、乗算器および加算器と、そのＳＲＡＭまたはレジスタファイルを選択してデータを該乗算器に出力するポートとを有し、そのＳＲＡＭまたはレジスタファイルはそのデータを各々配列として記憶する領域を有し、第２の方向に隣接する上記演算ユニットから上記ネットワークを介してデータを入力する入力ポートと、第１の方向に隣接する上記演算ユニットへ送信するために上記ネットワークにデータを出力する出力ポートとをさらに有し、上記入力ポートから入力されたデータと上記ＳＲＡＭまたはレジスタファイルに記憶したデータとを上記乗算器に入力して、その乗算結果を上記加算器によって積算するデータパスと、その積算結果を配列データとして上記ＳＲＡＭまたはレジスタファイルに入力するデータパスとをさらに有し、
上記複数の演算ユニットセットの各々は、第１の行列ａ＝［ａ
０，
ａ
１，
ａ
２，…，
ａ
Ｍ－１
］および第２の行列ｂ＝［ｂ
０，
ｂ
１，
ｂ
２，…，
ｂ
Ｍ－１
］のうち列ベクトルの一つの組［ａ
ｍ，
ｂ
ｍ
］をｍ番目の演算ユニットの上記ＳＲＡＭまたはレジスタファイルに記憶し、各々の演算ユニットからＮ次元の列ベクトルｂ
ｍ
の配列データを上記ネットワークを介して上記第１の方向に送り出し、順次後段に隣接する演算ユニットに伝播して、上記第２の行列の各々の列ベクトルｂ
０，
ｂ
１，
ｂ
２，…，
ｂ
Ｍ－１
と演算ユニット内部に蓄えたａ
ｍ
とのドット積、すなわちＭ×Ｍ次元の第３の行列の配列の部分をなすＭ次元列ベクトルｘ
ｍ
＝［ａ
ｍ
・ｂ
０，
ａ
ｍ
・ｂ
１，
ａ
ｍ
・ｂ
２，…，
ａ
ｍ
・ｂ
Ｍ－１
］
Ｔ
をｍ番目の演算ユニットの上記乗算器と上記加算器によって積算するデータパスにより算出し、上記Ｍ次元列ベクトルｘ
ｍ
をｍ番目の演算ユニットの上記ＳＲＡＭまたはレジスタファイルに記憶する、上記演算処理装置が提供される。
【０００９】
上記態様において、演算処理装置は、上記ネットワークは、上記Ｍ個の演算ユニットのうち隣接する演算ユニットを上記第１の方向に直列に接続する第１のデイジーチェインと、上記Ｍ個の演算ユニットのうち隣り合う演算ユニットを上記第２の方向に直列に接続する第２のデイジーチェインとを有し、該第１のデイジーチェインの終端と該第２のデイジーチェインの終端とが結合されて伝播するデータを折り返す機能を有してもよい。
【００１０】
上記態様において、演算処理装置は、チャネル数ないしシーケンス数の異なる問題に対応できるように、上記ネットワークをチャネル数またはシーケンス数に合わせて分割し、上記第１のデイジーチェインと上記第２のデイジーチェインとを結合する回路要素を有してもよい。
（【００１１】以降は省略されています）

関連特許