特許ウォッチ

公開番号2024015679
公報種別公開特許公報(A)
公開日2024-02-06
出願番号2022117909
出願日2022-07-25
発明の名称演算処理装置
出願人国立研究開発法人産業技術総合研究所
代理人
主分類G06F 17/16 20060101AFI20240130BHJP(計算;計数)
要約【課題】注意機構をベースとするネットワークモデルの計算を高速化できる演算処理装置を提供する。
【解決手段】演算処理装置10のM個の演算ユニット11それぞれの内部に、第1の行列aおよび第2の行列bのうち列ベクトルの組[a_m,b_m]をm番目の演算ユニットに1組記憶し、M個の演算ユニットを直列のネットワーク14で接続し、そのうちの任意の演算ユニットからN次元の列ベクトルb_mの配列データを送り出し、順次後段に隣接する演算ユニットに伝播し、第2の行列の各々の列ベクトルb_0,b_1,b_2,…,b_M-1と演算ユニット内部に蓄えたa_mとのドット積、すなわちM×M次元の第3の行列の配列の部分をなすM次元列ベクトルx_m=[a_m・b_0,a_m・b_1,a_m・b_2,…,a_m・b_M-1]^Tをm番目の演算ユニット内部で計算し、このM次元の列ベクトルx_mをm番目の演算ユニット内部に保存することによって行う。
【選択図】図1
特許請求の範囲【請求項１】
Ｍ個のＮ次元列ベクトルからなる、Ｍ×Ｎ次元の第１の行列ａ＝［ａ
０，
ａ
１，
ａ
２，…，
ａ
Ｍ－１
］および第２の行列ｂ＝［ｂ
０，
ｂ
１，
ｂ
２，…，
ｂ
Ｍ－１
］に関して、該第１の行列と該第２の行列に属するすべての列ベクトルの組み合わせに関するドット積を要素に持つＭ個のＭ次元列ベクトルからなるＭ×Ｍ次元の第３の行列ｘ＝［ｘ
０，
ｘ
１，
ｘ
２，…，
ｘ
Ｍ－１
］を求める計算を、行列の積ｘ＝ａ
Ｔ
ｂによって求める際に、
演算処理装置の構成最小単位であるＭ個の演算ユニットそれぞれの内部に、前記第１の行列ａ＝［ａ
０，
ａ
１，
ａ
２，…，
ａ
Ｍ－１
］および前記第２の行列ｂ＝［ｂ
０，
ｂ
１，
ｂ
２，…，
ｂ
Ｍ－１
］のうち列ベクトルの組［ａ
ｍ，
ｂ
ｍ
］をｍ番目の演算ユニットに１組記憶し、前記Ｍ個の演算ユニットを直列のネットワークで接続し、そのうちの任意の演算ユニットからＮ次元の列ベクトルｂ
ｍ
の配列データを送り出し、順次後段に隣接する演算ユニットに伝播し、前記第２の行列の各々の列ベクトルｂ
０，
ｂ
１，
ｂ
２，…，
ｂ
Ｍ－１
と演算ユニット内部に蓄えたａ
ｍ
とのドット積、すなわちＭ×Ｍ次元の第３の行列の配列の部分をなすＭ次元列ベクトルｘ
ｍ
＝［ａ
ｍ
・ｂ
０，
ａ
ｍ
・ｂ
１，
ａ
ｍ
・ｂ
２，…，
ａ
ｍ
・ｂ
Ｍ－１
］
Ｔ
をｍ番目の演算ユニット内部で計算し、このＭ次元の列ベクトルｘ
ｍ
をｍ番目の演算ユニット内部に保存することによって行う、当該演算処理装置、ここで、ａ
ｍ
、ｂ
ｍ
およびｘ
ｍ
は配列として演算器内部に記憶される列ベクトルである。
続きを表示（約 1,900 文字）【請求項２】
ｍ番目の演算ユニット内部に蓄えられた前記第３の行列に属する列ベクトルｘ
ｍ
とあらかじめ蓄えられたＭ×Ｎ次元の第４の行列ｃ＝［ｃ
０，
ｃ
１，
ｃ
２，…，
ｃ
Ｍ－１
］とから行列の積ｙ＝［ｙ
０，
ｙ
１，
ｙ
２，…，
ｙ
Ｍ－１
］＝ｃｘによって生成される第５の行列のデータのうち、この部分をなし、ｍ番目の演算ユニットに蓄える列ベクトルｙ
ｍ
すなわち
TIFF
2024015679000008.tif
16
170
を計算する際に、
前記演算ユニットを直列に接続した前記ネットワークを用い、各演算ユニット内部に蓄えられたＮ次元列ベクトルｃ
ｍ
の要素をｃ
ｍ０
, ｃ
ｍ１
, ｃ
ｍ２
, …，ｃ
ｍ（Ｎ－１）
の順に前記ネットワーク上に送出し、前記Ｎ次元の列ベクトルｙ
ｍ
を計算し、それぞれのｍ番目の演算ユニット内部に保存する、請求項１に記載の演算処理装置。
【請求項３】
Ｍ×Ｌ次元行列を構成する列ベクトルｄ
ｍ
＝［ｄ
ｍ０，
ｄ
ｍ１，
ｄ
ｍ２，…，
ｄ
ｍ（Ｌ－１）
］
Ｔ
に対してリニア層の計算をＭチャネル分行う際に、Ｎ×Ｌ次元の係数行列ＵまたはＮ次元のバイアスベクトルＶを外部から前記直列に接続したネットワークに順次入力して伝播させ、あらかじめ各ｍ番目の演算ユニットに蓄えられた前記列ベクトルｄ
ｍ
との間で、
TIFF
2024015679000009.tif
28
170
を計算し、ｍ番目のＮ次元列ベクトルｚ
ｍ
を各々の演算ユニット内部に保存する、但しｕおよびｖは各々係数行列Ｕ、バイアスベクトルＶの要素を表す、請求項１または２に記載の演算処理装置。
【請求項４】
アテンションのマルチヘッド化を行う際に、ヘッド数Ｈ分の前記ネットワークおよび前記Ｍ個の演算ユニットの組を有し、ヘッド分割する直前のリニア層の係数行列の行数をヘッド数Ｈで分割し、分割された区分行列を各々ｈ番目のヘッド用通信路に順次入力し、共有された被演算ベクトルデータｄ
ｍ
との間で、
TIFF
2024015679000010.tif
23
170
を計算することによってマルチヘッド化を行う、請求項１または２に記載の演算処理装置。
【請求項５】
演算処理装置は、前記アテンションのマルチヘッド化を行う際に、マルチヘッド化されたベクトルを結合するために、結合直後のリニア層の係数行列の列数をヘッド数Ｈで分割し、分割された区分行列を各々ｈ番目のヘッド用通信路に順次入力し、ヘッド毎に分割された部分和を合算し所定の演算ユニット内部に格納する機能を有する、請求項４に記載の演算処理装置。
【請求項６】
順次前記ネットワークにデータを読み出すデータ読み出し用デイジーチェインとデータを前記演算ユニットに入力するためのデータ入力用デイジーチェインを基本構造とする前記ネットワークを有し、前記データ読み出し用デイジーチェインの出力を前記データ入力用デイジーチェインに結合し、読み出したデータが直列に前記演算器ユニットに順次入力する、請求項１または２に記載の演算処理装置。
【請求項７】
前記ネットワークに演算コードをデータとともに順次直列に伝播する、請求項６に記載の演算処理装置。
【請求項８】
ハードウェアを追加することなくマルチヘッド化された列ベクトルデータの処理を行うために、配列の授受と積和演算の累算をヘッド順に区切って順次行うことで、マルチヘッド処理を模擬する、請求項１または２に記載の演算処理装置。
【請求項９】
チャネル数ないしシーケンス数の異なる問題に対応できるように、前記ネットワークをチャネル数またはシーケンス数に合わせて分割し、前記データ読み出し用デイジーチェインと前記データ入力用デイジーチェインとを結合する回路要素を有する、請求項６に記載の演算処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は演算システムに係り、特に機械学習処理を効率的に行う演算処理装置に関する。
続きを表示（約 3,200 文字）【背景技術】
【０００２】
画像処理演算装置（ＧＰＵ：ＧｒａｐｈｉｃａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）による汎用計算（ＧＰＧＰＵ：ＧｅｎｅｒａｌＰｕｒｐｏｓｅｃｏｍｐｕｔｉｎｇｏｎＧＰＵ）によって、機械学習の速度は飛躍的に向上している。
【０００３】
一方で、機械学習のネットワークモデルは、単純な畳み込み演算だけでなく、注意機構と呼ばれるベクトルの内積演算を用いるものに関しても、自動翻訳や画像処理など有用な応用が多数知られるようになってきている（例えば、特許文献１、非特許文献１、２参照。）。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－０１９４２２号公報
【非特許文献】
【０００５】
A. Vaswani et al., “Attention is all you need”, 31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA, Dec. 4-9, 2017. https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf
A. Dosovitskiy et al., “An image is worth 16x16 words: transformers for image recognition at scale”, The 9th International Conference on Learning Representations (ICLR 2021), Virtual Only, May 3-7, 2021. https://iclr.cc/virtual/2021/poster/3013
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像処理演算装置は、一般的に多くの種類の行列演算を実行できるように汎用性が高くできており、その装置上で走らせるソフトウェアライブラリによって具体的な処理を行う構造となっている。この場合、汎用性のために、余分な消費電力を消費すること、ソフトウェア処理が入るために、速度が低下することが知られている。一方で、完全な専用回路を作ることは、他の計算を実行することができないという短所を生ずる。
【０００７】
本発明の目的は、注意機構（以下、「アテンション」とも称する。）をベースとするネットワークモデルの計算を高速化できる演算処理装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明の一態様によれば、演算処理装置は、Ｍ個のＮ次元列ベクトルからなる、Ｍ×Ｎ次元の第１の行列ａ＝［ａ
０，
ａ
１，
ａ
２，…，
ａ
Ｍ－１
］および第２の行列ｂ＝［ｂ
０，
ｂ
１，
ｂ
２，…，
ｂ
Ｍ－１
］に関して、その第１の行列とその第２の行列に属するすべての列ベクトルの組み合わせに関するドット積を要素に持つＭ個のＭ次元列ベクトルからなるＭ×Ｍ次元の第３の行列ｘ＝［ｘ
０，
ｘ
１，
ｘ
２，…，
ｘ
Ｍ－１
］を求める計算を、行列の積ｘ＝ａ
Ｔ
ｂによって求める際に、上記演算処理装置の構成最小単位であるＭ個の演算ユニットそれぞれの内部に、上記第１の行列ａ＝［ａ
０，
ａ
１，
ａ
２，…，
ａ
Ｍ－１
］および上記第２の行列ｂ＝［ｂ
０，
ｂ
１，
ｂ
２，…，
ｂ
Ｍ－１
］のうち列ベクトルの組［ａ
ｍ，
ｂ
ｍ
］をｍ番目の演算ユニットに１組記憶し、上記Ｍ個の演算ユニットを直列のネットワークで接続し、そのうちの任意の演算ユニットからＮ次元の列ベクトルｂ
ｍ
の配列データを送り出し、順次後段に隣接する演算ユニットに伝播し、上記第２の行列の各々の列ベクトルｂ
０，
ｂ
１，
ｂ
２，…，
ｂ
Ｍ－１
と演算ユニット内部に蓄えたａ
ｍ
とのドット積、すなわちＭ×Ｍ次元の第３の行列の配列の部分をなすＭ次元列ベクトルｘ
ｍ
＝［ａ
ｍ
・ｂ
０，
ａ
ｍ
・ｂ
１，
ａ
ｍ
・ｂ
２，…，
ａ
ｍ
・ｂ
Ｍ－１
］
Ｔ
をｍ番目の演算ユニット内部で計算し、このＭ次元の列ベクトルｘ
ｍ
をｍ番目の演算ユニット内部に保存することによって行う、当該演算処理装置、ここで、ａ
ｍ
、ｂ
ｍ
およびｘ
ｍ
は配列として演算器内部に記憶される列ベクトルである。
【０００９】
演算処理装置は、上記一態様において、ｍ番目の演算ユニット内部に蓄えられた上記第３の行列に属する列ベクトルｘ
ｍ
とあらかじめ蓄えられたＭ×Ｎ次元の第４の行列ｃ＝［ｃ
０，
ｃ
１，
ｃ
２，…，
ｃ
Ｍ－１
］とから行列の積ｙ＝［ｙ
０，
ｙ
１，
ｙ
２，…，
ｙ
Ｍ－１
］＝ｃｘによって生成される第５の行列のデータのうち、この部分をなし、ｍ番目の演算ユニットに蓄える列ベクトルｙ
ｍ
すなわち
TIFF
2024015679000002.tif
16
170
を計算する際に、上記演算ユニットを直列に接続した上記ネットワークを用い、各演算ユニット内部に蓄えられたＮ次元列ベクトルｃ
ｍ
の要素をｃ
ｍ０
, ｃ
ｍ１
, ｃ
ｍ２
, …，ｃ
ｍ（Ｎ－１）
の順に上記ネットワーク上に送出し、上記Ｎ次元の列ベクトルｙ
ｍ
を計算し、それぞれのｍ番目の演算ユニット内部に保存してもよい。
【００１０】
演算処理装置は、上記各態様において、Ｍ×Ｌ次元行列を構成する列ベクトルｄ
ｍ
＝［ｄ
ｍ０，
ｄ
ｍ１，
ｄ
ｍ２，…，
ｄ
ｍ（Ｌ－１）
］
Ｔ
に対してリニア層の計算をＭチャネル分行う際に、Ｎ×Ｌ次元の係数行列ＵまたはＮ次元のバイアスベクトルＶを外部から上記直列に接続したネットワークに順次入力して伝播させ、あらかじめ各ｍ番目の演算ユニットに蓄えられた上記列ベクトルｄ
ｍ
との間で、
TIFF
2024015679000003.tif
28
170
を計算し、ｍ番目のＮ次元列ベクトルｚ
ｍ
を各々の演算ユニット内部に保存してもよい。但し、ｕおよびｖは各々係数行列Ｕ、バイアスベクトルＶの要素を表す。
（【００１１】以降は省略されています）

関連特許