TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024015679
公報種別公開特許公報(A)
公開日2024-02-06
出願番号2022117909
出願日2022-07-25
発明の名称演算処理装置
出願人国立研究開発法人産業技術総合研究所
代理人
主分類G06F 17/16 20060101AFI20240130BHJP(計算;計数)
要約【課題】注意機構をベースとするネットワークモデルの計算を高速化できる演算処理装置を提供する。
【解決手段】演算処理装置10のM個の演算ユニット11それぞれの内部に、第1の行列aおよび第2の行列bのうち列ベクトルの組[am,bm]をm番目の演算ユニットに1組記憶し、M個の演算ユニットを直列のネットワーク14で接続し、そのうちの任意の演算ユニットからN次元の列ベクトルbmの配列データを送り出し、順次後段に隣接する演算ユニットに伝播し、第2の行列の各々の列ベクトルb0,b1,b2,…,bM-1と演算ユニット内部に蓄えたamとのドット積、すなわちM×M次元の第3の行列の配列の部分をなすM次元列ベクトルxm=[am・b0,am・b1,am・b2,…,am・bM-1]Tをm番目の演算ユニット内部で計算し、このM次元の列ベクトルxmをm番目の演算ユニット内部に保存することによって行う。
【選択図】図1
特許請求の範囲【請求項1】
M個のN次元列ベクトルからなる、M×N次元の第1の行列a=[a
0,

1,

2,…,

M-1
]および第2の行列b=[b
0,

1,

2,…,

M-1
]に関して、該第1の行列と該第2の行列に属するすべての列ベクトルの組み合わせに関するドット積を要素に持つM個のM次元列ベクトルからなるM×M次元の第3の行列x=[x
0,

1,

2,…,

M-1
]を求める計算を、行列の積x=a

bによって求める際に、
演算処理装置の構成最小単位であるM個の演算ユニットそれぞれの内部に、前記第1の行列a=[a
0,

1,

2,…,

M-1
]および前記第2の行列b=[b
0,

1,

2,…,

M-1
]のうち列ベクトルの組[a
m,


]をm番目の演算ユニットに1組記憶し、前記M個の演算ユニットを直列のネットワークで接続し、そのうちの任意の演算ユニットからN次元の列ベクトルb

の配列データを送り出し、順次後段に隣接する演算ユニットに伝播し、前記第2の行列の各々の列ベクトルb
0,

1,

2,…,

M-1
と演算ユニット内部に蓄えたa

とのドット積、すなわちM×M次元の第3の行列の配列の部分をなすM次元列ベクトルx

=[a

・b
0,


・b
1,


・b
2,…,


・b
M-1


をm番目の演算ユニット内部で計算し、このM次元の列ベクトルx

をm番目の演算ユニット内部に保存することによって行う、当該演算処理装置、ここで、a

、b

およびx

は配列として演算器内部に記憶される列ベクトルである。
続きを表示(約 1,900 文字)【請求項2】
m番目の演算ユニット内部に蓄えられた前記第3の行列に属する列ベクトルx

とあらかじめ蓄えられたM×N次元の第4の行列c=[c
0,

1,

2,…,

M-1
]とから行列の積y=[y
0,

1,

2,…,

M-1
]=cxによって生成される第5の行列のデータのうち、この部分をなし、m番目の演算ユニットに蓄える列ベクトルy

すなわち
TIFF
2024015679000008.tif
16
170
を計算する際に、
前記演算ユニットを直列に接続した前記ネットワークを用い、各演算ユニット内部に蓄えられたN次元列ベクトルc

の要素をc
m0
, c
m1
, c
m2
, …,c
m(N-1)
の順に前記ネットワーク上に送出し、前記N次元の列ベクトルy

を計算し、それぞれのm番目の演算ユニット内部に保存する、請求項1に記載の演算処理装置。
【請求項3】
M×L次元行列を構成する列ベクトルd

=[d
m0,

m1,

m2,…,

m(L-1)


に対してリニア層の計算をMチャネル分行う際に、N×L次元の係数行列UまたはN次元のバイアスベクトルVを外部から前記直列に接続したネットワークに順次入力して伝播させ、あらかじめ各m番目の演算ユニットに蓄えられた前記列ベクトルd

との間で、
TIFF
2024015679000009.tif
28
170
を計算し、m番目のN次元列ベクトルz

を各々の演算ユニット内部に保存する、但しuおよびvは各々係数行列U、バイアスベクトルVの要素を表す、請求項1または2に記載の演算処理装置。
【請求項4】
アテンションのマルチヘッド化を行う際に、ヘッド数H分の前記ネットワークおよび前記M個の演算ユニットの組を有し、ヘッド分割する直前のリニア層の係数行列の行数をヘッド数Hで分割し、分割された区分行列を各々h番目のヘッド用通信路に順次入力し、共有された被演算ベクトルデータd

との間で、
TIFF
2024015679000010.tif
23
170
を計算することによってマルチヘッド化を行う、請求項1または2に記載の演算処理装置。
【請求項5】
演算処理装置は、前記アテンションのマルチヘッド化を行う際に、マルチヘッド化されたベクトルを結合するために、結合直後のリニア層の係数行列の列数をヘッド数Hで分割し、分割された区分行列を各々h番目のヘッド用通信路に順次入力し、ヘッド毎に分割された部分和を合算し所定の演算ユニット内部に格納する機能を有する、請求項4に記載の演算処理装置。
【請求項6】
順次前記ネットワークにデータを読み出すデータ読み出し用デイジーチェインとデータを前記演算ユニットに入力するためのデータ入力用デイジーチェインを基本構造とする前記ネットワークを有し、前記データ読み出し用デイジーチェインの出力を前記データ入力用デイジーチェインに結合し、読み出したデータが直列に前記演算器ユニットに順次入力する、請求項1または2に記載の演算処理装置。
【請求項7】
前記ネットワークに演算コードをデータとともに順次直列に伝播する、請求項6に記載の演算処理装置。
【請求項8】
ハードウェアを追加することなくマルチヘッド化された列ベクトルデータの処理を行うために、配列の授受と積和演算の累算をヘッド順に区切って順次行うことで、マルチヘッド処理を模擬する、請求項1または2に記載の演算処理装置。
【請求項9】
チャネル数ないしシーケンス数の異なる問題に対応できるように、前記ネットワークをチャネル数またはシーケンス数に合わせて分割し、前記データ読み出し用デイジーチェインと前記データ入力用デイジーチェインとを結合する回路要素を有する、請求項6に記載の演算処理装置。

発明の詳細な説明【技術分野】
【0001】
本発明は演算システムに係り、特に機械学習処理を効率的に行う演算処理装置に関する。
続きを表示(約 3,200 文字)【背景技術】
【0002】
画像処理演算装置(GPU:Graphical Processing Unit)による汎用計算(GPGPU:General Purpose computing on GPU)によって、機械学習の速度は飛躍的に向上している。
【0003】
一方で、機械学習のネットワークモデルは、単純な畳み込み演算だけでなく、注意機構と呼ばれるベクトルの内積演算を用いるものに関しても、自動翻訳や画像処理など有用な応用が多数知られるようになってきている(例えば、特許文献1、非特許文献1、2参照。)。
【先行技術文献】
【特許文献】
【0004】
特開2022-019422号公報
【非特許文献】
【0005】
A. Vaswani et al., “Attention is all you need”, 31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA, Dec. 4-9, 2017. https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf
A. Dosovitskiy et al., “An image is worth 16x16 words: transformers for image recognition at scale”, The 9th International Conference on Learning Representations (ICLR 2021), Virtual Only, May 3-7, 2021. https://iclr.cc/virtual/2021/poster/3013
【発明の概要】
【発明が解決しようとする課題】
【0006】
画像処理演算装置は、一般的に多くの種類の行列演算を実行できるように汎用性が高くできており、その装置上で走らせるソフトウェアライブラリによって具体的な処理を行う構造となっている。この場合、汎用性のために、余分な消費電力を消費すること、ソフトウェア処理が入るために、速度が低下することが知られている。一方で、完全な専用回路を作ることは、他の計算を実行することができないという短所を生ずる。
【0007】
本発明の目的は、注意機構(以下、「アテンション」とも称する。)をベースとするネットワークモデルの計算を高速化できる演算処理装置を提供することである。
【課題を解決するための手段】
【0008】
本発明の一態様によれば、演算処理装置は、M個のN次元列ベクトルからなる、M×N次元の第1の行列a=[a
0,

1,

2,…,

M-1
]および第2の行列b=[b
0,

1,

2,…,

M-1
]に関して、その第1の行列とその第2の行列に属するすべての列ベクトルの組み合わせに関するドット積を要素に持つM個のM次元列ベクトルからなるM×M次元の第3の行列x=[x
0,

1,

2,…,

M-1
]を求める計算を、行列の積x=a

bによって求める際に、上記演算処理装置の構成最小単位であるM個の演算ユニットそれぞれの内部に、上記第1の行列a=[a
0,

1,

2,…,

M-1
]および上記第2の行列b=[b
0,

1,

2,…,

M-1
]のうち列ベクトルの組[a
m,


]をm番目の演算ユニットに1組記憶し、上記M個の演算ユニットを直列のネットワークで接続し、そのうちの任意の演算ユニットからN次元の列ベクトルb

の配列データを送り出し、順次後段に隣接する演算ユニットに伝播し、上記第2の行列の各々の列ベクトルb
0,

1,

2,…,

M-1
と演算ユニット内部に蓄えたa

とのドット積、すなわちM×M次元の第3の行列の配列の部分をなすM次元列ベクトルx

=[a

・b
0,


・b
1,


・b
2,…,


・b
M-1


をm番目の演算ユニット内部で計算し、このM次元の列ベクトルx

をm番目の演算ユニット内部に保存することによって行う、当該演算処理装置、ここで、a

、b

およびx

は配列として演算器内部に記憶される列ベクトルである。
【0009】
演算処理装置は、上記一態様において、m番目の演算ユニット内部に蓄えられた上記第3の行列に属する列ベクトルx

とあらかじめ蓄えられたM×N次元の第4の行列c=[c
0,

1,

2,…,

M-1
]とから行列の積y=[y
0,

1,

2,…,

M-1
]=cxによって生成される第5の行列のデータのうち、この部分をなし、m番目の演算ユニットに蓄える列ベクトルy

すなわち
TIFF
2024015679000002.tif
16
170
を計算する際に、上記演算ユニットを直列に接続した上記ネットワークを用い、各演算ユニット内部に蓄えられたN次元列ベクトルc

の要素をc
m0
, c
m1
, c
m2
, …,c
m(N-1)
の順に上記ネットワーク上に送出し、上記N次元の列ベクトルy

を計算し、それぞれのm番目の演算ユニット内部に保存してもよい。
【0010】
演算処理装置は、上記各態様において、M×L次元行列を構成する列ベクトルd

=[d
m0,

m1,

m2,…,

m(L-1)


に対してリニア層の計算をMチャネル分行う際に、N×L次元の係数行列UまたはN次元のバイアスベクトルVを外部から上記直列に接続したネットワークに順次入力して伝播させ、あらかじめ各m番目の演算ユニットに蓄えられた上記列ベクトルd

との間で、
TIFF
2024015679000003.tif
28
170
を計算し、m番目のN次元列ベクトルz

を各々の演算ユニット内部に保存してもよい。但し、uおよびvは各々係数行列U、バイアスベクトルVの要素を表す。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

個人
乗降調査装置
2日前
個人
自動販売機
9日前
日本精機株式会社
投影装置
2日前
個人
コメント配信システム
1か月前
個人
リユース統合システム
22日前
日本精機株式会社
投影システム
3日前
個人
広告提供方法
1か月前
株式会社SUBARU
車両
10日前
小林クリエイト株式会社
RFタグ
9日前
株式会社SUBARU
車両
1か月前
個人
情報処理装置及びプログラム
27日前
個人
コンピュータシステム
1か月前
個人
モノづくり知識情報システム
28日前
個人
チラシ掲載位置表示システム
20日前
個人
釣PAID降水確率ポイント
1か月前
株式会社協同印刷
防災・災害マウス
15日前
17LIVE株式会社
サーバ
2日前
ユニパルス株式会社
プログラム、方法
1か月前
太陽誘電株式会社
触覚生成装置
13日前
株式会社ゼロボード
価格決定システム
1日前
中国電力株式会社
ゲームシステム
28日前
株式会社イトーキ
分析装置
13日前
株式会社アジラ
姿勢推定システム
今日
株式会社カクシン
管理装置
1か月前
株式会社カネカ
異常推定システム
21日前
株式会社フォーバル
仕訳システム
21日前
個人
ディスプレイ・セットシステム
1か月前
オムロン株式会社
操作制御システム
1か月前
株式会社mov
情報処理装置
1か月前
個人
オーダーメイド品販売システム
1か月前
TDK株式会社
検出装置
1か月前
トヨタ自動車株式会社
ワーク保持装置
1か月前
個人
デジタルコンテンツ提供システム
1か月前
個人
ブロックチェーンと既存網との接続方法
22日前
小林クリエイト株式会社
あて先表示システム
9日前
日本電気株式会社
勤務管理装置
8日前
続きを見る