特許ウォッチ

公開番号2024166373
公報種別公開特許公報(A)
公開日2024-11-28
出願番号2024161294,2021569012
出願日2024-09-18,2020-03-25
発明の名称行列演算用の装置及び方法
出願人アーム・リミテッド
代理人弁理士法人浅村特許事務所
主分類G06F 17/16 20060101AFI20241121BHJP(計算;計数)
要約【課題】第1の行列及び第2の行列上で演算を実行するデータ処理装置を提供する。
【解決手段】データ処理装置は、第1の行列の要素、第2の行列の要素、及び第1の行列の要素が第1の行列内に位置する場所を示す対応データ、を受信する受信機回路を含む。判定回路は、対応データを使用して、第1の行列の列iの第1の行列の所与の要素に対して、第2の行列の所与の要素が第2の行列の行iに発生するかどうかの判定を実行する。集約回路は、第1の行列の所与の行と第2の行列の所与の列との間の集約を計算し、その判定に応じて、第1の行列の所与の要素及び第2の行列の所与の要素に対する機能を実行して部分結果を生成する機能回路を含む。
【選択図】図9
特許請求の範囲【請求項１】
行列演算命令を含む１つ以上の命令を受信するデコード回路を備え、前記行列演算命令が、第１の行列の要素、第２の行列の要素、及び前記第１の行列の前記要素が前記第１の行列内にある場所を示す対応データを参照し、前記第１の行列の要素と前記対応データとが、ベクトルレジスタに記憶され、
前記行列演算命令を受信することに応じて、前記デコード回路が、１つ以上の実行ユニットに前記第１の行列及び前記第２の行列上で行列演算を実行させるために１つ以上の制御信号を生成するように構成される、データ処理装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、データ処理に関する。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
行列乗算などの行列演算を実行する際に、多数のサブステップが実行され得る。多くの場合、これらのサブステップは、行列演算全体に対してほとんど影響を及ぼさない。例えば、２つの疎行列（０の値を有する比較的大きい割合のエントリを含むもの）を一緒に乗算する場合、ゼロによる多数の乗算が行われる。これは特に、例えば、多くの場合画像分類で使用される、畳み込みニューラルネットワーク（ＣＮＮ）の場合であり得る。ゼロによる乗算は、ゼロの結果をもたらすため、そのような乗算は無駄であり得るが、乗算を実際に実行するプロセスでは、依然として回路時間及び電力を消費し得る。更に、そのような行列を記憶することは、多くの記憶スペースを使用し得る。したがって、より少数のサブステップを使用してそのような演算を実行することができるのが望ましい。そのような行列が、より少ない記憶スペースを使用して記憶され、それによって、リソース消費、並びに電力及び潜在的には回路サイズを低減することも望ましい。
【発明の概要】
【０００３】
第１の例示的な構成から見ると、第１の行列及び第２の行列上で演算を実行するデータ処理装置が提供され、データ処理装置は、第１の行列の要素、第２の行列の要素、及び第１の行列の要素が第１の行列内に位置する場所を示す対応データを受信する受信機回路と、対応データを使用して、第１の行列の行ｉ、列ｊｉの第１の行列の所与の要素に対して、第２の行列の要素のうちの所与の１つが第２の行列の行ｊ、列ｉに発生するかどうかの判定を実行する判定回路と、第１の行列の所与の行ｉと第２の行列の所与の列ｉとの間の集約を計算する集約回路であって、判定に応じて、第１の行列の所与の要素及び第２の行列の所与の要素に対する機能を実行して部分結果を生成する機能回路を含む、集約回路と、を備える。
【０００４】
第２の例示的な構成から見ると、第１の行列及び第２の行列上で演算を実行するデータ処理方法が提供され、方法は、第１の行列の要素、第２の行列の要素、及び第１の行列の要素が第１の行列内に位置する場所を示す対応データと、を受信することと、対応データを使用して、第１の行列の列ｉの第１の行列の所与の要素に対して、第２の行列の要素の所与の要素が第２の行列の行ｉに発生するかどうかの判定を実行することと、第１の行列の所与の行と第２の行列の所与の列との間の集約を計算することであって、判定に応じて、第１の行列の所与の要素及び第２の行列の所与の要素に対する機能を実行することによって部分結果を生成する、ことと、からなるステップを含む。
【０００５】
第３の例示的な構成から見ると、データ処理装置が提供され、データ処理装置は、行列演算命令を含む１つ以上の命令を受信するデコード回路を備え、第１の行列の行列演算命令参照要素、第２の行列の要素、第１の行列の要素が第１の行列内に位置する場所を示す対応データを参照し、行列演算命令を受信することに応じて、デコード回路は、１つ以上の実行ユニットに第１の行列及び第２の行列上で行列演算を実行させるために、１つ以上の制御信号を生成する。
【図面の簡単な説明】
【０００６】
添付図面に示されるそれらの実施形態を参照して、あくまで例として本発明を更に説明する。
いくつかの実施形態による、例示的なデータ処理装置を概略的に示す。
行列積和演算を示し、行列の特定の要素の場所が表され得る方法を示す。
圧縮行列の要素が（元の）行列内に配置される方法を示す対応データと共に、圧縮形式の図２の行列の一部を示す。
図３に示される圧縮行列がレジスタ内に記憶され得る方法を示す。
いくつかの実施形態による、前に図示した圧縮行列内で行列演算を実行することができる回路を示す。
第２の行列が非圧縮である行列積和演算を示す。
図６に示される非圧縮の第２の行列がレジスタ内に記憶される方法を示す。
いくつかの実施形態による、前に図示した圧縮行列内で行列演算を実行することができる回路を示す。
いくつかの実施形態による、行列演算命令をデコードする回路を示す。
いくつかの実施形態による、データ処理の方法を示すフローチャートを示す。
【発明を実施するための形態】
【０００７】
添付図面を参照して実施形態を検討する前に、以下の実施形態を説明する。
【０００８】
いくつかの実施形態によれば、第１の行列及び第２の行列上で演算を実行するデータ処理装置が提供され、データ処理装置は、第１の行列の要素、第２の行列の要素、及び第１の行列の要素が第１の行列内に位置する場所を示す対応データを受信する受信機回路と、対応データを使用して、第１の行列の列ｉの第１の行列の所与の要素に対して、第２の行列の要素の所与の要素が第２の行列の行ｉに発生するかどうかの判定を実行する判定回路と、第１の行列の所与の行と第２の行列の所与の列との間の集約を計算する集約回路であって、判定に応じて、第１の行列の所与の要素及び第２の行列の所与の要素に対する機能を実行して部分結果を生成する機能回路を含む、集約回路と、を備える。
【０００９】
第１の行列及び第２の行列の要素の一部又は全ては、対応データと一緒に受信される。対応データは、全ての要素が提供されている訳ではない場所、提供要素が第１及び／又は第２の行列内に位置する場所、を示すために使用される。判定回路は、第１の行列と第２の行列との間で特定の演算（乗算や加算など）が実行された場合に、２つの要素が互いに相互作用するように、提供要素のうちの２つ（第１の行列の１つ及び第２の行列の１つ）が、互いに「相互作用」することになるかどうか、例えば、第１の行列の列ｉ内の所与の要素のうちの１つに対して、第２の行列の所与の要素のうちの１つが行ｉ内に存在するかどうかの指標を提供する。この判定に基づいて、機能回路は、第１及び第２の行列の所与の要素に対する機能を実行する。例えば、２つの要素が相互作用する場合、機能は部分結果を生成するために実行されるが、２つの要素が相互作用しない場合には、機能は実行されない（又は部分結果として「０」を単に戻す）。次いで、部分結果が、一緒に集約される。集約は、第１の行列の所与の行、及び第２の行列の所与の列に関して実行される。このようにして、第１の行列及び第２の行列の全ての要素を提供することなく、第１の行列と第２の行列との間で演算を実行することが可能である。特に、第１の行列と第２の行列との間の相互作用が発生する場所を判定することによって、全体的に計算されなければならない演算の数を制限することが可能である。更に、第１の行列の要素、第２の行列の要素、並びに第１の行列全体及び第２の行列全体ではなく対応データを記憶する必要のみがあるため、記憶要件を低減することができる。
【００１０】
いくつかの実施形態では、第１の行列の要素は、第１の行列の圧縮形態の要素であり、第１の行列の圧縮形態は、第１の行列からゼロである少なくとも一部のエントリを除去し、かつ各エントリがゼロである少なくとも一部の列又は行を除去することによって生成されている。ゼロを有するエントリの一部を除去し、かつその列又は行の各エントリがゼロである列又は行の少なくとも一部を除去することによって、行列の全体寸法及びその行列に提供される必要があるエントリの数を低減することが可能である。いくつかの実施形態では、ゼロ以外の値の除去が使用され得る。しかしながら、（値の高い割合がゼロである）疎行列の場合、オペランドのうちの１つがゼロである多くの演算が行われ得ることを理解されたい。そのような演算は、たとえ結果が予測可能であるか、又は更には無関係であっても、時間がかかり得る。そのような値を行列から除去することによって、演算の数を低減することができる。
（【００１１】以降は省略されています）

関連特許