特許ウォッチ

公開番号2025042961
公報種別公開特許公報(A)
公開日2025-03-28
出願番号2023150192
出願日2023-09-15
発明の名称演算処理装置および演算処理装置の動作方法
出願人富士通株式会社
代理人個人,個人
主分類G06F 17/10 20060101AFI20250321BHJP(計算;計数)
要約【課題】アクセラレータの構成に依存せずに、行列を冗長部分が少ないデータに並び替える。
【解決手段】複数の要素を含む行列の畳み込み計算を実行する演算処理装置は、行列を保持する第1メモリと、第1メモリに保持された行列の要素を並び替えたデータを保持する第2メモリと、行列の各行においてフィルタとの行列積演算に使用する、行方向に並ぶ複数の要素群を、行列の列方向に並ぶ複数の要素群の要素の一部と順次重複するように第2メモリの複数の行のそれぞれに一列に書き込むことで、行列の要素を並び替えて第2メモリに保持するプロセッサと、要素の一部が重複して第2メモリに書き込まれた複数の要素群とフィルタとの行列積演算を実行することで、行列の畳み込み計算を実行するアクセラレータと、を有する。これにより、演算処理装置の処理性能の向上して、機械学習等の効率を向上することができる。
【選択図】図2
特許請求の範囲【請求項１】
複数の要素を含む行列の畳み込み計算を実行する演算処理装置であって、
前記行列を保持する第１メモリと、
前記第１メモリに保持された前記行列の要素を並び替えたデータを保持する第２メモリと、
前記行列の各行においてフィルタとの行列積演算に使用する、行方向に並ぶ複数の要素群を、前記行列の列方向に並ぶ複数の要素群の要素の一部と順次重複するように前記第２メモリの複数の行のそれぞれに一列に書き込むことで、前記行列の要素を並び替えて前記第２メモリに保持するプロセッサと、
要素の一部が重複して前記第２メモリに書き込まれた複数の要素群と前記フィルタとの行列積演算を実行することで、前記行列の畳み込み計算を実行するアクセラレータと、を有する
演算処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記アクセラレータにより複数の前記行列の畳み込み計算を実行する場合、
前記プロセッサは、複数の前記行列において同じ位置の前記要素群の同じ位置の要素を前記第２メモリの同じ行の中に隣接して書き込む
請求項１に記載の演算処理装置。
【請求項３】
複数の前記行列の行列積演算にそれぞれ使用する複数の前記フィルタは、複数の前記フィルタにおいて同じ位置の要素を隣接させて前記第２メモリの一行に保持される
請求項２に記載の演算処理装置。
【請求項４】
複数の前記行列を各々含む複数の行列群の畳み込み計算を実行する場合、
前記フィルタは、複数の前記行列群毎に前記第２メモリの互いに異なる行に保持される
請求項３に記載の演算処理装置。
【請求項５】
前記行列は、前記行列より大きいサイズの行列を複数に分割した分割行列であり、
前記プロセッサは、複数の前記分割行列の要素を順に並び替え、
前記アクセラレータは、要素が並び替えられた前記分割行列の行列積演算を順に実行し、
２番目以降の前記分割行列の要素の並び替えは、他の前記分割行列の行列積演算と並列に実行される
請求項１ないし請求項４のいずれか１項に記載の演算処理装置。
【請求項６】
複数のコアを有するコアグループと、
複数の要素を含む行列を保持する第１メモリと、
前記第１メモリに保持された前記行列の要素を並び替えたデータを保持する第２メモリと、
行列積演算を実行するアクセラレータと、を有し、
前記複数のコアは、前記行列を複数に分割した分割行列の要素をそれぞれ並び替え、並び替えたデータを前記第２メモリに書き込んだ後、並び替えたデータの行列積演算の実行を前記アクセラレータに指示し、
前記アクセラレータは、前記指示に基づいて、並び替えたデータの行列積演算を実行し、実行結果を前記第２メモリに書き込み、
前記複数のコアは、複数の前記分割行列のうち、並び替えしていない分割行列がある場合、並び替えと、並び替えたデータの前記第２メモリへの書き込みと、並び替えたデータの行列積演算の実行の指示とを行い、複数の前記分割行列の全ての並び替えが完了した場合、前記アクセラレータによる行列積演算の完了を待つ
演算処理装置。
【請求項７】
複数の要素を含む行列を保持する第１メモリと、前記第１メモリに保持された前記行列の要素を並び替えたデータを保持する第２メモリと、プロセッサと、アクセラレータと、を有する演算処理装置の動作方法であって、
前記プロセッサが、前記行列の各行においてフィルタとの行列積演算に使用する、行方向に並ぶ複数の要素群を、前記行列の列方向に並ぶ複数の要素群の要素の一部と順次重複するように前記第２メモリの複数の行のそれぞれに一列に書き込むことで、前記行列の要素を並び替えて前記第２メモリに保持し、
前記アクセラレータが、要素の一部が重複して前記第２メモリに書き込まれた複数の要素群と前記フィルタとの行列積演算を実行することで、前記行列の畳み込み計算を実行する
演算処理装置の動作方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、演算処理装置および演算処理装置の動作方法に関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
近年、ＲｅｓＮｅｔ５０等のＣＮＮ（Convolutional Neural Network）の発展により、畳み込み計算が多用されるようになってきている。畳み込み計算は、行列積演算が繰り返し行われるため計算量が多く、ＣＮＮを含むＤＮＮ（Deep Neural Network）の学習時間のほとんどは、計算時間で占められることが多い。
【０００３】
例えば、ＤＮＮの学習には、行列積演算を実行する多数の行列積演算器を含む複数のコアが搭載されたＧＰＵ（Graphics Processing Unit）等のアクセラレータが使用される。例えば、この種のアクセラレータは、im2col変換により２次元から１次元に変換された入力データを使用して行列積演算を実行する。これにより、アクセラレータは、メモリから入力データを効率よく読み出して、行列積演算を効率よく実行することができる。
【０００４】
例えば、情報処理装置において、畳み込み処理で実行される行列処理の組み合わせ毎に行列処理のコストを合計し、合計したコストが最小となる行列処理の組み合わせを選択することで、畳み込み処理の処理速度は向上する（例えば、特許文献１参照）。
【０００５】
例えば、行列積演算を実行するアクセラレータは、im2col変換を実行するim2colエンジンまたはim2colモジュールを有する。im2colエンジンまたはim2colモジュールによる変換では、行列積演算器の構成に合わせて、複数の入力データの共通部分を重複させてメモリに格納することで、メモリ容量が節約される（例えば、特許文献２、３参照）。
【先行技術文献】
【特許文献】
【０００６】
国際公開第２０２０／０３１２８１号
米国特許出願公開第２０２２－００６６９６０号明細書
米国特許出願公開第２０２０－０１３３８３１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
アクセラレータの構成に依存せずに、行列を冗長部分が少ないデータに並び替える手法は提案されていない。
【０００８】
１つの側面では、本発明は、アクセラレータの構成に依存せずに、行列を冗長部分が少ないデータに並び替えることを目的とする。
【課題を解決するための手段】
【０００９】
一つの観点によれば、演算処理装置は、複数の要素を含む行列の畳み込み計算を実行する演算処理装置であって、前記行列を保持する第１メモリと、前記第１メモリに保持された前記行列の要素を並び替えたデータを保持する第２メモリと、前記行列の各行においてフィルタとの行列積演算に使用する、行方向に並ぶ複数の要素群を、前記行列の列方向に並ぶ複数の要素群の要素の一部と順次重複するように前記第２メモリの複数の行のそれぞれに一列に書き込むことで、前記行列の要素を並び替えて前記第２メモリに保持するプロセッサと、要素の一部が重複して前記第２メモリに書き込まれた複数の要素群と前記フィルタとの行列積演算を実行することで、前記行列の畳み込み計算を実行するアクセラレータと、を有する。
【発明の効果】
【００１０】
アクセラレータの構成に依存せずに、行列を冗長部分が少ないデータに並び替えることができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許