特許ウォッチ

公開番号2024041325
公報種別公開特許公報(A)
公開日2024-03-27
出願番号2022146070
出願日2022-09-14
発明の名称演算装置
出願人株式会社日立製作所
代理人青稜弁理士法人
主分類G06F 9/50 20060101AFI20240319BHJP(計算;計数)
要約【課題】好適にDNN(Deep Neural Network:深層学習)の演算を行うことができる、演算装置を提供すること。
【解決手段】演算領域を有する演算デバイスを少なくとも1つ備え、入力情報を取得すると、入力情報から複数の入力の特徴マップを生成し、生成した複数の入力の特徴に対して、チャンネル分割を含む少なくとも1つのDNNの分割方式で、DNNの演算を並列で行い、チャンネル分割は、特徴マップを分割することなく、特徴マップをまとめた組に分けて、分けた特徴マップをまとめた組それぞれを、演算領域それぞれに割り当てて、層の演算を行う。
【選択図】図3
特許請求の範囲【請求項１】
演算を行う少なくとも１つの演算領域を有する演算デバイスを少なくとも１つ備え、ＤＮＮ(Deep Neural Network：深層学習)の演算を、前記演算デバイスを用いて行う演算装置であって、
前記演算デバイスは、中間メモリ領域を有し、
前記演算装置は、
複数の前記演算領域と、
入力情報を取得すると、前記入力情報から複数の入力の特徴マップを生成し、生成した前記複数の入力の特徴マップを、前記演算デバイスのうちで演算に使用する演算デバイスに送信し、前記複数の前記演算領域を用いて、前記複数の入力の特徴マップに対する前記ＤＮＮの演算を並列で行うＤＮＮ演算実行部と、を備え、
前記ＤＮＮ演算実行部は、少なくとも１つのＤＮＮの分割方式で、前記複数の入力の特徴マップに対する前記ＤＮＮの演算を並列で行い、
前記ＤＮＮの演算を並列で行う際の前記ＤＮＮの分割方式には、
前記ＤＮＮの演算の過程で、層の演算に用いる複数の特徴マップそれぞれを分割することなく、前記層の演算に用いる複数の特徴マップを、特徴マップをまとめた組に分けて、分けた前記特徴マップをまとめた組それぞれに対して前記層の演算を行う、チャンネル分割を少なくとも含み、
少なくともチャンネル分割を行う際には、少なくとも１つの前記演算領域が有する前記中間メモリ領域に少なくとも他の１つの前記演算領域が有する特徴マップもしくは特徴マップに演算を行った結果を格納して演算を行う、
演算装置。
続きを表示（約 2,000 文字）【請求項２】
請求項１に記載の演算装置であって、
前記ＤＮＮ演算実行部は、前記複数の演算デバイスのうちで演算に使用する複数の演算デバイスそれぞれが生成した、畳み込みマップを、前記畳み込みマップを集約する演算デバイスの前記中間メモリ領域に格納させ、前記畳み込みマップを集約する演算デバイスに、前記中間メモリ領域に格納させたすべての畳み込みマップの各要素の和を取って、出力の特徴マップを生成させる、
演算装置。
【請求項３】
請求項２に記載の演算装置であって、
前記演算デバイスは、前記演算領域の数の前記中間メモリ領域を有する、
演算装置。
【請求項４】
請求項１に記載の演算装置であって、
前記ＤＮＮ演算実行部は、前記複数の演算デバイスのうちで演算に使用する複数の演算デバイスそれぞれに、生成した畳み込みマップの和をとった部分和マップを生成させ、前記部分和マップを集約する演算デバイスの中間メモリ領域に、部分和マップを格納させ、
さらに、前記部分和マップを集約する演算デバイスに、前記中間メモリ領域に格納させたすべての部分和マップの和をとって、出力の特徴マップを生成させる、
演算装置。
【請求項５】
請求項４に記載の演算装置であって、
前記演算デバイスは、前記演算領域の数の前記中間メモリ領域を有する、
演算装置。
【請求項６】
演算を行う少なくとも１つの演算領域を有する演算デバイスを少なくとも１つ備え、ＤＮＮ(Deep Neural Network：深層学習)の演算を、前記演算デバイスを用いて行う演算装置であって、
前記演算装置は、
複数の前記演算領域と、
入力情報を取得すると、前記入力情報から複数の入力の特徴マップを生成し、生成した前記複数の入力の特徴マップを、前記演算デバイスのうちで演算に使用する演算デバイスに送信し、前記複数の前記演算領域を用いて、前記複数の入力の特徴マップに対する前記ＤＮＮの演算を並列で行うＤＮＮ演算実行部と、を備え、
前記ＤＮＮ演算実行部は、前記ＤＮＮの演算の過程で、
特徴マップを面内で複数に分割し、分割した特徴マップそれぞれを、前記複数の前記演算領域それぞれに割り当てて、層の演算を行う空間分割と、
層の演算に用いる複数の特徴マップそれぞれを分割することなく、前記層の演算に用いる複数の特徴マップを、特徴マップをまとめた組に分けて、分けた前記特徴マップをまとめた組それぞれを、前記複数の前記演算領域のうちで演算に使用する演算領域それぞれに割り当てて、前記層の演算を行うチャンネル分割と、の分割方式を切り替える、
演算装置。
【請求項７】
請求項６に記載の演算装置であって、
前記複数の演算デバイスそれぞれは、さらに演算に使用する演算用メモリ領域を有し、
前記ＤＮＮ演算実行部は、前記複数の演算デバイスの処理速度と、前記複数の演算デバイスのうちの前記演算デバイスの数と、前記演算領域の数と、前記複数の演算デバイスの演算メモリの容量と、の少なくとも１つに基づいて、前記ＤＮＮの演算の有する前記層から選択された層の前で分割方式を前記空間分割から前記チャンネル分割に切り替える、
演算装置。
【請求項８】
請求項６に記載の演算装置であって、
さらに、前記演算デバイスは、中間メモリ領域を有し、
前記ＤＮＮ演算実行部は、前記複数の演算デバイスのうちで演算に使用する複数の演算デバイスそれぞれが生成した、畳み込みマップを、前記畳み込みマップを集約する演算デバイスの中間メモリ領域に格納させ、前記畳み込みマップを集約する演算デバイスに、前記中間メモリ領域に格納させたすべての畳み込みマップの各要素の和を取って、出力の特徴マップを生成させる、
演算装置。
【請求項９】
請求項８に記載の演算装置であって、
前記演算デバイスは、前記演算領域の数の前記中間メモリ領域を有する、
演算装置。
【請求項１０】
請求項６に記載の演算装置であって、
前記ＤＮＮ演算実行部は、前記複数の演算デバイスのうちで演算に使用する複数の演算デバイスそれぞれに、生成した畳み込みマップの和をとった部分和マップを生成させ、前記部分和マップを集約する演算デバイスの中間メモリ領域に、部分和マップを格納させ、
さらに、前記部分和マップを集約する演算デバイスに、前記中間メモリ領域に格納させたすべての部分和マップの和をとって、出力の特徴マップを生成させる、
演算装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ＤＮＮ(Deep Neural Network：深層学習)の演算を行う演算装置に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
労働人口や熟練作業者の減少が進んでいるため、物流分野や生産分野において、ロボットやＡＧＶ(Automatic Guided Vehicle)にＡＩ(Artificial Intelligence)を用いて、様々な業務を自動化することが促進されている。
【０００３】
この様な自動化では、ロボットやＡＧＶが搭載可能なエッジデバイスにより高精度な画像認識ＡＩを動作させることが重要である。ここで、ロボットやＡＧＶは迅速に動くこと可能なことが必須であり、そのために、ロボットやＡＧＶに搭載するＡＩを高速に演算できることが求められる。
【０００４】
高精度な画像認識ＡＩとしてはＤＮＮ(Deep Neural Network：深層学習)が知られている。ＤＮＮでは、画像から生成した特徴マップに対して畳み込み演算等を繰り返して画像を解析する。この演算の単位を層とよび、層によって演算に用いる特徴マップのサイズや枚数（チャンネル数）が変化する。一般にＤＮＮでは、演算のネットワークの前半では図１Ａに例を示す特徴マップ１－１、１－２、１－３の様に、特徴マップはサイズが大きく、チャンネル数は少ない。一方、演算のネットワークの後半では、図１Ｂに例を示す、特徴マップ２－１、２－２、・・・、２－１２の様に、特徴マップはサイズが小さく、チャンネル数は多い。
【０００５】
高精度な画像解析には大規模なＤＮＮが必要となる。一般的に、大規模なＤＮＮでは、特徴マップのサイズが大きく、チャンネルの数は多い。これに対して、特に処理能力やメモリ量に制限のあるエッジデバイスで高精度な画像解析を行うために、特徴マップを複数の領域に分割して、それぞれの領域に個別のデバイスを割り当てる方式である分割ＤＮＮが知られている。例えば、非特許文献１には、この分割ＤＮＮにおいて、主に入力層近くの特徴マップサイズの大きさに注目して、図２Ａに示す様な、２次元データである特徴マップそれぞれの面内を複数に分割する方式である空間分割を用いる技術が記載されている。ここで図２Ａには、空間分割の例として、特徴マップ１－１、１－２、１－３それぞれを４つの領域に分割して、それぞれの領域を合計４つのエッジデバイス１、２、３、４に割り当てる場合を示している。
【先行技術文献】
【非特許文献】
【０００６】
Li Zhou, Hao Wen, Radu Teodorescu and David H.C. Du, et al., "Distributing Deep Neural Networks with Containerized Partitions at the Edge",2nd USENIX Workshop on Hot Topics in Edge Computing, HotEdge(2019). https://www.usenix.org/system/files/hotedge19-paper-zhou.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、図１Ｂに示す様にＤＮＮ演算のネットワークの後半では特徴マップのサイズは縮小する。このため、空間分割では、ＤＮＮ演算のネットワークの後半で演算効率が低下してしまうという問題がある。また、大規模なＤＮＮの演算には大きなメモリ量が必要という問題がある。更には、この様な分割ＤＮＮでは複数のエッジの演算デバイスを動作させる必要があるため、消費電力が大きくなる場合があるという問題がある。このため、好適にＤＮＮの演算を行うことができる演算装置が求められている。
【０００８】
そこで、本発明の目的は、好適にＤＮＮの演算を行うことができる、演算装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の演算装置の一態様は、演算を行う少なくとも１つの演算領域を有する演算デバイスを少なくとも１つ備え、ＤＮＮ(Deep Neural Network：深層学習)の演算を、前記演算デバイスを用いて行う演算装置であって、前記演算デバイスは、中間メモリ領域を有し、前記演算装置は、複数の前記演算領域と、入力情報を取得すると、前記入力情報から複数の入力の特徴マップを生成し、生成した前記複数の入力の特徴マップを、前記演算デバイスのうちで演算に使用する演算デバイスに送信し、前記複数の前記演算領域を用いて、前記複数の入力の特徴マップに対する前記ＤＮＮの演算を並列で行うＤＮＮ演算実行部と、を備え、前記ＤＮＮ演算実行部は、少なくとも１つのＤＮＮの分割方式で、前記複数の入力の特徴マップに対する前記ＤＮＮの演算を並列で行い、前記ＤＮＮの演算を並列で行う際の前記ＤＮＮの分割方式には、前記ＤＮＮの演算の過程で、層の演算に用いる複数の特徴マップそれぞれを分割することなく、前記層の演算に用いる複数の特徴マップを、特徴マップをまとめた組に分けて、分けた前記特徴マップをまとめた組それぞれに対して前記層の演算を行う、チャンネル分割を少なくとも含み、少なくともチャンネル分割を行う際には、少なくとも１つの前記演算領域が有する前記中間メモリ領域に少なくとも他の１つの前記演算領域が有する特徴マップもしくは特徴マップに演算を行った結果を格納して演算を行う。
【００１０】
上記目的を達成するため、本発明の演算装置の一態様は、演算を行う少なくとも１つの演算領域を有する演算デバイスを少なくとも１つ備え、ＤＮＮ(Deep Neural Network：深層学習)の演算を、前記演算デバイスを用いて行う演算装置であって、前記演算装置は、複数の前記演算領域と、入力情報を取得すると、前記入力情報から複数の入力の特徴マップを生成し、生成した前記複数の入力の特徴マップを、前記演算デバイスのうちで演算に使用する演算デバイスに送信し、前記複数の前記演算領域を用いて、前記複数の入力の特徴マップに対する前記ＤＮＮの演算を並列で行うＤＮＮ演算実行部と、を備え、前記ＤＮＮ演算実行部は、前記ＤＮＮの演算の過程で、特徴マップを面内で複数に分割し、分割した特徴マップそれぞれを、前記複数の前記演算領域それぞれに割り当てて、層の演算を行う空間分割と、層の演算に用いる複数の特徴マップそれぞれを分割することなく、前記層の演算に用いる複数の特徴マップを、特徴マップをまとめた組に分けて、分けた前記特徴マップをまとめた組それぞれを、前記複数の前記演算領域のうちで演算に使用する演算領域それぞれに割り当てて、前記層の演算を行うチャンネル分割と、の分割方式を切り替える。
（【００１１】以降は省略されています）

関連特許