特許ウォッチ

公開番号2024127317
公報種別公開特許公報(A)
公開日2024-09-20
出願番号2023036400
出願日2023-03-09
発明の名称情報処理装置および情報処理方法
出願人株式会社デンソー
代理人個人,個人
主分類G06F 17/16 20060101AFI20240912BHJP(計算;計数)
要約【課題】データの転送効率の良い情報処理装置を提供する。
【解決手段】情報処理装置1は、テンソルデータを複数のタイルに分割してニューラルネットワークによる演算処理を行う情報処理装置であって、テンソルデータを記憶した主記憶装置10と、前記主記憶装置に記憶されたテンソルデータをメモリ22に転送する転送処理部30と、前記メモリからテンソルデータを読み出してニューラルネットワークの演算処理を行う演算装置21とを備え、前記転送処理部は、ニューラルネットワークによる演算処理の内容に応じてあらかじめ定められたタイルのグループを単位として、前記主記憶装置からテンソルデータを読み出してバーストバッファ31に一時保存し、タイルの単位で前記バーストバッファからメモリにテンソルデータを転送する構成を有する。
【選択図】図1
特許請求の範囲【請求項１】
テンソルデータを複数のタイルに分割してニューラルネットワークによる演算処理を行う情報処理装置（１）であって、
テンソルデータを記憶した主記憶装置（１０）と、
前記主記憶装置に記憶されたテンソルデータをメモリ（２２）に転送する転送処理部（３０）と、
前記メモリからテンソルデータを読み出してニューラルネットワークの演算処理を行う演算装置（２１）と、
を備え、
前記転送処理部は、ニューラルネットワークによる演算処理の内容に応じてあらかじめ定められたタイルのグループを単位として、前記主記憶装置からテンソルデータを読み出してバーストバッファ（３１）に一時保存し、タイルの単位で前記バーストバッファからメモリにテンソルデータを転送する、情報処理装置。
続きを表示（約 970 文字）【請求項２】
前記グループは、ニューラルネットワークの演算処理の処理方向において隣接する複数のタイルによって構成される、請求項１に記載の情報処理装置。
【請求項３】
前記グループには、前記バーストバッファのサイズ以下となる最大個数のタイルを含む請求項１に記載の情報処理装置。
【請求項４】
前記グループには、前記バーストバッファのサイズ以下となる個数であって、かつ、前記グループは、前記テンソルデータの読み出し方向におけるデータに対するメモリのアクセス回数を最小化する個数のタイルを含む、請求項１に記載した情報処理装置。
【請求項５】
前記演算装置は、演算結果のデータを前記メモリに記憶し、
前記転送処理部は、メモリに記憶された演算結果のデータをタイル単位で読み出してバーストバッファ（３２）に一時保存し、前記グループの単位で前記バーストバッファから前記主記憶装置に前記演算結果のデータを転送する、請求項１に記載の情報処理装置。
【請求項６】
前記転送処理部は、第１のテンソルデータと第２のテンソルデータを１回の転送要求で転送する際には、前記第２のテンソルデータを前記バーストバッファへ書き込む際のアドレスに前記第１のテンソルデータの書き込み位置からのオフセットを与え、
当該オフセットは、前記第１のテンソルデータのグループのうち最大のデータサイズである、請求項１に記載の情報処理装置。
【請求項７】
テンソルデータを複数のタイルに分割してニューラルネットワークによる演算処理を行う情報処理方法であって、
転送処理部によって、主記憶装置に記憶されたテンソルデータをメモリに転送するステップと、
演算装置によって、前記メモリからテンソルデータを読み出してニューラルネットワークの演算処理を行うステップと、
を備え、
前記転送するステップでは、ニューラルネットワークによる演算処理の内容に応じてあらかじめ定められたタイルのグループを単位として、前記主記憶装置からテンソルデータを読み出してバーストバッファに一時保存し、タイルの単位で前記バーストバッファからメモリにテンソルデータを転送する、情報処理方法。

発明の詳細な説明【技術分野】
【０００１】
ニューラルネットワークの演算処理を行う情報処理装置及び情報処理方法に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
入力テンソルデータに対してニューラルネットワークの演算処理を行う際に、入力テンソルデータを一度に全部処理せずタイル分割して処理を行うニューラルネットワークアクセラレータが知られている。このようなニューラルネットワークアクセラレータではテンソルデータへの部分的なアクセスが発生するため、フォーマットによってはメモリアクセスが細分化されすぎてしまいアクセス性能の低下を引き起こすという問題がある。
これを改善するための既存手法として以下が挙げられる。
・ローカルな大容量ＳＲＡＭストレージ（Global Buffer・Global memory)を経由する方法（非特許文献１）
・入出力に対して動的に構成を変更可能なキャッシュ経由でアクセスする方法（非特許文献２）
【先行技術文献】
【非特許文献】
【０００３】
「Google の Tensor Processing Unit (TPU) で機械学習が３０倍速くなるメカニズム」Google Cloud Japan Team ＜https://cloud.google.com/blog/ja/products/gcp/an-in-depth-look-at-googles-first-tensor-processing-unit-tpu＞
Feng Liu, et.al,「CASSANN-v2: A high-performance CNN accelerator architecture with on-chip memory self-adaptive tuning」 IEICE Electronics Express, Vol.19, No.10, 1-6
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述した既存手法には次のような課題があった。
（１）ローカルＳＲＡＭにデータを配置する場合、テンソルデータ全体が入りきる大きな容量が必要で面積コストが高い。
（２）キャッシュを使う場合、ラインサイズに依存するがすぐには使わないデータも含めてまとめてフェッチしてしまったり、同じデータを再フェッチして効率が低下することがあった。
【０００５】
そこで、本発明は上記背景に鑑み、データの転送効率の良い情報処理装置および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。
【０００７】
本発明の情報処理装置は、テンソルデータを複数のタイルに分割してニューラルネットワークによる演算処理を行う情報処理装置（１）であって、テンソルデータを記憶した主記憶装置（１０）と、前記主記憶装置に記憶されたテンソルデータをメモリ（２２）に転送する転送処理部（３０）と、前記メモリからテンソルデータを読み出してニューラルネットワークの演算処理を行う演算装置（２１）とを備え、前記転送処理部は、ニューラルネットワークによる演算処理の内容に応じてあらかじめ定められたタイルのグループを単位として、前記主記憶装置からテンソルデータを読み出してバーストバッファ（３１）に一時保存し、タイルの単位で前記バーストバッファからメモリにテンソルデータを転送する構成を有する。この構成により、グループの単位で複数のタイルをまとめて転送することで、バーストアクセス単位が大きくなり、転送の効率が高くなる。
【０００８】
本発明の情報処理装置において、前記グループは、ニューラルネットワークの演算処理の処理方向において隣接する複数のタイルによって構成されてもよい。このように処理方向において隣接するタイルのデータを転送することで、同じデータを再フェッチする可能性がないため、バス転送の効率が良い。
【０００９】
本発明の情報処理装置において、前記グループには、前記バーストバッファのサイズ以下となる最大個数のタイルを含んでもよい。この構成により、前記バーストバッファを効率良く利用することができる。
【００１０】
本発明の情報処理装置において、前記グループには、前記バーストバッファのサイズ以下となる個数であって、かつ、前記グループは、前記テンソルデータの読み出し方向におけるデータに対するメモリのアクセス回数を最小化する個数のタイルを含んでもよい。
（【００１１】以降は省略されています）

関連特許