特許ウォッチ

公開番号2025083527
公報種別公開特許公報(A)
公開日2025-05-30
出願番号2025041655,2023179055
出願日2025-03-14,2019-04-03
発明の名称情報処理装置
出願人株式会社Preferred Networks
代理人弁理士法人ITOH
主分類G06N 3/063 20230101AFI20250523BHJP(計算;計数)
要約【課題】レイヤーアルゴリズムの処理において、外部メモリの帯域を有効に使うことができる集積回路を提供する。
【解決手段】情報処理装置は、1又は複数の第1の演算部を含む第1のチップと、1又は複数の第2の演算部を含み、前記第1のチップとは異なる第2のチップと、前記1又は複数の第1の演算部に接続された1又は複数の不揮発性メモリと、を備え、前記1又は複数の第2の演算部においてニューラルネットワークのバックワード処理を実行して前記ニューラルネットワークの重みの勾配を計算し、前記1又は複数の第2の演算部から前記計算された勾配を前記1又は複数の不揮発性メモリに転送し、前記1又は複数の第1の演算部は、前記1又は複数の不揮発性メモリから前記計算された勾配を取得し、前記計算された勾配に基づいて前記ニューラルネットワークの重みを更新する。
【選択図】図1
特許請求の範囲【請求項１】
１又は複数の第１の演算部を含む第１のチップと、
１又は複数の第２の演算部を含み、前記第１のチップとは異なる第２のチップと、
前記１又は複数の第１の演算部に接続された１又は複数の不揮発性メモリと、を備え、
前記１又は複数の第２の演算部においてニューラルネットワークのバックワード処理を実行して前記ニューラルネットワークの重みの勾配を計算し、
前記１又は複数の第２の演算部から前記計算された勾配を前記１又は複数の不揮発性メモリに転送し、
前記１又は複数の第１の演算部は、前記１又は複数の不揮発性メモリから前記計算された勾配を取得し、前記計算された勾配に基づいて前記ニューラルネットワークの重みを更新する、
情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、情報処理装置に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
近時、ニューラルネットワークを利用したディープラーニングにより画像認識や音声認識等が精度よく行われるようになってきている。例えば、ディープラーニングを実行するプロセッサは、外部メモリである主記憶装置から内部メモリに読み出した画像データおよび重みデータ等を使用して、複数の演算器に並列に演算を実行させる。この際、内部メモリに記憶された画像データおよび重みデータ等の配列を変換してプロセッサコアに入力することで、演算が効率的に実行される。
【先行技術文献】
【特許文献】
【０００３】
特開２０１８－１２０５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、ディープラーニングにおいて、ニューラルネットワークの各レイヤーで使用するパラメータの数は、各レイヤーに供給されるデータの数に比べて少ない場合が多い。そのため、レイヤーアルゴリズムの処理においてパラメータを外部メモリに対して入出力する場合、外部メモリの帯域を使い切れないタイミングがあり、メモリ資源を十分に活用できない場合がある。また、レイヤーアルゴリズムの処理を実行するために実装された多数の演算器を含む半導体装置でパラメータの更新処理を実行する場合、演算器の使用効率が低くなると、演算資源を十分に活用できない場合がある。
【課題を解決するための手段】
【０００５】
本発明の実施形態の情報処理装置は、１又は複数の第１の演算部を含む第１のチップと、１又は複数の第２の演算部を含み、前記第１のチップとは異なる第２のチップと、前記１又は複数の第１の演算部に接続された１又は複数の不揮発性メモリと、を備え、前記１又は複数の第２の演算部においてニューラルネットワークのバックワード処理を実行して前記ニューラルネットワークの重みの勾配を計算し、前記１又は複数の第２の演算部から前記計算された勾配を前記１又は複数の不揮発性メモリに転送し、前記１又は複数の第１の演算部は、前記１又は複数の不揮発性メモリから前記計算された勾配を取得し、前記計算された勾配に基づいて前記ニューラルネットワークの重みを更新する。
【図面の簡単な説明】
【０００６】
本発明の一実施形態における半導体装置の例を示すブロック図である。
図１の半導体装置が搭載される情報処理装置の例を示すブロック図である。
ディープニューラルネットワークの訓練におけるフォワード処理の例を示すフロー図である。
ディープニューラルネットワークの訓練におけるバックワード処理およびパラメータの更新処理の例を示すフロー図である。
フォワード処理およびバックワード処理でのレイヤーアルゴリズムの例を示す説明図である。
パラメータを最適化する勾配降下法の例を示す説明図である。
図１の半導体装置によりバックワード処理とパラメータの更新処理とを実行する場合の例を示すシーケンス図である。
図７におけるレイヤーＮ－１のパラメータ誤差の算出処理とパラメータの更新処理との詳細を示す説明図である。
図７のシーケンスを実行するメイン演算部およびサブ演算部の動作の例を示すフロー図である。
図１の内部メモリの例を示すブロック図である。
図１の内部メモリの別の例を示すブロック図である。
図１の内部メモリの別の例を示すブロック図である。
図１の内部メモリの別の例を示すブロック図である。
図１の内部メモリの別の例を示すブロック図である。
本発明の別の実施形態における半導体装置の例を示すブロック図である。
図１５の半導体装置がパラメータの更新処理を実行するときの動作の例を示すフロー図である。
【発明を実施するための形態】
【０００７】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【０００８】
図１は、本発明の一実施形態における半導体装置の例を示すブロック図である。図１に示す半導体装置１０は、例えば、複数のレイヤーを含むディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）の訓練に使用されるプロセッサであり、フォワード処理、バックワード処理およびパラメータの更新処理を実行する。フォワード処理、バックワード処理およびパラメータの更新処理については、図３および図４で説明する。
【０００９】
半導体装置１０は、第１の演算部３０および第２の演算部２０を有している。第１の演算部３０は、第１の演算器３１、第１のメモリ３２、命令デコーダ３３、第１のデータ転送制御部３４および第２のデータ転送制御部３５を有している。第２の演算部２０は、第２の演算器２１および第２のメモリ２２を有している。本実施形態において、第１の演算部３０は、パラメータの更新処理を実行する最適化演算部であり、第２の演算部２０は、ディープニューラルネットワークのフォワード処理およびバックワード処理を実行するベクトル演算部である。第１の演算部３０は、第１の集積回路の一例であり、第２の演算部２０は、第２の集積回路の一例である。
【００１０】
第２の演算器２１は、ベクトル演算または行列演算等を実行するための多数の演算器を有している。なお、第２の演算部２０は、演算命令やデータ転送命令等の命令を保持する命令バッファ、命令をデコードする命令デコーダ、演算に使用するデータや演算結果を保持するレジスタ等を有してもよい。また、第２の演算部２０は、第２のメモリ２２以外に、命令メモリ、命令キャッシュあるいはデータキャッシュを有してもよい。
（【００１１】以降は省略されています）

関連特許