特許ウォッチ

公開番号2024158857
公報種別公開特許公報(A)
公開日2024-11-08
出願番号2023074432
出願日2023-04-28
発明の名称相互接続制御回路
出願人メイビスデザイン株式会社
代理人個人
主分類G06N 3/063 20230101AFI20241031BHJP(計算;計数)
要約【課題】小規模かつ汎用性のある装置構成であって処理の高速化を可能にする。
【解決手段】後段層のニューロンから前段層のニューロンへ誤差情報を転送する相互接続制御回路1であって、前段層のニューロン数分のメモリを有し、後段層のニューロンから入力される誤差情報を前段層のニューロン数分のメモリの読み込みアドレスを示す第1アドレスに対応させて記憶する第1保持回路51と、後段層のニューロン数分のメモリを有し、前段層のニューロンへ出力する誤差情報を後段層のニューロン数分のメモリの書き込みアドレスを示す第2アドレスに対応させて記憶する第2保持回路54と、所定の制御周期ごとに、第1アドレスをシフトすることにより第1保持回路のメモリそれぞれから誤差情報を読み込むと共に、第2アドレスをシフトすることにより、読み込んだ誤差情報を配置転換して第2保持回路のメモリそれぞれへ書き込む転送回路50とを有する。
【選択図】図1
特許請求の範囲【請求項１】
後段層のニューロンから前段層のニューロンへ誤差情報を転送する相互接続制御回路であって、
前記前段層のニューロン数分のメモリを有し、前記後段層のニューロンから入力される誤差情報を前記前段層のニューロン数分のメモリの読み込みアドレスを示す第１アドレスに対応させて記憶する第１保持回路と、
前記後段層のニューロン数分のメモリを有し、前記前段層のニューロンへ出力する誤差情報を前記後段層のニューロン数分のメモリの書き込みアドレスを示す第２アドレスに対応させて記憶する第２保持回路と、
所定の制御周期ごとに、前記第１アドレスをシフトすることにより前記第１保持回路のメモリそれぞれから前記誤差情報を読み込むと共に、前記第２アドレスをシフトすることにより、前記読み込んだ前記誤差情報を配置転換して前記第２保持回路のメモリそれぞれへ書き込む転送回路と、
を備えたことを特徴とする相互接続制御回路。
続きを表示（約 790 文字）【請求項２】
前記第１保持回路のメモリは、それぞれ前記後段層のニューロン数分のデータを記憶可能に領域分割されており、
前記第２保持回路のメモリは、それぞれ前記前段層のニューロン数分のデータを記憶可能に領域分割されており、
前記転送回路は、前記読み込んだ前記誤差情報を、前記第１保持回路の各メモリの同一位置の領域に記憶されたデータが、前記第２保持回路が有する同一のメモリに記憶するように配置転換する
ことを特徴とする請求項１記載の相互接続制御回路。
【請求項３】
前記転送回路による書き込みにより、前記第２保持回路の各メモリの同一位置の領域に記憶されたデータが揃ったときに、前記前段層により前記書き込まれた同一位置の領域に記憶されたデータが読み出される
ことを特徴とする請求項２記載の相互接続制御回路。
【請求項４】
前記転送回路による書き込みにより、前記第２保持回路の各メモリの同一位置の領域に記憶されたデータが揃い、かつ予め設定された閾値時間が経過したときに、前記前段層により前記書き込まれた同一位置の領域に記憶されたデータが読み出される
ことを特徴とする請求項２記載の相互接続制御回路。
【請求項５】
前記前段層と前記後段層との接続状態を接続情報として記憶する接続情報記憶部を、さらに備え、
前記転送回路は、
所定の制御周期ごとに、前記接続情報に基づいて前記第１アドレスをシフトすることにより前記第１保持回路のメモリそれぞれから前記誤差情報を読み込むと共に、前記接続情報に基づいて前記第２アドレスをシフトすることにより、前記読み込んだ前記誤差情報を配置転換して前記第２保持回路のメモリそれぞれへ書き込む
ことを特徴とする請求項１記載の相互接続制御回路。

発明の詳細な説明【技術分野】
【０００１】
本発明は、パラメータをメモリに格納してニューラルネットワークを構築する相互接続制御回路に関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
一般的に、機械学習は、経験からの学習により自動で改善するコンピューターアルゴリズムで、人工知能（ＡＩ）の一種であるとみなされている。「学習データ」と呼ばれるデータを使って学習することで、プログラムで指定することが難しいパラメータを自動的に学習し、学習結果を使って目的とするタスクを行うことができる。
【０００３】
機械学習に必要な学習データは膨大であり、収集に大きな労力が必要となる。そこでクラウド型ＡＩを用いた学習が主流となっている。クラウド型ＡＩは、エッジ端末で収集したデータを一旦クラウドに送信し、クラウド内でＡＩ処理を行い、再度エッジ端末にデータを配信する。
【０００４】
エッジＡＩを実現する手法として、ニューラルネットワークによる機械学習アルゴリズムが用いられる。ニューラルネットワークは、神経ネットワーク構造と機能を模倣するという観点で生まれたアルゴリズムであり、数理モデル化した神経細胞（ニューロン）をネットワーク構造に結合したものである。
【０００５】
一般的な相互接続ニューラルネットワークをハードウェアで実現する際、１つのニューロンにつきパラメータが複数あり、ニューロン数が増えてくると回路規模に占めるパラメータ格納領域が膨大化するという課題があった。
【０００６】
そのため、ニューラルネットワークをハードウェアで実装するとき、大規模なニューラルネットワークを構築するには規模が大きく不向きで合った。
【０００７】
そこで、パラメータをメモリに格納してニューラルネットワークを構築することが考えられる。この場合、メモリから後段層のニューロンの誤差情報を読み出す必要があるので、後段層のニューロン数だけ誤差情報を読み出す必要があり、後段のニューロンが５つある場合は５サイクル必要になる。
【０００８】
特許文献１には、ニューロンの誤差情報を読み出すサイクルを高速化する技術としてＳＷＡＰ回路を用いてデータの並び替えを行うことで、読み出し処理の高速化を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
特表２０１８－５３４６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に記載の技術では、例えば、特許文献１のＦｉｇ１０Ｃに示されているように、置換回路１００１は、レジスタ１００２、１００４、１００６及び１００８を備えており、レジスタ１００２は、キャッシュラインのバイトｂ０、ｂ４、ｂ８及びｂ１２を受信するように連結された入力線を備え、レジスタ１００４は、キャッシュラインのバイトｂ１、ｂ５、ｂ９及びｂ１３を受信するように連結された入力線を備え、レジスタ１００６は、キャッシュラインのバイトｂ２、ｂ６、ｂ１０及びｂ１４を受信するように連結された入力線を備え、レジスタ１００８は、キャッシュラインのバイトｂ３、ｂ７、ｂ１１及びｂ１５を受信するように連結された入力線を備える。
（【００１１】以降は省略されています）

関連特許