特許ウォッチ

公開番号2024065809
公報種別公開特許公報(A)
公開日2024-05-15
出願番号2022174849
出願日2022-10-31
発明の名称リザバー計算装置および調整方法
出願人株式会社東芝
代理人弁理士法人酒井国際特許事務所
主分類G06G 7/60 20060101AFI20240508BHJP(計算;計数)
要約【課題】入力信号に含まれる特徴情報が適切に含まれる出力信号を生成する。
【解決手段】リザバー計算装置は、リザバー回路と、出力回路とを備える。リザバー回路は、入力データが与えられ、入力データが変化した場合に、それぞれが過渡変化をする複数の中間信号を出力する。出力回路は、複数の中間信号を合成した出力信号を出力する。リザバー回路は、複数の中間回路を有する。複数の中間回路のそれぞれは、ニューロン回路と、中間出力回路とを有する。ニューロン回路は、重みデータが設定され、入力データを取得し、入力データが変化した場合に、設定された重みデータおよび入力データに応じた過渡変化が生じる中間電圧を発生する。中間出力回路は、ニューロン回路から出力された中間電圧のレベルを表す中間信号を、複数の中間信号のうちの1つとして出力する。ニューロン回路は、中間電圧を出力する中間端子と基準電位との間に接続され、時定数を変更可能な時定数回路を含む。
【選択図】図2
特許請求の範囲【請求項１】
入力信号を取得し、前記入力信号のレベルに対応する入力データを出力する入力回路と、
前記入力データが与えられ、前記入力データが変化した場合に、それぞれが過渡変化をする複数の中間信号を出力するリザバー回路と、
前記複数の中間信号を合成した出力信号を出力する出力回路と、
を備え、
前記リザバー回路は、複数の中間回路を有し、
前記複数の中間回路のそれぞれは、
重みデータが設定され、前記入力データを取得し、前記入力データが変化した場合に、設定された前記重みデータおよび前記入力データに応じた過渡変化が生じる中間電圧を発生するニューロン回路と、
前記ニューロン回路から出力された前記中間電圧のレベルを表す中間信号を、前記複数の中間信号のうちの１つとして出力する中間出力回路と、
を有し、
前記ニューロン回路は、前記中間電圧を出力する中間端子と基準電位との間に接続され、時定数を変更可能な時定数回路を含む
リザバー計算装置。
続きを表示（約 1,900 文字）【請求項２】
前記入力データは、それぞれが２値を表す複数の入力ビットを含み、
前記重みデータは、それぞれが２値を表す複数の重みビットを含み、
前記複数の入力ビットのそれぞれは、前記複数の重みビットの何れかに対応し、
前記ニューロン回路は、
定電流源と、
前記複数の入力ビットに一対一に対応し、それぞれが前記中間端子と前記基準電位との間に接続される複数の演算回路
をさらに含み、
前記複数の演算回路のそれぞれは、抵抗器とスイッチとを含み、前記スイッチを切り替えることにより、前記複数の入力ビットのうちの対応する入力ビットと、前記複数の重みビットのうち対応する重みビットとを乗算した乗算値に応じた抵抗値となり、
前記複数の演算回路は、前記定電流源から出力される電流を前記抵抗器に流す
請求項１に記載のリザバー計算装置。
【請求項３】
前記入力データは、それぞれが２値を表す複数の入力ビットを含み、
前記重みデータは、それぞれが２値を表す複数の重みビットを含み、
前記複数の入力ビットのそれぞれは、前記複数の重みビットの何れかに対応し、
前記ニューロン回路は、
電源電位と、正側における前記中間端子である正側中間端子との間に接続され、定電流を流す正側電流源と、
前記電源電位と、負側における前記中間端子である負側中間端子との間に接続され、前記定電流を流す負側電流源と、
前記複数の入力ビットに一対一に対応し、それぞれが前記中間端子と前記基準電位との間に接続される複数の演算回路と、
を含み、
前記複数の演算回路のそれぞれは、
クロススイッチと、
正側抵抗器および負側抵抗器と、
を含み、
前記正側抵抗器および前記負側抵抗器は、対応する重みビットに応じて、抵抗差の正負が反転され、
前記クロススイッチは、対応する入力ビットに応じてストレート接続状態とリバース接続状態とに切り替わり、
前記ストレート接続状態において、前記クロススイッチは、前記正側抵抗器を前記基準電位と前記正側中間端子との間に接続し、且つ、前記負側抵抗器を前記基準電位と前記負側中間端子との間に接続し、
前記リバース接続状態において、前記クロススイッチは、前記正側抵抗器を前記基準電位と前記負側中間端子との間に接続し、且つ、前記負側抵抗器を前記基準電位と前記正側中間端子との間に接続する
請求項１に記載のリザバー計算装置。
【請求項４】
前記正側中間端子は、正側中間電圧を出力し、
前記負側中間端子は、負側中間電圧を出力し、
前記ニューロン回路は、
前記複数の重みビットのうちの何れかの重みビットに応じて、前記正側中間電圧または前記負側中間電圧の何れか一方を選択して、前記中間電圧として出力するセレクタ
をさらに含む請求項３に記載のリザバー計算装置。
【請求項５】
前記複数の入力ビットは、前記入力信号のレベルが正である場合に、前記入力信号のレベルの絶対値を、２値のうちの一方の値である第１値の個数で表す複数の正側ビットと、前記入力信号のレベルが負である場合に、前記入力信号のレベルの絶対値を前記第１値の個数で表す負側ビットとを含む
請求項２に記載のリザバー計算装置。
【請求項６】
前記出力回路は、前記複数の中間信号と、予め設定された複数の出力重みとを積和演算した前記出力信号を出力する
請求項１に記載のリザバー計算装置。
【請求項７】
前記時定数回路を制御して、前記時定数を変更する制御回路をさらに備える
請求項１に記載のリザバー計算装置。
【請求項８】
前記時定数回路は、キャパシタンスが変更可能であり、
前記制御回路は、前記時定数回路のキャパシタンスを変更する
請求項７に記載のリザバー計算装置。
【請求項９】
前記時定数回路は、可変容量キャパシタを含む
請求項８に記載のリザバー計算装置。
【請求項１０】
前記時定数回路は、全固体電池素子を含み、
前記全固体電池素子は、
固体電解質と、
前記固体電解質を挟んで設けられ、イオンを含む２つの電極部と、
を有する
請求項８に記載のリザバー計算装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、リザバー計算装置および調整方法に関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
人工知能（ＡＩ：Artificial Intelligence）は、様々な自動化処理および省人化処理に用いられる。代表的なＡＩアルゴリズムとして、ニューラルネットワークが知られている。ニューラルネットワークを多層にしたディープニューラルネットワーク（ＤＮＮ）は、深層学習アルゴリズムに用いられる。また、出力に近い方のニューロンから入力に近い方のニューロンへと再帰的に接続したリカレントニューラルネットワーク（ＲＮＮ）は、時系列データ処理に用いられる。また、短期記憶および長期記憶の表現能力を高めたニューラルネットワークとして、ＬＳＴＭ（Long-Short-Term Memory）が知られている。ＬＳＴＭは、時系列データ処理の応用性がさらに高い。
【０００３】
時系列データ処理に用いられるＲＮＮおよびＬＳＴＭは、汎用演算器であるＣＰＵ（Central Processing Unit）を用いて演算がされる。しかし、ＲＮＮおよびＬＳＴＭは、ＮＮおよびＤＮＮよりも演算量が多いので、ＧＰ－ＧＰＵ（General Purpose Graphical Processing Unit）を用いて演算がされることが多い。ＲＮＮおよびＬＳＴＭは、学習の際に、さらに演算量が増える。このため、ＲＮＮおよびＬＳＴＭは、学習時間が長く、学習時における消費電力が大きくなっていた。従って、深層学習、ＲＮＮおよびＬＳＴＭは、高い性能を発揮させるために、学習において、精緻なパラメータのチューニングをしなければならなかった。
【０００４】
一方、学習において演算量が少ない時系列データ処理向けのアルゴリズムとして、リザバーコンピューティングが知られている。リザバーコンピューティングは、入力部と、リザバー部と、出力部とを備える。リザバーコンピューティングは、リザバー部を学習させなくてよい。しかし、リザバーコンピューティングは、所望の信号を出力させるために、リザバー部と出力部との間の重みの精度を高くしなければならない。
【０００５】
リザバー部は、電子回路等の様々な媒体を用いてハードウェアにより実現される。また、リザバー部から出力される信号は、一般的にアナログ信号である。リザバーコンピューティングは、リザバー部と出力部と間の重みの演算を、アナログ回路による積和演算器により実現することが可能である。
【０００６】
また、ハードウェアにより実現されるリザバー部は、高い性能を発揮させるために、入力部と出力部との間におけるデータ変換による精度の低下をできるだけ少なくする必要があった。また、ハードウェアにより実現されるリザバー部は、高い性能を発揮させるために、処理対象の入力信号に含まれる特徴情報の変化速度と、リザバー部の応答特性との整合性を確保することが必要であった。
【先行技術文献】
【特許文献】
【０００７】
米国第１１１５０８７３号明細書
特許第６３０５００４号明細書
【非特許文献】
【０００８】
Xiangpeng Liang， Yanan Zhong， Jianshi Tang， Zhengwu Liu， Peng Yao， Keyang Sun， Qingtian Zhang， Bin Gao， Hadi Heidari， He Qian and Huaqiang Wu， “Rotating neurons for all-analog implementation of cyclic reservoir computing”， NATURE COMMUNICATIONS 1549(2022) 13， 2022 March 23
Chao Du1， Fuxi Cai1， Mohammed A. Zidan， Wen Ma， Seung Hwan Lee and Wei D. Lu， “Reservoir computing using dynamic memristors for temporal information processing”， NATURE COMMUNICATIONS 2204(2017) 8， 2017 December 19
Kentaro Honda and Hakaru Tamukoh， “A Hardware-Oriented Echo State Network and its FPGA Implementation”， Journal of Robotics, Networking and Artificial Life 7(1) 58-62，2020 05 18
Gouhei Tanaka， Toshiyuki Yamane， Jean Benoit Heroux， Ryosho Nakane， Naoki Kanazawa， Seiji Takeda， Hidetoshi Numata， Daiju Nakano， Akira Hirose， “Rotating neurons for all-analog implementation of cyclic reservoir computing”， Neural Networks Volume 115， Pages 100-123， July 2019,
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明が解決しようとする課題は、入力信号に含まれる特徴情報が適切に含まれる出力信号を生成することができるリザバー計算装置および調整方法を提供することにある。
【課題を解決するための手段】
【００１０】
実施形態に係るリザバー計算装置は、入力回路と、リザバー回路と、出力回路とを備える。前記入力回路は、入力信号を取得し、前記入力信号のレベルに対応する入力データを出力する。前記リザバー回路は、前記入力データが与えられ、前記入力データが変化した場合に、それぞれが過渡変化をする複数の中間信号を出力する。前記出力回路は、前記複数の中間信号を合成した出力信号を出力する。前記リザバー回路は、複数の中間回路を有する。前記複数の中間回路のそれぞれは、ニューロン回路と、中間出力回路とを有する。前記ニューロン回路は、重みデータが設定され、前記入力データを取得し、前記入力データが変化した場合に、設定された前記重みデータおよび前記入力データに応じた過渡変化が生じる中間電圧を発生する。前記中間出力回路は、前記ニューロン回路から出力された前記中間電圧のレベルを表す中間信号を、前記複数の中間信号のうちの１つとして出力する。前記ニューロン回路は、前記中間電圧を出力する中間端子と基準電位との間に接続され、時定数を変更可能な時定数回路を含む。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許