特許ウォッチ

公開番号2025060625
公報種別公開特許公報(A)
公開日2025-04-10
出願番号2024212079,2023539789
出願日2024-12-05,2021-04-07
発明の名称深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデジタル出力機構
出願人シリコンストーリッジテクノロージーインコーポレイテッド,SILICON STORAGE TECHNOLOGY, INC.
代理人弁理士法人英知国際特許商標事務所
主分類G11C 16/26 20060101AFI20250403BHJP(情報記憶)
要約【課題】人工ニューラルネットワークにおけるベクトルマトリックス乗算(VMM)アレイ内の選択された不揮発性メモリセルに記憶された値を読み出す又は検証する出力ブロックを提供する。
【解決手段】出力ブロック4500は、電流-電圧変換器4501及びアナログ-デジタル変換器4502を備える。出力ブロック4500は、ここではIneuとして示されるVMMアレイからの出力電流を受け取る。ここで、出力電流は、実行されている読み出し又は検証動作のためのVMMアレイからの出力値を表す。電流-電圧変換器4501は、電圧VOUTがVMMからの出力電流Ineuを表すように、出力電流Ineuを、ここではVOUTとして示される電圧信号に変換する。A/D変換器4502は、電圧VOUTをデジタル形式に変換し、ここではDOUTとして示されるデジタル出力を出力する。
【選択図】図45
特許請求の範囲【請求項１】
不揮発性メモリセルのアレイから出力を生成するための出力ブロックであって、
前記アレイへの一連の入力に応答して、生成された前記アレイ内の１つ以上の選択された不揮発性メモリセルから一連の電流を受け取り、かつ前記一連の電流に応答して電圧又は一連の電圧を生成するための電流－電圧変換器と、
前記電圧又は前記一連の電圧を複数の出力ビットに変換するためのアナログ－デジタル変換器であって、前記複数の出力ビットは、前記一連の電流又は前記電圧若しくは前記一連の電圧のうちの１つ以上に対して実行される重み付け関数を反映する、アナログ－デジタル変換器と、を備える、出力ブロック。
続きを表示（約 880 文字）【請求項２】
前記一連の入力のうちの各入力はパルスを含み、前記パルスの幅は、前記入力のデータ値に比例する、請求項１に記載の出力ブロック。
【請求項３】
前記一連の入力のうちの各入力は、アナログバイアス電圧に加算されるパルスを含み、前記パルスの幅は、前記入力のデータ値に比例する、請求項１に記載の出力ブロック。
【請求項４】
前記一連の入力のうちの各入力は、一連の１つ以上のパルスを含み、前記一連の１つ以上のパルス内のパルスの数は、前記入力のデータ値に比例する、請求項１に記載の出力ブロック。
【請求項５】
前記一連の入力のうちの各入力は、アナログバイアス電圧に加算される一連の１つ以上のパルスを含み、前記一連の１つ以上のパルス内のパルスの数は、前記入力のデータ値に比例する、請求項１に記載の出力ブロック。
【請求項６】
前記一連の入力のうちの各入力は、アナログバイアス電圧に加算されるパルスを含み、前記パルスの幅は、前記入力のデータ値に比例する、請求項１に記載の出力ブロック。
【請求項７】
前記一連の入力のうちの各入力は、アナログバイアス電圧を含み、前記アナログバイアス電圧の大きさは、前記入力のデータ値に比例する、請求項１に記載の出力ブロック。
【請求項８】
前記一連の入力のうちの各入力は、アナログバイアス電圧を含み、前記アナログバイアス電圧の大きさは、前記入力によって表される複数のデジタルビットのデータ値に比例する、請求項１に記載の出力ブロック。
【請求項９】
前記一連の入力のうちの各入力は、アナログバイアス電圧を含み、前記アナログバイアス電圧の大きさは、前記入力によって表されるデジタルビットのビット位置に応じて変化する、請求項１に記載の出力ブロック。
【請求項１０】
前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項１に記載の出力ブロック。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
（優先権の主張）
本出願は、２０２１年１月１日に出願された「ＩｎｐｕｔａｎｄＤｉｇｉｔａｌＯｕｔｐｕｔＭｅｃｈａｎｉｓｍｓｆｏｒＡｎａｌｏｇＮｅｕｒａｌＭｅｍｏｒｙｉｎａＤｅｅｐＬｅａｒｎｉｎｇＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌＮｅｔｗｏｒｋ」と題する米国特許仮出願第６３／１３３，２７０号、及び２０２１年３月３１日に出願された「ＤｉｇｉｔａｌＯｕｔｐｕｔＭｅｃｈａｎｉｓｍｓｆｏｒＡｎａｌｏｇＮｅｕｒａｌＭｅｍｏｒｙｉｎａＤｅｅｐＬｅａｒｎｉｎｇＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌＮｅｔｗｏｒｋ」と題する米国特許出願第１７／２１９，３５２号の優先権を主張する。
続きを表示（約 2,100 文字）【０００２】
（発明の分野）
人工ニューラルネットワークにおけるベクトルマトリックス乗算（vector-by-matrix multiplication、ＶＭＭ）アレイ内の不揮発性メモリセルを読み出す又は検証するための出力機構の多数の実施形態が開示される。
【背景技術】
【０００３】
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、お互いの間でメッセージを交換する相互接続した「ニューロン」の層を含む。
【０００４】
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいてチューニングされ得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。各レベルでニューロンは、シナプスから受け取ったデータに基づいて個々に又は集合的に意思決定を行う。
【０００５】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題のうちの１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
【０００６】
出願人は以前に、参照により組み込まれる米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受け取って、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受け取るように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、メモリセルの各々は、半導体基板内に形成された、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に絶縁されて配設される浮遊ゲートと、チャネル領域の第２の部分の上方に絶縁されて配設される非浮遊ゲートと、を含む。複数のメモリセルの各々は、浮遊ゲートの多くの電子に対応する重み値を記憶するように構成されている。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗算して第１の複数の出力を生成するように構成される。
【０００７】
アナログニューロモーフィックメモリシステムに使用される各不揮発性メモリセルは、消去・プログラムに対応して、浮遊ゲート内に電荷、すなわち電子の数、を非常に具体的かつ精確な量で保持しなければならない。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。
【０００８】
１つのＶＭＭの出力はしばしば別のＶＭＭに適用される必要があるので、ＶＭＭシステムにおいては、ＶＭＭの出力をビットに変換し、入力ビットを別のＶＭＭに適用できることが望ましい。次に、ＶＭＭシステムのビット符号化機構をどのようにして最良に実装するかに関する課題が生じる。
【０００９】
必要とされるのは、プログラミング、検証、及び読み出しを実行するためのＶＭＭのための改善された入力及び出力ブロックである。
【発明の概要】
【００１０】
人工ニューラルネットワークにおけるベクトルマトリックス乗算（ＶＭＭ）アレイ内の選択されたメモリセルに記憶された値を読み出す又は検証するための多数の実施形態が開示される。実施形態は、ＶＭＭアレイとともに使用するための入力ブロック及び出力ブロックの様々な設計を含む。
（【００１１】以降は省略されています）

関連特許