公開番号2024043241 公報種別公開特許公報(A) 公開日2024-03-29 出願番号2022148317 出願日2022-09-16 発明の名称情報処理装置、情報処理方法およびプログラム 出願人株式会社デンソーアイティーラボラトリ,国立大学法人東京工業大学 代理人個人,個人 主分類G06N 3/044 20230101AFI20240322BHJP(計算;計数) 要約【課題】新しい連想記憶模型のニューラルネットワークの技術を提供する。 【解決手段】情報処理装置1は、可視的ニューロンviと隠れニューロンhμとを相互作用行列によって結合したネットワークを記憶したネットワーク記憶部14と、データの入力を受け付ける入力部11と、データをネットワークの可視的ニューロンviに適用して、相互作用行列に基づく可視的ニューロンの更新則にしたがって、可視的ニューロンの値を更新し、周辺化尤度Σehμに基づく値が所定の閾値以下である場合に可視的ニューロンの値を0にし、所定の閾値より大きい場合に可視的ニューロンviの値を次の更新に用いて、所定の終了条件を満たすまで繰り返し更新を行う記憶照合部21と、記憶照合部21にて求めた可視的ニューロンの値に基づいて処理を行うパターン認識処理部22と、を備える。 【選択図】図5 特許請求の範囲【請求項１】 可視的ニューロンｖ i と隠れニューロンｈ μ とを相互作用行列によって結合したネットワークを記憶した記憶部と、 データの入力を受け付ける入力部と、 前記データを前記ネットワークの前記可視的ニューロンｖ i に適用して、前記相互作用行列に基づく前記可視的ニューロンの更新則にしたがって、前記可視的ニューロンｖ i の値を更新し、周辺化尤度Σｅ hμ に基づく値が所定の閾値以下である場合に前記可視的ニューロンｖ i の値を０にし、所定の閾値より大きい場合に可視的ニューロンｖ i の値を次の更新に用いて、所定の終了条件を満たすまで繰り返し更新を行う記憶照合部と、 前記記憶照合部にて求めた前記可視的ニューロンｖ i の値に基づいて処理を行う後段処理部と、 を備える情報処理装置。 続きを表示（約 2,600 文字）【請求項２】 前記所定の閾値を、前記隠れニューロンｈ μ の統計的値によって決定する請求項１に記載の情報処理装置。 【請求項３】 前記記憶照合部は、前記隠れニューロンｈ μ の値を確率的に求め、前記隠れニューロンｈ μ の確率分布に基づいて前記可視的ニューロンｖ i を確率的に求める請求項１または２に記載の情報処理装置。 【請求項４】 可視的ニューロンｖ i と隠れニューロンｈ μ とを相互作用行列によって結合したネットワークを記憶した記憶部と、 データの入力を受け付ける入力部と、 前記データを前記ネットワークの前記可視的ニューロンｖ i に適用して、前記相互作用行列に基づく前記可視的ニューロンｖ i の更新則にしたがって求めた値に、周辺化尤度Σｅ hμ に基づく値と所定の閾値との差分に基づく値を掛けて前記可視的ニューロンｖ i の値を更新する処理を、所定の終了条件を満たすまで繰り返し行う記憶照合部と、 前記記憶照合部にて求めた前記可視的ニューロンｖ i の値に基づいて処理を行う後段処理部と、 を備える情報処理装置。 【請求項５】 可視的ニューロンｖ i と隠れニューロンｈ μ とを相互作用行列によって結合したネットワークを記憶した記憶部と、 データの入力を受け付ける入力部と、 前記データの特徴量を計算する特徴量計算部と、 前記データの特徴量を前記ネットワークの前記可視的ニューロンｖ i に適用して、前記相互作用行列に基づく前記可視的ニューロンｖ i の更新則にしたがって、前記可視的ニューロンｖ i の値を更新し、周辺化尤度Σｅ hμ に基づく値が所定の閾値以下である場合に前記可視的ニューロンｖ i の値を０にし、所定の閾値より大きい場合に可視的ニューロンｖ i の値を次の更新に用いて、所定の終了条件を満たすまで繰り返し更新を行う記憶照合部と、 前記記憶照合部にて求めた前記可視的ニューロンｖ i の値に基づいて処理を行う後段処理部と、 を備える情報処理装置。 【請求項６】 前記記憶照合部にて前記可視的ニューロンｖ i の値が０に更新された場合に、その入力にかかる前記データを教師データとして学習を行う学習部を備える請求項１に記載の情報処理装置。 【請求項７】 前記記憶部には、異なる学習セットで学習を行った複数のネットワークを記憶しており、 前記複数のネットワークに対応する複数の記憶照合部を備え、 前記情報処理装置は、さらに、 それぞれの前記記憶照合部で求めた前記可視的ニューロンｖ i の値に基づいて処理を行う複数の後段処理部を備える請求項１に記載の情報処理装置。 【請求項８】 キー行列Ｋとクエリ行列Ｑとの行列積にsoftmax関数を適用した行列に対し、バリュー行列Ｖをかけて出力を求める注視機構を含むネットワークを記憶した記憶部と、 データの入力を受け付ける入力部と、 入力された前記データを前記ネットワークに適用して前記注視機構からの出力を計算する演算部であって、周辺化尤度Σｅ KQ に基づく値が所定の閾値以下である場合に出力を０とし、周辺化尤度Σｅ KQ に基づく値が所定の閾値より大きい場合にキー行列Ｋとクエリ行列Ｑとの行列積にsoftmax関数を適用した行列に対し、バリュー行列Ｖをかけた値を出力として計算する演算部と、 を備える情報処理装置。 【請求項９】 可視的ニューロンｖ i と隠れニューロンｈ μ とを相互作用行列によって結合したネットワークを用いて、入力されたデータに近いデータを推論するためのプログラムであって、コンピュータに、 データの入力を受け付けるステップと、 前記データを前記ネットワークの前記可視的ニューロンｖ i に適用して、前記相互作用行列に基づく前記可視的ニューロンｖ i の更新則にしたがって、前記可視的ニューロンｖ i の値を更新し、周辺化尤度Σｅ hμ に基づく値が所定の閾値以下である場合に前記可視的ニューロンｖ i の値を０にし、所定の閾値より大きい場合に可視的ニューロンｖ i の値を次の更新に用いて、所定の終了条件を満たすまで繰り返し更新を行うステップと、 更新により求めた前記可視的ニューロンｖ i の値に基づいて処理を行うステップと、 を実行させるプログラム。 【請求項１０】 可視的ニューロンｖ i と隠れニューロンｈ μ とを相互作用行列によって結合したネットワークを用いて、入力されたデータに近いデータを推論するための方法であって、 データの入力を受け付けるステップと、 前記データを前記ネットワークの前記可視的ニューロンｖ i に適用して、前記相互作用行列に基づく前記可視的ニューロンｖ i の更新則にしたがって、前記可視的ニューロンｖ i の値を更新し、周辺化尤度Σｅ hμ に基づく値が所定の閾値以下である場合に前記可視的ニューロンｖ i の値を０にし、所定の閾値より大きい場合に可視的ニューロンｖ i の値を次の更新に用いて、所定の終了条件を満たすまで繰り返し更新を行うステップと、 更新により求めた前記可視的ニューロンｖ i の値に基づいて処理を行うステップと、 を備える情報処理方法。
発明の詳細な説明【技術分野】 【０００１】 本発明は、連想記憶模型のニューラルネットワークの技術に関する。 続きを表示（約 1,500 文字）【背景技術】 【０００２】 センサ情報を入力としたパターン認識技術は、産業応用上、重要な技術である。近年ではニューラルネットワークに代表される機械学習の学術的発展を背景に、産業応用に堪えうる精度でのパターン認識が可能になりつつある。 【０００３】 現在広く用いられているニューラルネットワークは、予め教師データを用いて、ラベルを識別するための境界を学習しておき、推論時には、入力されたデータがどのラベルに当てはまる確率が大きいかを計算する尤度最大化を原理とするものである。 【０００４】 これと異なる認識メカニズムとして連想記憶模型のニューラルネットワークがある。連想記憶模型は、原則として単一層のニューラルネットワークを持ち、そのニューロン群の状態を表すベクトルが再帰的な更新則によって更新される。この更新則においてニューロン群の状態ベクトルは自分自身の値を用いて次の時刻の状態が定まるため、初期状態であった状態ベクトルは一般に十分な回数の更新の後それ以上変化しない不動点へと収束していくことが期待される。その行き着く先の不動点のことを初期状態が想起した「（連想）記憶」、収束していく過程を「記憶想起」と呼ぶ。 【０００５】 連想記憶模型の典型例として、１９８２年にHopfield氏が提唱したホップフィールドネットワーク（以下、「古典的ホップフィールドネットワーク」という。）がある（非特許文献１）。古典的ホップフィールドネットワークは、ニューロンの状態および記憶ベクトルが二値ベクトルであることを前提としているため、微分法を用いた勾配降下法を適用することができないという課題、および、記憶容量がニューロン数の高々線形オーダーしかないという課題があった。 【０００６】 これに対し、Hopfield氏は、Krotov氏とともに、上記の課題を解決した新しいホップフィールドネットワーク（以下、「モダンホップフィールドネットワーク」という）を２０２１年に発表した。 【先行技術文献】 【非特許文献】 【０００７】 J. J. Hopfield, 「Neural networks and physical systems with emergent collective computational abilities」 Proceedings of the National Academy of Sciences, 1982. D. Krotov and J. J. Hopfield, 「Large associative memory problem in neurobiology and machine learning」 ICLR, 2021. arXiv:2008.06996. 【発明の概要】 【発明が解決しようとする課題】 【０００８】 ２０２１年に発表された新しいホップフィールドネットワークは、古典的ホップフィールドネットワークの上記２つの課題を解決した手法である。しかしながら、ホップフィールドネットワークは、どんな新規な入力であろうと最近傍の不動点探索を行い、必ず何かを想起、推論してしまうという課題があった。 【０００９】 このように「記憶にない」という答えを出すことができないという課題は、ホップフィールドネットワークに限らず、連想記憶模型のネットワーク全般に存在する課題である。 【００１０】 本発明は上記背景に鑑み、新しい連想記憶模型のニューラルネットワークの技術を提供することを目的とする。 【課題を解決するための手段】 （【００１１】以降は省略されています） この特許をJ-PlatPatで参照する
特許ウォッチ
