特許ウォッチ

公開番号2024165300
公報種別公開特許公報(A)
公開日2024-11-28
出願番号2023081386
出願日2023-05-17
発明の名称スパイキングニューラルネットワークの生成方法、画像認識装置、および計算機システム
出願人株式会社日立製作所
代理人藤央弁理士法人
主分類G06N 3/049 20230101AFI20241121BHJP(計算;計数)
要約【課題】DNN(ディープニューラルネットワーク)から認識精度が高いSNN(スパイキングニューラルネットワーク)を生成する。
【解決手段】処理装置は、連結された複数の畳み込み層を含むDNNを定義する第1定義情報と、最後の畳み込み層のニューロンの活性化率が満たすべき条件とを受け付け、少なくとも一つの畳み込み層の出力と、DNNへの入力とが合成されるように、DNNの構造を変更し、構造が変更されたDNNを用いて、前記条件を満たすように学習処理を実行し、学習されたDNNを変換してSNNを定義する第2定義情報を生成する。
【選択図】図4
特許請求の範囲【請求項１】
処理装置および前記処理装置に接続されるメモリを有する計算機が実行するスパイキングニューラルネットワークの生成方法であって、
前記処理装置が、連結された複数の畳み込み層を含む、ディープニューラルネットワークを定義する第１定義情報を受け付け、前記メモリに格納する第１のステップと、
前記処理装置が、最後の前記畳み込み層のニューロンの活性化率が満たすべき条件を受け付け、前記メモリに格納する第２のステップと、
前記処理装置が、少なくとも一つの前記畳み込み層の出力と、前記ディープニューラルネットワークへの入力とが合成されるように、前記ディープニューラルネットワークの構造を変更する第３のステップと、
前記処理装置が、構造が変更された前記ディープニューラルネットワークを用いて、前記条件を満たすように学習処理を実行する第４のステップと、
前記処理装置が、学習された前記ディープニューラルネットワークを変換して、スパイキングニューラルネットワークを定義する第２定義情報を生成し、前記メモリに格納する第５のステップと、
を含むことを特徴とするスパイキングニューラルネットワークの生成方法。
続きを表示（約 930 文字）【請求項２】
請求項１に記載のスパイキングニューラルネットワークの生成方法であって、
前記第１定義情報によって定義される前記ディープニューラルネットワークは、最後の前記畳み込み層の出力を処理する全結合層を少なくとも一つ含み、
前記第３のステップは、前記処理装置が、最後の前記畳み込み層以外の少なくとも一つの前記畳み込み層の出力と、前記ディープニューラルネットワークへの入力とが合成され、かつ、最後の前記畳み込み層の出力と、前記ディープニューラルネットワークへの入力とが合成されるように、前記ディープニューラルネットワークの構造を変更するステップを含むことを特徴とするスパイキングニューラルネットワークの生成方法。
【請求項３】
請求項１に記載のスパイキングニューラルネットワークの生成方法であって、
前記第１定義情報によって定義される前記ディープニューラルネットワークは、最後の前記畳み込み層の出力を処理する全結合層を少なくとも一つ含み、
前記第３のステップは、前記処理装置が、最後の前記畳み込み層以外の少なくとも一つの前記畳み込み層の出力と、前記ディープニューラルネットワークへの入力とが合成されるように、前記ディープニューラルネットワークの構造を変更するステップを含むことを特徴とするスパイキングニューラルネットワークの生成方法。
【請求項４】
画像を格納する記憶装置および画像認識処理を実行する脳型デバイスを備える画像認識装置であって、
前記脳型デバイスは、前記画像に対して、請求項１に記載の前記スパイキングニューラルネットワークを用いた前記画像認識処理を実行することを特徴とする画像認識装置。
【請求項５】
計算機システムであって、
画像を取得し、前記画像を用いた画像認識処理を実行するエッジ装置と、
前記エッジ装置の画像認識処理の結果を取得する管理計算機と、を備え、
前記エッジ装置は、前記画像に対して、請求項１に記載のスパイキングニューラルネットワークを用いた前記画像認識処理を実行することを特徴とする計算機システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、脳処理を模倣したスパイキングニューラルネットワークの生成方法に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
近年、画像認識および音声認識を始めとする様々なアプリケーションにおいて、ＡＩとりわけ深層学習の活用が進展し、映像監視およびチャットボット等において社会実装が進んでいる。深層学習の適用例として映像監視、例えば、駅、空港、通り等の公共の場での不審者および不明者等、特定の人物の発見および追跡、作業現場における作業者の特定の行動、例えば危険な行動の発見等の例がある。
【０００３】
画像の学習／推論には、複雑な画像の認識精度を向上できるという点から、畳み込みニューラルネットワーク（ＣＮＮ）の一種であるＶＧＧｎｅｔ（例えば、非特許文献１を参照）およびＲｅｓＮｅｔ（ＲｅｓｉｄｕａｌＮｅｔｗｏｒｋ）（例えば、非特許文献２を参照）が用いられる。画像に映っている識別対象物の種類が数十以上と多い場合に高い識別精度を得るため、これらのニューラルネットワークは畳み込み層を数十から１００層以上連結して構成される。これらのＣＮＮを用いて画像認識を行う場合、計算処理負荷が大きいためＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）サーバで処理を行う必要があり消費電力が大きいという課題がある。
【０００４】
消費電力を削減するため、ＣＮＮを、脳処理を模倣するスパイキングニューラルネットワーク（ＳＮＮ）に変換し、消費電力の低い脳型デバイスで推論を行う手法が研究されている（例えば、非特許文献３を参照）。
【先行技術文献】
【非特許文献】
【０００５】
“Very deep convolutional networks for large-scale image recognition”, K. Simonyan and A. Zisserman, in ICLR, 2015.
”Deep Residual Learning for Image Recognition”, Kaiming He, et. Al., CVPR, 2016, Volume 1, pp 770-78
”Benchmarking Keyword Spotting Efficiency on Neuromorphic Hardware”, P. Blouw, et al., in NICE '19, March 2019.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＣＮＮをＳＮＮに変換する方法は、画像認識などアプリケーションで実績のあるＣＮＮを活用できるという点でメリットがあり、主要なＳＮＮ構築方法である。アプリケーションで実績のある従来技術のＣＮＮは、ネットワークの畳み込み層の数が数十から１００層以上と多い。しかし、畳み込み層数の多いＣＮＮをＳＮＮに変換すると、ＳＮＮでの認識精度はＣＮＮの認識精度に対し大きく劣化するという課題がある。認識精度が劣化する理由は、ＣＮＮを構成する畳み込み層で入力が減衰するためである。多数の畳み込み層を重ねると各畳み込み層での入力の減衰によって、最終段では元の画像（入力）の情報が失われてしまうため、認識精度が劣化する。このように多層のＣＮＮを変換したＳＮＮでは認識精度が劣化するため、アプリケーションにおいて実績のある多層のＣＮＮをＳＮＮで活用できなかった。
【０００７】
そこで、本発明の目的は、多層のＣＮＮをＳＮＮに変換する場合に、ＣＮＮの認識精度に対して認識精度が劣化しないＳＮＮを生成することである。
【課題を解決するための手段】
【０００８】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、処理装置および前記処理装置に接続されるメモリを有する計算機が実行するスパイキングニューラルネットワークの生成方法であって、前記処理装置が、連結された複数の畳み込み層を含む、ディープニューラルネットワークを定義する第１定義情報を受け付け、前記メモリに格納する第１のステップと、前記処理装置が、最後の前記畳み込み層のニューロンの活性化率が満たすべき条件を受け付け、前記メモリに格納する第２のステップと、前記処理装置が、少なくとも一つの前記畳み込み層の出力と、前記ディープニューラルネットワークへの入力とが合成されるように、前記ディープニューラルネットワークの構造を変更する第３のステップと、前記処理装置が、構造が変更された前記ディープニューラルネットワークを用いて、前記条件を満たすように学習処理を実行する第４のステップと、前記処理装置が、学習された前記ディープニューラルネットワークを変換して、スパイキングニューラルネットワークを定義する第２定義情報を生成し、前記メモリに格納する第５のステップと、を含む。
【発明の効果】
【０００９】
本発明によれば、認識精度の劣化を抑えたＳＮＮを生成できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【００１０】
実施例１のＳＮＮの構造の特徴を示す図である。
実施例１のＳＮＮの構造の一例を示す図である。
実施例１のＳＮＮの構造の一例を示す図である。
実施例１のＳＮＮの生成方法の一例を説明するフローチャートである。
実施例１の脳型計算機の一例を示す図である。
実施例１のＳＮＮを実装した脳型計算機の活用の一例を示す図である。
実施例１のＳＮＮを実装した脳型計算機が実行する画像認識処理の一例を説明するフローチャートである。
実施例１の監視カメラシステムの一例を示す図である。
実施例１の監視カメラシステムの別例を示す図である。
【発明を実施するための形態】
【実施例】
（【００１１】以降は省略されています）

関連特許