特許ウォッチ

公開番号2025024324
公報種別公開特許公報(A)
公開日2025-02-20
出願番号2023128353
出願日2023-08-07
発明の名称情報処理装置
出願人株式会社アイシン
代理人弁理士法人酒井国際特許事務所
主分類G06N 3/0495 20230101AFI20250213BHJP(計算;計数)
要約【課題】SNNやディジタル脳型計算機への適用が容易な、ニューラルネットワークによる演算を行う情報処理装置を提供する。
【解決手段】実施形態の情報処理装置は、入力層、1以上の中間層、および、出力層を含むニューラルネットワークによる演算を行う情報処理装置であって、少なくとも、前記入力層、および、1以上の前記中間層のそれぞれは、最後に、0か1を出力する量子化層を備える。
【選択図】図2
特許請求の範囲【請求項１】
入力層、１以上の中間層、および、出力層を含むニューラルネットワークによる演算を行う情報処理装置であって、
少なくとも、前記入力層、および、１以上の前記中間層のそれぞれは、最後に、０か１を出力する量子化層を備える、情報処理装置。
続きを表示（約 390 文字）【請求項２】
１以上の前記中間層のそれぞれは、重みに値が設定されており、
前記量子化層が０を出力した場合は、次の層に対して何も出力せず、
前記量子化層が１を出力した場合は、次の層に対して１を出力し、
前の層から１を入力した場合は、以降の処理で重み値を用いる、請求項１に記載の情報処理装置。
【請求項３】
前記量子化層は、所定のステップ関数を用いて、入力した数値に応じて０か１を出力する、請求項１に記載の情報処理装置。
【請求項４】
前記ニューラルネットワークは、スパイキング・ニューラルネットワーク、バイナリ・ニューラルネットワーク、量子化ニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）のいずれかである、請求項１に記載の情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、情報処理装置に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
近年、様々な技術分野において、ニューラルネットワークが利用されている。例えば、画像処理の技術分野では、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が広く活用されている。ＣＮＮによれば、入力データから多くの特徴量を抽出することが可能である。
【０００３】
また、ＣＮＮの層を深化することで、より複雑な特徴量を抽出することができる。その中でも、ResNet(Residual Neural Networks)と呼ばれる有名なＣＮＮモデルが存在する。このResNetは、スキップ・コネクションと残差ブロックを組み合わせた中間層を積層したモデルである。スキップ・コネクションは、基本的に入力データの特徴量を無劣化で後続の層に伝搬させるが、ダウンサンプリング時には情報劣化が発生する。残差ブロックは、スキップ・コネクションと並列に設けられ、上述の情報劣化を補正する。
【先行技術文献】
【非特許文献】
【０００４】
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun, "Identity Mappings in Deep Residual Networks",arXiv:1603.05027v3 [cs.CV] 25 Jul 2016
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ResNetには、Post-Activation ResNetとPre-Activation ResNetの２種類のモデル構造が存在する。それらのうち、Pre-Activation ResNetのほうがより優れた性能であることが知られている。しかしながら、Pre-Activation ResNetのモデルは、バイナリ信号を入力値としたとき、中間層の入出力が実数（小数）であるため、｛０，１｝から成る情報（スパイク信号）を扱うＳＮＮ（Spiking Neural Network）への適用が困難である。また、同様の理由から、｛０，１｝の情報を処理するディジタル脳型計算機への適用も困難である。
【０００６】
そこで、本発明の実施形態が解決しようとする課題の一つは、ＳＮＮやディジタル脳型計算機への適用が容易な、ニューラルネットワークによる演算を行う情報処理装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明の一実施形態としての情報処理装置は、入力層、１以上の中間層、および、出力層を含むニューラルネットワークによる演算を行う情報処理装置であって、少なくとも、前記入力層、および、１以上の前記中間層のそれぞれは、最後に、０か１を出力する量子化層を備える。
【０００８】
この構成によれば、ニューラルネットワークにおける入力層と中間層が、０か１を出力する量子化層を備えることによって、この技術をＳＮＮやディジタル脳型計算機へ容易に適用できる。
【０００９】
また、前記情報処理装置において、１以上の前記中間層のそれぞれは、重みに値が設定されており、前記量子化層が０を出力した場合は、次の層に対して何も出力せず、前記量子化層が１を出力した場合は、次の層に対して１を出力し、前の層から１を入力した場合は、以降の処理で重み値を用いる。
【００１０】
この構成によれば、中間層の入出力時に乗算を行う必要がなくなるので、計算コストや消費電力を大幅に減少できる。
（【００１１】以降は省略されています）

関連特許