特許ウォッチ

公開番号2023078975
公報種別公開特許公報(A)
公開日2023-06-07
出願番号2021192336
出願日2021-11-26
発明の名称ニューラルネットワーク回路装置
出願人国立大学法人東京工業大学
代理人個人
主分類G06N 3/02 20060101AFI20230531BHJP(計算;計数)
要約【課題】効率的に処理を行うことが可能なニューラルネットワーク回路装置を提供する。
【解決手段】ニューラルネットワーク回路装置100は、学習段階において固定された乱数で設定された重みと、学習段階で生成されたスーパーマスクとを用いて構成された、ニューラルネットワークモデルを実現する。ニューラルネットワーク回路装置100は、重み生成回路200と、演算回路400とを有する。重み生成回路200は、推論を行う際に、学習段階で用いられたシードと同じシードを用いて学習段階で生成された乱数と同じ乱数を生成するように構成された乱数生成器により重みを生成する。演算回路400は、推論対象データ又は当該推論対象データに対応する活性値データである入力データと、重みと、スーパーマスクとを用いて、積和演算を行う。
【選択図】図5
特許請求の範囲【請求項１】
学習段階において、ノード間の接続それぞれの重みが固定された乱数で設定され、前記接続それぞれの有効又は無効を決定することによってマスクが生成され、前記重みと前記マスクとを用いて構成された、ニューラルネットワークモデルを実現するニューラルネットワーク回路装置であって、
推論を行う際に、学習段階で用いられたシードと同じシードを用いて学習段階で生成された乱数と同じ乱数を生成するように構成された乱数生成器により前記重みを生成する重み生成回路と、
推論対象データ又は当該推論対象データに対応する活性値データである入力データと、前記重みと、前記マスクとを用いて、積和演算を行う演算回路と、
を有するニューラルネットワーク回路装置。
続きを表示（約 950 文字）【請求項２】
前記重み生成回路は、出力チャネルごとに異なるシードを用いて生成された前記乱数を、前記重みとして生成する、
請求項１に記載のニューラルネットワーク回路装置。
【請求項３】
出力チャネル番号と前記ニューラルネットワークモデルを構成する層の層番号とを用いて前記シードを生成する制御回路、
をさらに有する請求項２に記載のニューラルネットワーク回路装置。
【請求項４】
前記制御回路は、前記出力チャネル番号と前記層番号とを入力とするハッシュ関数によって、前記シードを生成する、
請求項３に記載のニューラルネットワーク回路装置。
【請求項５】
推論を行う際に、圧縮された状態の前記マスクを展開するマスク展開回路、
をさらに有し、
前記演算回路は、前記マスク展開回路によって展開された前記マスクを用いて、積和演算を行う、
請求項１から４のいずれか１項に記載のニューラルネットワーク回路装置。
【請求項６】
圧縮された状態の前記マスクは、ゼロランレングス圧縮方式によって圧縮されている、
請求項５に記載のニューラルネットワーク回路装置。
【請求項７】
圧縮された状態の前記マスクは、当該マスクが疎であるほど、圧縮率が高い状態で圧縮されている、
請求項６に記載のニューラルネットワーク回路装置。
【請求項８】
前記演算回路は、前記入力データと前記重みとの積が前記マスクによって有効化又は無効化されるように、演算を行う、
請求項１から７のいずれか１項に記載のニューラルネットワーク回路装置。
【請求項９】
前記演算回路は、ある接続に入力される前記入力データと前記マスクにおける当該接続に対応する有効又は無効を示す値との論理積を当該接続に対応する前記重みで乗算する、
請求項８に記載のニューラルネットワーク回路装置。
【請求項１０】
前記マスクは、推論の精度及び推論対象の少なくとも一方ごとに生成されている、
請求項１から９のいずれか１項に記載のニューラルネットワーク回路装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ニューラルネットワーク回路装置に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
従来、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）等のニューラルネットワークでは、学習段階でノード（ニューロン）間の接続（エッジ）の重みを更新（調整）することによって、ニューラルネットワークが学習される。これに対し、非特許文献１は、学習段階でも重みを更新しないようなニューラルネットワーク（ＨＮＮ：Hidden Network）のアルゴリズムを開示している。非特許文献１にかかるアルゴリズムは、学習段階で、ニューラルネットワークに隠れている、推論の精度が良好なサブネットワークを抽出する。その際に、このアルゴリズムは、ランダムに設定された重みを更新しない。つまり、非特許文献１にかかる技術では、ランダムに設定された重みが固定されている。また、非特許文献１にかかる技術では、ノード間の接続の有効又は無効を定義するスーパーマスク（Supermask；単に「マスク」と称することもある）が、学習段階で決定される。非特許文献１にかかる技術では、スーパーマスクと固定された重みとを用いて、推論で用いられるモデル（サブネットワーク）が構成される。
【先行技術文献】
【非特許文献】
【０００３】
Vivek Ramanujan他、「What's Hidden in a Randomly Weighted Neural Network?」、CVPR 2020、https://arxiv.org/abs/1911.13299
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１は、推論で用いられるＨＮＮのモデルをハードウェアで実装する方法を開示していない。したがって、単に非特許文献１にかかるアルゴリズムをハードウェアで実現しようとすると、モデル情報のデータ量が膨大となる場合に、メモリ容量及びメモリアクセスが膨大となるような、処理効率の悪いハードウェアが構成されてしまうおそれがある。
【０００５】
本発明は、効率的に処理を行うことが可能なニューラルネットワーク回路装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明にかかるニューラルネットワーク回路装置は、学習段階において、ノード間の接続それぞれの重みが固定された乱数で設定され、前記接続それぞれの有効又は無効を決定することによってマスクが生成され、前記重みと前記マスクとを用いて構成された、ニューラルネットワークモデルを実現するニューラルネットワーク回路装置であって、推論を行う際に、学習段階で用いられたシードと同じシードを用いて学習段階で生成された乱数と同じ乱数を生成するように構成された乱数生成器により前記重みを生成する重み生成回路と、推論対象データ又は当該推論対象データに対応する活性値データである入力データと、前記重みと、前記マスクとを用いて、積和演算を行う演算回路と、を有する。
【発明の効果】
【０００７】
本発明によれば、効率的に処理を行うことが可能なニューラルネットワーク回路装置を提供することを目的とする。
【図面の簡単な説明】
【０００８】
ＨＮＮアルゴリズムを説明するための図である。
ＨＮＮアルゴリズムを説明するための図である。
ＨＮＮアルゴリズムにおけるスーパーマスクのｋの値と推論の精度との関係を示すグラフである。
本実施の形態にかかるスーパーマスクの選択について説明するための図である。
実施の形態１にかかるニューラルネットワーク回路装置の構成を示す図である。
実施の形態１にかかる重み生成回路及びマスク展開回路の処理を説明するための図である。
実施の形態１にかかる重み生成回路の構成を示す図である。
実施の形態１にかかるマスク展開回路の構成を示す図である。
実施の形態１にかかる入力データを説明するための図である。
実施の形態１にかかる演算回路の動作を説明するための図である。
実施の形態１にかかるＰＥベクトルの処理を説明するための図である。
実施の形態１にかかるニューラルネットワーク回路装置の各構成要素に関するタイミングチャートを示す図である。
実施の形態１にかかる後処理回路の構成を示す図である。
実施の形態１にかかるニューラルネットワーク回路装置によって演算を行った結果を示す図である。
実施の形態１にかかるニューラルネットワーク回路装置によって演算を行った結果を示す図である。
実施の形態１にかかるニューラルネットワーク回路装置によって演算を行った結果を示す図である。
実施の形態１にかかるニューラルネットワーク回路装置によって演算を行った結果を示す図である。
【発明を実施するための形態】
【０００９】
（実施の形態の概要）
実施の形態の説明に先立って、本発明にかかる実施の形態の概要について説明する。なお、以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
＜ＨＮＮについて＞
図１及び図２は、ＨＮＮアルゴリズムを説明するための図である。ＨＮＮアルゴリズムは、非特許文献１にかかる技術に対応する。図１の左側には、ＨＮＮアルゴリズムにかかるモデル（ニューラルネットワーク）の学習について説明するための図が記載されている。
（【００１１】以降は省略されています）

関連特許