特許ウォッチ

公開番号2025070379
公報種別公開特許公報(A)
公開日2025-05-02
出願番号2023180642
出願日2023-10-19
発明の名称推論処理装置
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06N 3/063 20230101AFI20250424BHJP(計算;計数)
要約【課題】 2ビット以上の特徴データを1ビットの重み係数を用いて積和演算するときの回路規模を削減する。
【解決手段】複数の階層を持つニューラルネットワークにおいて、複数の特徴マップのデータと1ビットの重み係数との積和演算結果を出力し、積和演算結果を補正する補正値であって、前記特徴マップのデータに依存しない補正値を積和演算結果に加算する。
【選択図】図7
特許請求の範囲【請求項１】
複数の階層を持つニューラルネットワークにおいて、複数の特徴マップのデータと１ビットの重み係数との積和演算結果を出力する積和演算手段と、
前記積和演算結果を補正する補正値であって、前記特徴マップのデータに依存しない補正値を前記積和演算結果に加算する加算手段と、を有することを特徴とする推論処理装置。
続きを表示（約 840 文字）【請求項２】
前記積和演算手段から独立して前記補正値を計算する補正手段をさらに有することを特徴とする請求項１に記載の推論処理装置。
【請求項３】
前記補正手段は、前記積和演算手段より、並列に処理するデータの個数が少ないことを特徴とする請求項２に記載の推論処理装置。
【請求項４】
保持手段をさらに有し、
前記保持手段には、外部装置で計算された前記補正値とニューラルネットワーク構造情報とが保持されていることを特徴とする請求項１に記載の推論処理装置。
【請求項５】
保持手段をさらに有し、
前記保持手段には、積和演算を行う前に計算された前記補正値が保持され、
前記加算手段は、前記保持手段から補正値を読み出して加算を行い、
前記補正値を計算する補正手段を有さないことを特徴とする請求項１に記載の推論処理装置。
【請求項６】
前記重み係数の値は＋１と－１、または０と＋１であることを特徴とする請求項１に記載の推論処理装置。
【請求項７】
前記階層ごとに、前記積和演算手段で使用される前記重み係数の値が、＋１と－１のモードか、０と＋１のモードか異なることを特徴とする請求項１に記載の推論処理装置。
【請求項８】
前記積和演算手段では、ビットの論理演算で乗算結果を計算することを特徴とする請求項１に記載の推論処理装置。
【請求項９】
前記ビットの論理演算では、前記特徴マップのデータを２値化したそれぞれの桁の値ごとに１ビットの論理演算を行うことを特徴とする請求項１に記載の推論処理装置。
【請求項１０】
前記補正手段は、前記重み係数を用いて補正値を計算し、
前記加算手段は、前記積和演算結果と前記補正値との和を計算することを特徴とする請求項２に記載の推論処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、重み係数が１ビットのニューラルネットワークの処理に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＣＮＮ）とビジョントランスフォーマー（ＶｉｓｉｏｎＴｒａｎｓｆｏｒｍｅｒ，ＶｉＴ）等の深層ニューラルネットワーク（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＤＮＮ）は高性能の人工知能（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ，ＡＩ）アルゴリズムとして注目されている。ニューラルネットワークは複数のレイヤが階層的に接続されている。各レイヤの中に複数枚の特徴マップがある。学習したフィルタ係数（重み係数）と特徴マップの画素（特徴データ）を用いて積和演算（ＭｕｌｔｉｐｌｙａｎｄＡｃｃｕｍｕｌａｔｅ，ＭＡＣ）結果を計算する。積和演算は複数の乗算と累積加算を含んでいる。ＣＮＮの場合、積和演算は畳み込み処理で実現されることが多い。現レイヤの中の特徴マップは前レイヤの中の特徴マップと前レイヤに対応する重み係数を用いて計算する。現レイヤの中の１枚の特徴マップを計算するためには、前レイヤの中の複数枚の特徴マップの情報が必要である。積和演算処理をした後に、ニューラルネットワーク構造情報に基づき、積和演算結果を用いて活性化処理や量子化やプーリング等の処理を行い、現レイヤの特徴マップを計算する。
【０００３】
ニューラルネットワークは積和演算の回数が多いため、携帯端末や車載機器等の組み込みシステムに適用した場合は積和演算を効率的に行い、全体的な処理時間を短縮する必要がある。そのための手法として、重み係数のビット幅をバイナリ化（２値化）したニューラルネットワークが注目されている。
【０００４】
特許文献１では、排他的論理和（ＸＯＲ）を計算する回路と減算回路とビットシフト回路を利用し、バイナリの重み係数の積和演算を行う構成が提案されている。
【０００５】
特許文献２では、否定排他的論理和（ＸＮＯＲ）を用いてバイナリの重み係数とバイナリの入力データによる積和演算を計算するアルゴリズムが提案されている。
【先行技術文献】
【特許文献】
【０００６】
特開２０２０－０６０９６８号公報
ＵＳ１０３１１３４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特徴データと重み係数が実数で保持されている従来のネットワークと比べて、特徴データまたは重み係数を量子化したネットワーク構造は少ない演算コストで処理できるが、量子化のビット幅と重み係数の取り得る値に合わせて、演算器を設計する必要がある。
【０００８】
特許文献１、２に記載の技術は、重み係数をバイナリ化したニューラルネットワークを処理できる。重み係数の値が±１のニューラルネットワークの計算を排他的論理和（ＸＯＲ）または否定排他的論理和（ＸＮＯＲ）を計算できるため、計算コストを削減することができる。
【０００９】
特許文献１記載の手法では、排他的論理和（ＸＯＲ）を計算する回路と減算回路とビットシフト回路を利用し、バイナリの重み係数の積和演算を行う。ビットカウンタから出力された値を減算回路で補正する必要がある。減算回路を積和演算処理と同程度の並列度で行う場合、回路規模が増大する可能性がある。
【００１０】
特許文献２記載の手法はＸＮＯＲ－Ｎｅｔと呼ばれており、否定排他的論理和（ＸＮＯＲ）を用いてバイナリの重み係数とバイナリの入力データによる積和演算を計算できる。特許文献２記載の手法は、入力データと重み係数が両方とも１ビットである。推論による認識精度向上のために入力データのビット幅を増やしたネットワークに、入力データと重み係数が両方とも１ビットのＸＮＯＲ－Ｎｅｔをそのまま適用することができない。特許文献２記載の手法は、入力データと重み係数とを両方とも１ビットにして回路規模を削減しているが、入力データのビット幅を２ビット以上とした場合よりネットワークの情報量が少ないため、認識精度が低くなる可能性がある。
（【００１１】以降は省略されています）

関連特許