特許ウォッチ

公開番号2025034892
公報種別公開特許公報(A)
公開日2025-03-13
出願番号2023141561
出願日2023-08-31
発明の名称情報処理装置、情報処理方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06N 3/0495 20230101AFI20250306BHJP(計算;計数)
要約【課題】量子化誤差が、ニューラルネットワークの各層で蓄積されて、最終的には大きくなって出力される。
【解決手段】
情報処理装置は、第一ネットワークと、前記第一ネットワークに接続された第二ネットワークとを有する深層学習モデルを生成する情報処理装置において、前記第二ネットワークの量子化に関する情報を含む第二量子化情報を取得する取得手段と、前記第二量子化情報に基づいて前記第一ネットワークの量子化に関する情報である第一量子化情報を生成する決定手段と、前記第一量子化情報に基づく第一量子化を前記第一ネットワークに適用する第一量子化手段と、を備えることを特徴とする。
【選択図】図3
特許請求の範囲【請求項１】
第一ネットワークと、前記第一ネットワークに接続された第二ネットワークとを有する深層学習モデルを生成する情報処理装置において、
前記第二ネットワークの量子化に関する情報を含む第二量子化情報を取得する取得手段と、
前記第二量子化情報に基づいて前記第一ネットワークの量子化に関する情報である第一量子化情報を生成する決定手段と、
前記第一量子化情報に基づく第一量子化を前記第一ネットワークに適用する第一量子化手段と、
を備えることを特徴とする情報処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記取得手段は、前記第二ネットワークの重みパラメータに関する情報と、出力テンソルに関する情報と、前記第二ネットワークの層の接続関係及び前記出力テンソルの出力先を含む第二アーキテクチャ情報と、のうち少なくともいずれか１つを含む前記第二量子化情報を取得する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記決定手段は、前記第一ネットワークの重みパラメータに関する情報、及び、量子化式のうち少なくともいずれかを含む前記第一量子化情報を決定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記第一量子化が適用された前記第一ネットワークを含む前記深層学習モデルの前記第二ネットワークに前記第二量子化情報に基づく第二量子化を適用する第二量子化手段を更に備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記決定手段は、前記第一ネットワークの各々の層の入出力テンソルの、ビット数と、量子化式と、値域と、のうち少なくとも１つを含む前記第一量子化情報を決定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記取得手段は、前記第二ネットワークの層の入出力テンソルのビット数と、前記入出力テンソルの型と、前記第二量子化により得られた重みパラメータを用いて推論を行った出力テンソルと、前記第二ネットワークの前記層の接続関係及び前記出力テンソルの出力先を含む第二アーキテクチャ情報と、のうち少なくとも１つを含む前記第二量子化情報を取得する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記第二ネットワークには、前記第一量子化された重みパラメータと、前記第一ネットワークの層の接続関係及び出力テンソルの出力先を含む第一アーキテクチャ情報と、のうち少なくともいずれかに基づいて出力された出力テンソルに基づく入力テンソルが入力される
ことを特徴とする請求項４に記載の情報処理装置。
【請求項８】
前記第一量子化手段は、
生徒データと教師データからなる学習データを取得する学習データ取得手段と、
前記生徒データを入力とした順伝搬処理を行って推論結果を出力する順伝搬手段と、
前記推論結果と前記教師データとの誤差を縮小するよう重みパラメータの更新を行う重みパラメータ更新手段と、を更に有する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記取得手段は、前記第二ネットワークの出力の精度を表す評価値を含む前記第二量子化情報を取得する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記第一量子化手段は、前記第一量子化された前記第一ネットワークの重みテンソル及び出力テンソルのうちいずれかのビット数を、前記第二量子化情報が示すビット数の最小値と一致させる
ことを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関するものである。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
近年、ニューラルネットワークが、画像処理、音声処理及び言語処理といった多様なアプリケーションに応用されている。昨今のニューラルネットワークは層数が多く計算量が大きいため、学習時には高速な計算機が用いられる。しかし、学習後の推論では、計算リソースが限られている場合も多く、より効率のよい演算方法が求められる。
【０００３】
推論時の演算方法として、学習時よりも低精度の数値に量子化して演算する方法が知られている。パラメータまたは出力テンソルを量子化することで、エッジデバイスや組み込み機器といった、計算リソースの乏しい機器に対しても、デプロイして動作させることができる。
【０００４】
実行速度の高速な量子化結果モデルを得るためには、デプロイ先の機器の計算機アーキテクチャの情報に基づいて量子化を行うことが重要である。非特許文献１に記載の技術は、デプロイ先のエッジデバイスの計算コアやメモリ使用量の情報に基づき、より計算を高速化するよう量子化後のビット数などを決定し、また演算スケジュールの最適化を行う。
【先行技術文献】
【非特許文献】
【０００５】
8-bit Inference with TensorRT Szymon Migacz, NVIDIA,May 8, 2017, [online], [２０２３年８月１４日検索] 、インターネット、＜URL: https://on-demand.gputechconf.com/gtc/2017/presentation/s7310-8-bit-inference-with-tensorrt.pdf＞
Matias Tassano 外２名、“FastDVDnet: Towards Real-Time Deep Video Denoising Without Flow Estimation”、[online]、２０２０年４月２９日、[２０２３年８月１４日検索]、インターネット、＜URL:https://arxiv.org/pdf/1907.01361.pdf＞
Markus Nagel 外５名、“A White Paper on Neural Network Quantization”、[online]、２０２１年６月１５日、[２０２３年８月１４日検索]、インターネット、＜URL: https://arxiv.org/pdf/2106.08295.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の手法では、各層の量子化処理時に、ビット数を低減する等の演算精度の削減が行われた結果、量子化誤差が発生する。この量子化誤差は、ニューラルネットワークの各層で蓄積されて、最終的には大きくなって出力される。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、情報処理装置は、
第一ネットワークと、前記第一ネットワークに接続された第二ネットワークとを有する深層学習モデルを生成する情報処理装置において、
前記第二ネットワークの量子化に関する情報を含む第二量子化情報を取得する取得手段と、
前記第二量子化情報に基づいて前記第一ネットワークの量子化に関する情報である第一量子化情報を生成する決定手段と、
前記第一量子化情報に基づく第一量子化を前記第一ネットワークに適用する第一量子化手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、第一ネットワークの第一量子化に関する第一量子化情報を、第二ネットワークの第二量子化に関する第二量子化情報に基づいて決定するので、量子化を互いに対応させることができ、層の増加などに伴う量子化誤差の蓄積を抑制できる。
【図面の簡単な説明】
【０００９】
情報処理システムの構成の一例を示す図。
情報処理システムの装置のハードウェア構成の一例を示す図。
第１実施形態の情報処理システムの機能ブロック図。
第１実施形態の情報処理システムにおける処理の流れを示すフローチャート。
ノイズ除去処理を行うニューラルネットワークの層構造を説明する図。
２つの量子化手法の直列的な適用を説明する図。
第二量子化情報の具体例を説明する図。
テンソルのヒストグラムの量子化を説明する図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許