特許ウォッチ

公開番号2025017237
公報種別公開特許公報(A)
公開日2025-02-05
出願番号2023120248
出願日2023-07-24
発明の名称情報処理方法、プログラム並びに情報処理装置
出願人学校法人中部大学
代理人弁理士法人ゆうあい特許事務所
主分類G06N 3/082 20230101AFI20250129BHJP(計算;計数)
要約【課題】事前学習済みの学習モデルのモデルサイズを所定割合まで圧縮しつつ、処理性能の確保が可能な情報処理方法、プログラム並びに情報処理装置を提供する。
【解決手段】所定の学習データを用いて事前学習をした所定の学習モデルを、下流タスクでの再学習前に、事前学習済みのパラメータの評価値を算出する。パラメータの評価値は、マグニチュードベースの評価値と勾配ベースの評価値とを合算した合算評価値である。そして、事前学習済みのパラメータのうち合算評価値が低い順に、当該学習モデルのモデルサイズが所定の割合に至るまで枝刈りを行う。
【選択図】図3
特許請求の範囲【請求項１】
所定の学習データを用いて事前学習をしたニューラルネットワークを用いる所定の学習モデルにおいて、事前学習後のパラメータの一部の枝刈りを行うことで前記学習モデルのモデルサイズを所定の割合まで圧縮する情報処理方法であって、
下流タスクにおける再学習を行う前に、前記枝刈りをシングルショットで行うことと、
前記枝刈りを行う前に、前記パラメータについてマグニチュードベースの評価値と勾配ベースの評価値とを合算した合算評価値を算出することと、を含み、
前記枝刈りにおいては、前記パラメータのうち前記合算評価値が低い順に前記モデルサイズの前記所定の割合に至るまで枝刈りを行う、情報処理方法。
続きを表示（約 1,300 文字）【請求項２】
前記合算評価値を算出することにおいては、事前学習後かつ再学習前の前記パラメータそれぞれについて前記パラメータの大きさを用いて前記マグニチュードベースの評価値を算出し、事前学習後の前記パラメータそれぞれについて前記パラメータの下流タスクに対する誤差の量を前記勾配ベースの評価値として算出し、前記マグニチュードベースの評価値にハイパーパラメータを乗じて得た値と前記勾配ベースの評価値とを合算する、請求項１に記載の情報処理方法。
【請求項３】
所定の学習データを用いて事前学習をしたニューラルネットワークを用いる所定の学習モデルにおいて、学習後のパラメータの一部の枝刈りを行うことで前記学習モデルのモデルサイズを所定の割合まで圧縮するために用いられるプログラムであって、
下流タスクにおける再学習を行う前に、前記枝刈りをシングルショットで行う枝刈り処理と、
前記枝刈りを行う前に、前記パラメータについてマグニチュードベースの評価値と勾配ベースの評価値とを合算した合算評価値を算出する算出処理と、を含み、
前記枝刈り処理においては、前記パラメータのうち前記評価値が低い順に前記モデルサイズの前記所定の割合に至るまで枝刈りを実行する、プログラム。
【請求項４】
前記合算評価値を算出することにおいては、事前学習後かつ再学習前の前記パラメータそれぞれについて前記パラメータの大きさを用いて前記マグニチュードベースの評価値を算出し、事前学習後の前記パラメータそれぞれについて前記パラメータの下流タスクに対する誤差の量を前記勾配ベースの評価値として算出し、前記マグニチュードベースの評価値にハイパーパラメータを乗じて得た値と前記勾配ベースの評価値とを合算する、請求項３に記載のプログラム。
【請求項５】
情報処理装置であって、
所定の学習データを用いて事前学習をしたニューラルネットワークを用いる所定の学習モデルにおいて、学習後のパラメータの一部の枝刈りを行うことで前記学習モデルのモデルサイズを所定の割合まで圧縮するために用いられるプログラム（４２）を記録したメモリ（４）と、
前記プログラムを読み込んで実行する処理部（５）と、を備え、
前記プログラムは、下流タスクにおける再学習を行う前に、前記枝刈りをシングルショットで行う枝刈り処理と、前記枝刈りを行う前に、前記パラメータについてマグニチュードベースの評価値と勾配ベースの評価値とを合算した合算評価値を算出する算出処理と、を含み、前記枝刈り処理においては、前記パラメータのうち前記評価値が低い順に前記モデルサイズの前記所定の割合に至るまで枝刈りを実行する、情報処理装置。
【請求項６】
前記合算評価値を算出することにおいては、事前学習後かつ再学習前の前記パラメータそれぞれについて前記パラメータの大きさを用いて前記マグニチュードベースの評価値を算出し、事前学習後の前記パラメータそれぞれについて前記パラメータの下流タスクに対する誤差の量を前記勾配ベースの評価値として算出し、前記マグニチュードベースの評価値にハイパーパラメータを乗じて得た値と前記勾配ベースの評価値とを合算する、請求項５に記載の情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、事前学習を必要とする大規模な学習モデルのモデルサイズを圧縮する情報処理方法、プログラム並びに情報処理装置に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
従来、深層学習モデルとして、Transformerモデルが知られている。Transformerモデルは、大規模な事前学習を行うことで、例えば、画像分類、物体検出、セグメンテーション、言語処理などの様々なタスクで高い性能を発揮する。Transformerモデルの一種としては、画像認識モデルに適用されたVision Transformer（以下「ＶｉＴ」という）が挙げられる（例えば非特許文献１）。
【先行技術文献】
【非特許文献】
【０００３】
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn,D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J. and Houlsby, N.:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale, International Conference on Learning Representations (2021).
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像分類等に適用されたTransformerモデルは、内積を用いてデータ間の関連性を計算するため、情報の局在性を仮定するＣＮＮ（Convolutional Neural Network）と比較して帰納的バイアスが弱くなる。そのため、TransformerモデルがＣＮＮの性能を超えるためには、多くのパラメータと大量の学習データを必要とする。また、実際にコンピュータビジョンの分野でTransformerモデルを用いる場合には、例えばImageNetのような大規模データセットを用いて事前学習した後、様々な下流タスクに対して再学習することが多い。
【０００５】
しかしながら、パラメータ数の多いTransformerモデルは、高い汎化性能を発揮する一方、精度に寄与しない冗長なパラメータを多く含むことが知られており、必要以上の計算リソースを消費してしまう。このため、Transformerモデルを、計算リースの限られた端末や、高い推論速度が求められる環境に展開するためには、精度に寄与しない冗長なパラメータを枝刈りすることが重要となる。
【０００６】
本開示は、上記の点に鑑み、大規模な事前学習を必要とする学習モデルを、再学習前に最小限の性能劣化でそのモデルサイズを圧縮することが可能な情報処理方法、プログラム並びに情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の１つの観点によれば、情報処理方法、プログラム並びに情報処理装置は、所定の学習データを用いて事前学習をしたニューラルネットワークを用いる所定の学習モデルにおいて、事前学習後のパラメータの一部の枝刈りを行うことで学習モデルのモデルサイズを所定の割合まで圧縮する。
【０００８】
情報処理方法は、下流タスクにおける再学習を行う前に、枝刈りをシングルショットで行うことと、枝刈りを行う前に、パラメータについてマグニチュードベースの評価値と勾配ベースの評価値とを合算した合算評価値を算出することと、を含み、枝刈りにおいては、パラメータのうち合算評価値が低い順にモデルサイズの所定の割合に至るまで枝刈りを行う。
【０００９】
プログラムは、下流タスクにおける再学習を行う前に、枝刈りをシングルショットで行う枝刈り処理と、枝刈りを行う前に、パラメータについてマグニチュードベースの評価値と勾配ベースの評価値とを合算した合算評価値を算出する算出処理と、を含み、枝刈り処理においては、パラメータのうち評価値が低い順にモデルサイズの所定の割合に至るまで枝刈りを実行する。
【００１０】
情報処理装置は、学習後のパラメータの一部の枝刈りを行うことで学習モデルのモデルサイズを所定の割合まで圧縮するために用いられるプログラム（４２）を記録したメモリ（４）と、プログラムを読み込んで実行する処理部（５）と、を備え、プログラムは、下流タスクにおける再学習を行う前に、枝刈りをシングルショットで行う枝刈り処理と、枝刈りを行う前に、パラメータについてマグニチュードベースの評価値と勾配ベースの評価値とを合算した合算評価値を算出する算出処理と、を含み、枝刈り処理においては、パラメータのうち評価値が低い順にモデルサイズの所定の割合に至るまで枝刈りを実行する。
（【００１１】以降は省略されています）

関連特許