特許ウォッチ

公開番号2024095236
公報種別公開特許公報(A)
公開日2024-07-10
出願番号2022212372
出願日2022-12-28
発明の名称機械学習プログラム、機械学習方法、及び、情報処理装置
出願人富士通株式会社
代理人弁理士法人真田特許事務所,個人
主分類G06N 3/082 20230101AFI20240703BHJP(計算;計数)
要約【課題】アテンション構造を含むニューラルネットワークの軽量化を実現する。
【解決手段】機械学習プログラムは、アテンション構造160を備えるニューラルネットワーク180の訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてQueryを出力するQ層161及びKeyを出力するK層162の各々の要素について、第1削減割合に基づく要素の削減後のQ層からのテンソルQTに含まれる1以上の要素と、第2削減割合に基づく要素の削減後のK層からのテンソルKTに含まれる1以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルQT及びKTに残すように、前記テンソルQT及びKTのうちの少なくとも一方に含まれる要素を削除する、処理をコンピュータに実行させる。
【選択図】図19
特許請求の範囲【請求項１】
アテンション構造を備えるニューラルネットワークの訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層及びＫｅｙを出力するＫ層の各々の要素について、
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素と、のうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
処理をコンピュータに実行させる、機械学習プログラム。
続きを表示（約 1,500 文字）【請求項２】
前記削除する処理は、
前記テンソルＱＴに含まれるゼロ以外の要素の第１インデックスと、前記テンソルＫＴに含まれるゼロ以外の要素の第２インデックスとの論理積を算出し、
前記論理積に含まれないインデックスの要素を、前記テンソルＱＴ又は前記テンソルＫＴから削除する、処理を含む、
請求項１に記載の機械学習プログラム。
【請求項３】
前記アテンション構造がマルチヘッドアテンション構造であって、前記Ｑ層と、前記Ｋ層と、前記アテンション構造において前記入力テンソルに対する演算処理結果としてＶａｌｕｅを出力するＶ層と、の各々が複数のヘッドのそれぞれのテンソルを出力する場合、前記Ｖ層の後段に、テンソルの１以上の要素のパディングを行なうパディング層を挿入し、
第３削減割合に基づく要素の削減後のＶ層からのテンソルＶＴのヘッド間で要素数が同一の数となるように、前記パディング層によるパディングを行なう、
処理を前記コンピュータに実行させる、請求項１又は請求項２に記載の機械学習プログラム。
【請求項４】
前記テンソルＱＴと、前記テンソルＫＴと、前記テンソルＶＴと、のそれぞれのヘッドのうち、全ての要素がゼロであるヘッドと同一のヘッドインデックスを持つヘッドを、前記テンソルＱＴ、前記テンソルＫＴ及び前記テンソルＶＴから削除する、
処理を前記コンピュータに実行させる、請求項３に記載の機械学習プログラム。
【請求項５】
前記アテンション構造は、前記要素の削除及び前記ヘッドの削除後のテンソルＱＴと前記要素の削除及び前記ヘッドの削除後のテンソルＫＴとの行列積を正規化して得た行列積と、前記ヘッドの削除及び前記パディング後のテンソルＶＴと、に基づく行列積を出力する、
請求項４に記載の機械学習プログラム。
【請求項６】
前記ニューラルネットワークは、前記アテンション構造から出力される前記行列積の要素を結合した結果を出力する、
請求項５に記載の機械学習プログラム。
【請求項７】
アテンション構造を備えるニューラルネットワークの訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層及びＫｅｙを出力するＫ層の各々の要素について、
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
処理をコンピュータが実行する、機械学習方法。
【請求項８】
アテンション構造を備えるニューラルネットワークの訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層及びＫｅｙを出力するＫ層の各々の要素について、
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
制御部を備える、情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習プログラム、機械学習方法、及び、情報処理装置に関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
画像処理等のＡＩ（Artificial Intelligence）タスクに利用されるＮＮ（Neural Network）は、その構成を複雑にすることで高い性能（例えば高い推論精度）を実現できる傾向にある。一方で、ＮＮの構成の複雑化により、計算機によるＮＮの実行における演算回数、及び、当該計算機がＮＮの実行に用いるメモリサイズが増加し得る。
【０００３】
当該演算回数の削減、換言すれば演算時間の短縮（高速化）、並びに、当該メモリサイズの削減、換言すればＮＮの機械学習モデルの軽量化を図るための手法として、「プルーニング」（枝刈り；Pruning）が知られている。
【０００４】
プルーニングは、ＮＮのエッジ（重み）、ノード、及び、チャネルの少なくともいずれか１種類の要素を削減する（刈り取る）ことで、機械学習モデルのデータサイズを小さくし、演算時間及び通信時間を削減する手法である。
【０００５】
過剰なプルーニングは、ＮＮの推論精度の劣化を引き起こす。このため、推論精度を維持したまま、又は、推論精度の低下量を所定の水準に留めたまま、ＮＮのプルーニングを行なうことが重要である。
【０００６】
例えば、プルーニングにおいて、ＮＮの推論精度に大きな影響を与えないレイヤ（層）を選択する手法が知られている。当該手法は、例えば、畳込み層に続くバッチノーマライゼーション（ＢＮ；Batch Normalization）層に用いられるパラメータに基づき、プルーニングを行なう畳込み層のチャネルを決定する手法である。
【０００７】
また、マルチヘッドアテンション（Multi-Head Attention：ＭＨＡ）構造等のアテンション構造を備えるＮＮが知られている。アテンション構造は、入力部に３つの全結合層を含む。３つの全結合層は、それぞれ、Ｑ（Query）、Ｋ（Key）及びＶ（Value）のテンソルを出力する層である。
【先行技術文献】
【特許文献】
【０００８】
米国特許出願公開第２０２２／００３６１９４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ＮＮの推論精度に大きな影響を与えないレイヤを選択する手法は、ＢＮ層が接続された畳込み層に対して適用されるが、それ以外のレイヤ、例えば、ＢＮ層が接続されていない畳込み層、及び、全結合層等への適用は想定されていない。
【００１０】
例えば、ＮＮの推論精度に大きな影響を与えないレイヤを選択する手法を、上述した複数のレイヤに適用できるようにした場合において、当該ＮＮがアテンション構造を含む場合を考える。この場合、当該手法によりプルーニングを行なうと、アテンション構造の入力部における３つの全結合層は、いずれもプルーニングされず、機械学習モデル全体のプルーニング率は低下するため、プルーニングによる機械学習モデルのデータサイズの圧縮（軽量化）効果が低減する。
（【００１１】以降は省略されています）

関連特許