特許ウォッチ

公開番号2025074433
公報種別公開特許公報(A)
公開日2025-05-14
出願番号2023185221
出願日2023-10-30
発明の名称学習装置および学習方法
出願人日本電気株式会社
代理人個人,個人
主分類G06N 20/00 20190101AFI20250507BHJP(計算;計数)
要約【課題】予測モデルを小規模化することができる学習装置を提供する。
【解決手段】学習手段は、特徴量の2次の交差項のパラメタと、定数項とを含む所定の予測モデルにおける、そのパラメタと、その定数項とを求めるための1回目の学習を行う。特徴量選択手段は、特徴量の部分集合に含まれる特徴量の数をL個とし、部分集合の数をm個としたときに、そのパラメタを含む目的関数を最適化することによって、L個の特徴量を含む特徴量の部分集合をm個作成し、所定数の特徴量を選択する1回目の特徴量選択を行う。学習手段は、各部分集合に含まれる特徴量を用いて、1回目の学習と同様の2回目の学習を行うことによって、定数項と、パラメタとを求める。特徴量選択手段は、2回目の学習後に、1回目の特徴量選択と同様の2回目の特徴量選択を行う。
【選択図】図9
特許請求の範囲【請求項１】
特徴量の２次の交差項のパラメタと、定数項とを含む所定の予測モデルにおける、前記パラメタと、前記定数項とを求めるときに、訓練データに基づいて、前記定数項と、潜在ベクトルとを求め、潜在ベクトルの内積を求めることによって、前記パラメタを求める１回目の学習を行う学習手段と、
特徴量の部分集合に含まれる特徴量の数をＬ個とし、前記部分集合の数をｍ個としたときに、前記パラメタを含む目的関数を最適化することによって、Ｌ個の特徴量を含む特徴量の部分集合をｍ個作成し、所定数の特徴量を選択する１回目の特徴量選択を行う特徴量選択手段とを備え、
前記学習手段は、
各部分集合に含まれる特徴量を用いて、前記１回目の学習と同様の２回目の学習を行うことによって、前記定数項と、前記パラメタとを求め、
前記特徴量選択手段は、
前記２回目の学習後に、前記１回目の特徴量選択と同様の２回目の特徴量選択を行い、
前記２回目の学習によって得られた定数項と、前記２回目の特徴量選択によって選択された特徴量とに基づいて、指示関数を含む予測モデルを生成するモデル生成手段を備える
ことを特徴とする学習装置。
続きを表示（約 1,300 文字）【請求項２】
前記１回目の特徴量選択で部分集合に含まれる特徴量の数は、前記２回目の特徴量選択で部分集合に含まれる特徴量の数よりも多い
請求項１に記載の学習装置。
【請求項３】
前記１回目の特徴量選択および前記２回目の特徴量選択において、選択される個々の特徴量が属する部分集合の数は高々１つである
請求項１または請求項２に記載の学習装置。
【請求項４】
前記１回目の学習でのエポック数は、前記２回目の学習でのエポック数よりも少ない
請求項１または請求項２に記載の学習装置。
【請求項５】
コンピュータが、
特徴量の２次の交差項のパラメタと、定数項とを含む所定の予測モデルにおける、前記パラメタと、前記定数項とを求めるときに、訓練データに基づいて、前記定数項と、潜在ベクトルとを求め、潜在ベクトルの内積を求めることによって、前記パラメタを求める１回目の学習を行い、
特徴量の部分集合に含まれる特徴量の数をＬ個とし、前記部分集合の数をｍ個としたときに、前記パラメタを含む目的関数を最適化することによって、Ｌ個の特徴量を含む特徴量の部分集合をｍ個作成し、所定数の特徴量を選択する１回目の特徴量選択を行い、
各部分集合に含まれる特徴量を用いて、前記１回目の学習と同様の２回目の学習を行うことによって、前記定数項と、前記パラメタとを求め、
前記２回目の学習後に、前記１回目の特徴量選択と同様の２回目の特徴量選択を行い、
前記２回目の学習によって得られた定数項と、前記２回目の特徴量選択によって選択された特徴量とに基づいて、指示関数を含む予測モデルを生成する
ことを特徴とする学習方法。
【請求項６】
コンピュータを、
特徴量の２次の交差項のパラメタと、定数項とを含む所定の予測モデルにおける、前記パラメタと、前記定数項とを求めるときに、訓練データに基づいて、前記定数項と、潜在ベクトルとを求め、潜在ベクトルの内積を求めることによって、前記パラメタを求める１回目の学習を行う学習手段と、
特徴量の部分集合に含まれる特徴量の数をＬ個とし、前記部分集合の数をｍ個としたときに、前記パラメタを含む目的関数を最適化することによって、Ｌ個の特徴量を含む特徴量の部分集合をｍ個作成し、所定数の特徴量を選択する１回目の特徴量選択を行う特徴量選択手段とを備え、
前記学習手段は、
各部分集合に含まれる特徴量を用いて、前記１回目の学習と同様の２回目の学習を行うことによって、前記定数項と、前記パラメタとを求め、
前記特徴量選択手段は、
前記２回目の学習後に、前記１回目の特徴量選択と同様の２回目の特徴量選択を行い、
前記２回目の学習によって得られた定数項と、前記２回目の特徴量選択によって選択された特徴量とに基づいて、指示関数を含む予測モデルを生成するモデル生成手段を備える学習装置
として機能させるための学習プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、学習装置、学習方法および学習プログラムに関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
非特許文献１には、ＦＦＭ（Field-aware Factorization Machine ）について、記載されている。
【先行技術文献】
【非特許文献】
【０００３】
Yuchin Juan et al., “Field-aware Factorization Machines for CTR Prediction”, ［２０２３年９月６日検索］、インターネット<URL : https://www.csie.ntu.edu.tw/~cjlin/papers/ffm.pdf>
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、大規模なコンピュータを使用できるとは限らない。そのため、コンピュータで用いる予測モデル（学習モデル）は、小規模化されていることが好ましい。
【０００５】
そこで、本発明は、予測モデルを小規模化することができる学習装置、学習方法および学習プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示に係る学習装置は、特徴量の２次の交差項のパラメタと、定数項とを含む所定の予測モデルにおける、そのパラメタと、その定数項とを求めるときに、訓練データに基づいて、その定数項と、潜在ベクトルとを求め、潜在ベクトルの内積を求めることによって、そのパラメタを求める１回目の学習を行う学習手段と、特徴量の部分集合に含まれる特徴量の数をＬ個とし、部分集合の数をｍ個としたときに、そのパラメタを含む目的関数を最適化することによって、Ｌ個の特徴量を含む特徴量の部分集合をｍ個作成し、所定数の特徴量を選択する１回目の特徴量選択を行う特徴量選択手段とを備え、学習手段が、各部分集合に含まれる特徴量を用いて、１回目の学習と同様の２回目の学習を行うことによって、定数項と、パラメタとを求め、特徴量選択手段が、２回目の学習後に、１回目の特徴量選択と同様の２回目の特徴量選択を行い、２回目の学習によって得られた定数項と、２回目の特徴量選択によって選択された特徴量とに基づいて、指示関数を含む予測モデルを生成するモデル生成手段を備えることを特徴とする。
【０００７】
本開示に係る学習方法は、コンピュータが、特徴量の２次の交差項のパラメタと、定数項とを含む所定の予測モデルにおける、そのパラメタと、その定数項とを求めるときに、訓練データに基づいて、その定数項と、潜在ベクトルとを求め、潜在ベクトルの内積を求めることによって、そのパラメタを求める１回目の学習を行い、特徴量の部分集合に含まれる特徴量の数をＬ個とし、部分集合の数をｍ個としたときに、そのパラメタを含む目的関数を最適化することによって、Ｌ個の特徴量を含む特徴量の部分集合をｍ個作成し、所定数の特徴量を選択する１回目の特徴量選択を行い、各部分集合に含まれる特徴量を用いて、１回目の学習と同様の２回目の学習を行うことによって、定数項と、パラメタとを求め、２回目の学習後に、１回目の特徴量選択と同様の２回目の特徴量選択を行い、２回目の学習によって得られた定数項と、２回目の特徴量選択によって選択された特徴量とに基づいて、指示関数を含む予測モデルを生成することを特徴とする。
【０００８】
本開示に係る学習プログラムは、コンピュータを、特徴量の２次の交差項のパラメタと、定数項とを含む所定の予測モデルにおける、そのパラメタと、その定数項とを求めるときに、訓練データに基づいて、その定数項と、潜在ベクトルとを求め、潜在ベクトルの内積を求めることによって、そのパラメタを求める１回目の学習を行う学習手段と、特徴量の部分集合に含まれる特徴量の数をＬ個とし、部分集合の数をｍ個としたときに、そのパラメタを含む目的関数を最適化することによって、Ｌ個の特徴量を含む特徴量の部分集合をｍ個作成し、所定数の特徴量を選択する１回目の特徴量選択を行う特徴量選択手段とを備え、学習手段が、各部分集合に含まれる特徴量を用いて、１回目の学習と同様の２回目の学習を行うことによって、定数項と、パラメタとを求め、特徴量選択手段が、２回目の学習後に、１回目の特徴量選択と同様の２回目の特徴量選択を行い、２回目の学習によって得られた定数項と、２回目の特徴量選択によって選択された特徴量とに基づいて、指示関数を含む予測モデルを生成するモデル生成手段を備える学習装置として機能させる。
【発明の効果】
【０００９】
本開示によれば、予測モデルを小規模化することができる。
【図面の簡単な説明】
【００１０】
本開示に係る学習装置の処理手順を示す模式図である。
本開示に係る学習装置の構成例を示すブロック図である。
ｍ＝１からｍ＝５の各場合でＬを変化させたときの損失の挙動を示す模式図である。
真値と予測値の散布図である。
テストデータに関する真値と予測値の散布図である。
実施例３で求めた決定係数の推移を示す説明図である。
１回目の学習でのエポック数を２０，５０，７５，１００，３００とした場合におけるそれぞれの決定係数を示す説明図である。
学習装置に係るコンピュータの構成例を示す概略ブロック図である。
本開示に係る学習装置の概要を示すブロック図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許