TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024130689
公報種別公開特許公報(A)
公開日2024-09-30
出願番号2023040550
出願日2023-03-15
発明の名称パラメータ修正プログラム、パラメータ修正方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人扶桑国際特許事務所
主分類G06N 3/09 20230101AFI20240920BHJP(計算;計数)
要約【課題】修正後の機械学習モデルの分類精度を向上させる。
【解決手段】情報処理装置10は、第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含むサンプル15から、特徴量空間の中で第1の特徴量を含む領域を特定し、領域内の第2の特徴量とラベルとを含むサンプル16を生成する。情報処理装置10は、機械学習モデル13に含まれるパラメータ値14と、機械学習モデル13によって第2の特徴量から算出される複数のクラスそれぞれのクラス確率との関係に基づいて、複数のクラスの中での正解クラスのクラス確率の相対値が、パラメータ値14の修正後にパラメータ値14の修正前よりも減少しないことを示す制約情報17を生成する。情報処理装置10は、制約情報17を満たすように、パラメータ値14を修正する。
【選択図】図1
特許請求の範囲【請求項1】
第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルから、特徴量空間の中で前記第1の特徴量を含む領域を特定し、前記領域内の第2の特徴量と前記ラベルとを含む第2のサンプルを生成し、
機械学習モデルに含まれるパラメータ値と、前記機械学習モデルによって前記第2の特徴量から算出される前記複数のクラスそれぞれのクラス確率との関係に基づいて、前記複数のクラスの中での前記正解クラスの前記クラス確率の相対値が、前記パラメータ値の修正後に前記パラメータ値の修正前よりも減少しないことを示す制約情報を生成し、
前記制約情報を満たすように、前記パラメータ値を修正する、
処理をコンピュータに実行させるパラメータ修正プログラム。
続きを表示(約 1,200 文字)【請求項2】
前記パラメータ値と、前記機械学習モデルによって前記第1の特徴量から算出される前記複数のクラスそれぞれの他のクラス確率との関係に基づいて、前記パラメータ値の修正後に、前記複数のクラスの中で前記正解クラスの前記他のクラス確率が最大であることを示す他の制約情報を生成する処理を、前記コンピュータに更に実行させ、
前記パラメータ値は、前記制約情報と前記他の制約情報とを満たすように修正される、
請求項1記載のパラメータ修正プログラム。
【請求項3】
前記第2のサンプルの生成は、前記第1のサンプルを含む複数の第1のサンプルに対応する、前記第1の特徴量を含む複数の第1の特徴量に対してクラスタリングを行うことで、前記領域を特定する処理を含む、
請求項1記載のパラメータ修正プログラム。
【請求項4】
前記機械学習モデルはニューラルネットワークであり、
前記第1の特徴量および前記第2の特徴量は、前記ニューラルネットワークに含まれる複数の層のうち、前記パラメータ値を含む層に入力される入力値である、
請求項1記載のパラメータ修正プログラム。
【請求項5】
第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルから、特徴量空間の中で前記第1の特徴量を含む領域を特定し、前記領域内の第2の特徴量と前記ラベルとを含む第2のサンプルを生成し、
機械学習モデルに含まれるパラメータ値と、前記機械学習モデルによって前記第2の特徴量から算出される前記複数のクラスそれぞれのクラス確率との関係に基づいて、前記複数のクラスの中での前記正解クラスの前記クラス確率の相対値が、前記パラメータ値の修正後に前記パラメータ値の修正前よりも減少しないことを示す制約情報を生成し、
前記制約情報を満たすように、前記パラメータ値を修正する、
処理をコンピュータが実行するパラメータ修正方法。
【請求項6】
パラメータ値を含む機械学習モデルと、第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルとを記憶する記憶部と、
前記第1のサンプルから、特徴量空間の中で前記第1の特徴量を含む領域を特定し、前記領域内の第2の特徴量と前記ラベルとを含む第2のサンプルを生成し、前記パラメータ値と、前記機械学習モデルによって前記第2の特徴量から算出される前記複数のクラスそれぞれのクラス確率との関係に基づいて、前記複数のクラスの中での前記正解クラスの前記クラス確率の相対値が、前記パラメータ値の修正後に前記パラメータ値の修正前よりも減少しないことを示す制約情報を生成し、前記制約情報を満たすように、前記パラメータ値を修正する処理部と、
を有する情報処理装置。

発明の詳細な説明【技術分野】
【0001】
本発明はパラメータ修正プログラム、パラメータ修正方法および情報処理装置に関する。
続きを表示(約 2,500 文字)【背景技術】
【0002】
コンピュータは、訓練データを用いた機械学習によって、クラス分類を行う機械学習モデルを訓練することがある。ただし、機械学習の性質上、機械学習モデルの誤分類をゼロにすることは難しい。これに対して、ユーザは、少数の重要な事例について誤分類が解消されるように、機械学習モデルを修正したいことがある。そこで、コンピュータは、機械学習モデル全体を再訓練する代わりに、訓練された機械学習モデルに含まれるパラメータ値を微調整するモデル修正を行うことがある。
【0003】
モデル修正技術の例として、現在の機械学習モデルとサンプルデータ群とから、パラメータ値が満たすべき制約を示す連立不等式を生成し、制約を満たすパラメータ値を線形ソルバによって探索する技術が提案されている。
【0004】
提案のモデル修正技術は、入力データと正解クラスとを対応付けた複数のサンプルを受け付ける。複数のサンプルの中には、現在の機械学習モデルによって正解クラスに分類されており、その分類結果を維持したいサンプルが含まれることがある。また、複数のサンプルの中には、現在の機械学習モデルによって誤ったクラスに分類されており、その分類結果を訂正したいサンプルが含まれることがある。提案のモデル修正技術は、これらサンプルが正しく分類される範囲で、修正量が最小のパラメータ値を探索する。
【0005】
なお、ニューラルネットワークを更新する機械学習において、新たなデータに対する予測誤差に基づいて当該データの異質度を算出し、異質度が閾値未満の場合に当該データを訓練データに追加する学習装置が提案されている。また、データを正例と負例に分類する機械学習モデルを訓練するランキング学習において、訓練データに含まれない特徴をもつデータが負例に分類されやすくなるよう制御する機械学習装置が提案されている。
【0006】
また、線形計画ソルバと二次計画ソルバを利用して、制約条件付き線形関数の最適解を算出するシステムが提案されている。また、ニューラルネットワークの機械学習の間に、エッジの追加や削除と、ノードの追加や削除を行うシステムが提案されている。
【先行技術文献】
【特許文献】
【0007】
特開平5-54014号公報
特開2015-1968号公報
米国特許出願公開第2015/0286611号明細書
米国特許出願公開第2021/0027163号明細書
【非特許文献】
【0008】
Ben Goldberger, Yossi Adi, Joseph Keshet and Guy Katz, "Minimal Modifications of Deep Neural Networks using Verification", Proc. of the 23rd International Conference on Logic for Programming, Artificial Intelligence and Reasoning (LPAR23), pp. 260-278, May 2020
Muhammad Usman, Divya Gopinath, Youcheng Sun, Yannic Noller and Corina S. Pasareanu, "NNREPAIR: Constraint-Based Repair of Neural Network Classifiers", Proc. of the 33rd International Conference on Computer Aided Verification (CAV2021), pp. 3-25, July 2021
Shuo Sun, Jun Yan and Rongjie Yan, "Layer-Specific Repair of Neural Network Classifiers", Proc. of the 31st International Conference on Artificial Neural Networks (ICANN2022), pp. 550-561, September 2022
【発明の概要】
【発明が解決しようとする課題】
【0009】
非特許文献1~3などのモデル修正技術は、与えられた既知のサンプルを正しく分類するようにパラメータ値を修正する。しかし、このモデル修正技術は、既知のサンプルと異なる未知の入力データの分類結果を考慮しない。このため、未知の入力データの分類精度が低下するという退行が発生するおそれがある。一方、与えるサンプルを単に増やしてしまうと、誤分類をゼロにすることが困難であるという機械学習モデルの性質上、パラメータ値の修正が適切に行われなくなるおそれがある。そこで、1つの側面では、本発明は、修正後の機械学習モデルの分類精度を向上させることを目的とする。
【課題を解決するための手段】
【0010】
1つの態様では、以下の処理をコンピュータに実行させるパラメータ修正プログラムが提供される。第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルから、特徴量空間の中で第1の特徴量を含む領域を特定し、領域内の第2の特徴量とラベルとを含む第2のサンプルを生成する。機械学習モデルに含まれるパラメータ値と、機械学習モデルによって第2の特徴量から算出される複数のクラスそれぞれのクラス確率との関係に基づいて、複数のクラスの中での正解クラスのクラス確率の相対値が、パラメータ値の修正後にパラメータ値の修正前よりも減少しないことを示す制約情報を生成する。制約情報を満たすように、パラメータ値を修正する。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する
Flag Counter

関連特許

富士通株式会社
排出の推定と異常
5日前
富士通株式会社
排出の推定と異常
5日前
富士通株式会社
情報処理プログラム
14日前
富士通株式会社
光伝送装置及び光伝送方法
19日前
富士通株式会社
プロセッサ及び情報処理装置
1か月前
富士通株式会社
光伝送装置および光伝送システム
26日前
富士通株式会社
故障監視装置および故障監視方法
26日前
富士通株式会社
エラー訂正装置及びエラー訂正方法
20日前
富士通株式会社
光送受信機制御方法および光送受信機
25日前
富士通株式会社
機械学習プログラム、方法、及び装置
14日前
富士通株式会社
ラマン増幅装置およびラマン増幅方法
19日前
富士通株式会社
データ生成プログラム、方法、及び装置
14日前
富士通株式会社
OD決定方法およびOD決定プログラム
25日前
富士通株式会社
収入特定方法および収入特定プログラム
1か月前
富士通株式会社
情報処理方法および情報処理プログラム
19日前
富士通株式会社
キャッシュコントローラ及び演算処理装置
13日前
富士通株式会社
制御プログラム、制御装置、及び制御方法
12日前
富士通株式会社
自己教師あり学習プログラム、方法、及び装置
26日前
富士通株式会社
自己教師あり学習プログラム、方法、及び装置
26日前
富士通株式会社
位置情報処理装置およびサービス提供システム
1か月前
富士通株式会社
プログラム、情報処理方法および情報処理装置
5日前
富士通株式会社
車両販売支援システム、方法およびプログラム
6日前
富士通株式会社
半導体装置、半導体装置の製造方法及び電子装置
14日前
富士通株式会社
行動要因推定方法および行動要因推定プログラム
13日前
富士通株式会社
シート搬送制御プログラムおよびシート搬送装置
5日前
富士通株式会社
特定プログラム、特定方法、および情報処理装置
12日前
富士通株式会社
半導体装置、半導体装置の製造方法及び電子装置
12日前
富士通株式会社
プログラム、データ処理装置及びデータ処理方法
27日前
富士通株式会社
データ処理装置、プログラム及びデータ処理方法
27日前
富士通株式会社
光送受信システム、光送受信方法、及び光送信装置
5日前
富士通株式会社
機械学習プログラム、機械学習方法及び機械学習装置
13日前
富士通株式会社
コンパイラ、コンパイル方法、およびコンパイル装置
14日前
富士通株式会社
情報管理プログラム、情報管理方法及び情報管理装置
12日前
富士通株式会社
情報処理プログラム、情報処理方法及び情報処理装置
12日前
富士通株式会社
情報処理装置,情報処理プログラムおよび印刷システム
5日前
富士通株式会社
情報処理プログラム、情報処理方法および情報処理装置
5日前
続きを見る