TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024130689
公報種別公開特許公報(A)
公開日2024-09-30
出願番号2023040550
出願日2023-03-15
発明の名称パラメータ修正プログラム、パラメータ修正方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人扶桑国際特許事務所
主分類G06N 3/09 20230101AFI20240920BHJP(計算;計数)
要約【課題】修正後の機械学習モデルの分類精度を向上させる。
【解決手段】情報処理装置10は、第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含むサンプル15から、特徴量空間の中で第1の特徴量を含む領域を特定し、領域内の第2の特徴量とラベルとを含むサンプル16を生成する。情報処理装置10は、機械学習モデル13に含まれるパラメータ値14と、機械学習モデル13によって第2の特徴量から算出される複数のクラスそれぞれのクラス確率との関係に基づいて、複数のクラスの中での正解クラスのクラス確率の相対値が、パラメータ値14の修正後にパラメータ値14の修正前よりも減少しないことを示す制約情報17を生成する。情報処理装置10は、制約情報17を満たすように、パラメータ値14を修正する。
【選択図】図1
特許請求の範囲【請求項1】
第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルから、特徴量空間の中で前記第1の特徴量を含む領域を特定し、前記領域内の第2の特徴量と前記ラベルとを含む第2のサンプルを生成し、
機械学習モデルに含まれるパラメータ値と、前記機械学習モデルによって前記第2の特徴量から算出される前記複数のクラスそれぞれのクラス確率との関係に基づいて、前記複数のクラスの中での前記正解クラスの前記クラス確率の相対値が、前記パラメータ値の修正後に前記パラメータ値の修正前よりも減少しないことを示す制約情報を生成し、
前記制約情報を満たすように、前記パラメータ値を修正する、
処理をコンピュータに実行させるパラメータ修正プログラム。
続きを表示(約 1,200 文字)【請求項2】
前記パラメータ値と、前記機械学習モデルによって前記第1の特徴量から算出される前記複数のクラスそれぞれの他のクラス確率との関係に基づいて、前記パラメータ値の修正後に、前記複数のクラスの中で前記正解クラスの前記他のクラス確率が最大であることを示す他の制約情報を生成する処理を、前記コンピュータに更に実行させ、
前記パラメータ値は、前記制約情報と前記他の制約情報とを満たすように修正される、
請求項1記載のパラメータ修正プログラム。
【請求項3】
前記第2のサンプルの生成は、前記第1のサンプルを含む複数の第1のサンプルに対応する、前記第1の特徴量を含む複数の第1の特徴量に対してクラスタリングを行うことで、前記領域を特定する処理を含む、
請求項1記載のパラメータ修正プログラム。
【請求項4】
前記機械学習モデルはニューラルネットワークであり、
前記第1の特徴量および前記第2の特徴量は、前記ニューラルネットワークに含まれる複数の層のうち、前記パラメータ値を含む層に入力される入力値である、
請求項1記載のパラメータ修正プログラム。
【請求項5】
第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルから、特徴量空間の中で前記第1の特徴量を含む領域を特定し、前記領域内の第2の特徴量と前記ラベルとを含む第2のサンプルを生成し、
機械学習モデルに含まれるパラメータ値と、前記機械学習モデルによって前記第2の特徴量から算出される前記複数のクラスそれぞれのクラス確率との関係に基づいて、前記複数のクラスの中での前記正解クラスの前記クラス確率の相対値が、前記パラメータ値の修正後に前記パラメータ値の修正前よりも減少しないことを示す制約情報を生成し、
前記制約情報を満たすように、前記パラメータ値を修正する、
処理をコンピュータが実行するパラメータ修正方法。
【請求項6】
パラメータ値を含む機械学習モデルと、第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルとを記憶する記憶部と、
前記第1のサンプルから、特徴量空間の中で前記第1の特徴量を含む領域を特定し、前記領域内の第2の特徴量と前記ラベルとを含む第2のサンプルを生成し、前記パラメータ値と、前記機械学習モデルによって前記第2の特徴量から算出される前記複数のクラスそれぞれのクラス確率との関係に基づいて、前記複数のクラスの中での前記正解クラスの前記クラス確率の相対値が、前記パラメータ値の修正後に前記パラメータ値の修正前よりも減少しないことを示す制約情報を生成し、前記制約情報を満たすように、前記パラメータ値を修正する処理部と、
を有する情報処理装置。

発明の詳細な説明【技術分野】
【0001】
本発明はパラメータ修正プログラム、パラメータ修正方法および情報処理装置に関する。
続きを表示(約 2,500 文字)【背景技術】
【0002】
コンピュータは、訓練データを用いた機械学習によって、クラス分類を行う機械学習モデルを訓練することがある。ただし、機械学習の性質上、機械学習モデルの誤分類をゼロにすることは難しい。これに対して、ユーザは、少数の重要な事例について誤分類が解消されるように、機械学習モデルを修正したいことがある。そこで、コンピュータは、機械学習モデル全体を再訓練する代わりに、訓練された機械学習モデルに含まれるパラメータ値を微調整するモデル修正を行うことがある。
【0003】
モデル修正技術の例として、現在の機械学習モデルとサンプルデータ群とから、パラメータ値が満たすべき制約を示す連立不等式を生成し、制約を満たすパラメータ値を線形ソルバによって探索する技術が提案されている。
【0004】
提案のモデル修正技術は、入力データと正解クラスとを対応付けた複数のサンプルを受け付ける。複数のサンプルの中には、現在の機械学習モデルによって正解クラスに分類されており、その分類結果を維持したいサンプルが含まれることがある。また、複数のサンプルの中には、現在の機械学習モデルによって誤ったクラスに分類されており、その分類結果を訂正したいサンプルが含まれることがある。提案のモデル修正技術は、これらサンプルが正しく分類される範囲で、修正量が最小のパラメータ値を探索する。
【0005】
なお、ニューラルネットワークを更新する機械学習において、新たなデータに対する予測誤差に基づいて当該データの異質度を算出し、異質度が閾値未満の場合に当該データを訓練データに追加する学習装置が提案されている。また、データを正例と負例に分類する機械学習モデルを訓練するランキング学習において、訓練データに含まれない特徴をもつデータが負例に分類されやすくなるよう制御する機械学習装置が提案されている。
【0006】
また、線形計画ソルバと二次計画ソルバを利用して、制約条件付き線形関数の最適解を算出するシステムが提案されている。また、ニューラルネットワークの機械学習の間に、エッジの追加や削除と、ノードの追加や削除を行うシステムが提案されている。
【先行技術文献】
【特許文献】
【0007】
特開平5-54014号公報
特開2015-1968号公報
米国特許出願公開第2015/0286611号明細書
米国特許出願公開第2021/0027163号明細書
【非特許文献】
【0008】
Ben Goldberger, Yossi Adi, Joseph Keshet and Guy Katz, "Minimal Modifications of Deep Neural Networks using Verification", Proc. of the 23rd International Conference on Logic for Programming, Artificial Intelligence and Reasoning (LPAR23), pp. 260-278, May 2020
Muhammad Usman, Divya Gopinath, Youcheng Sun, Yannic Noller and Corina S. Pasareanu, "NNREPAIR: Constraint-Based Repair of Neural Network Classifiers", Proc. of the 33rd International Conference on Computer Aided Verification (CAV2021), pp. 3-25, July 2021
Shuo Sun, Jun Yan and Rongjie Yan, "Layer-Specific Repair of Neural Network Classifiers", Proc. of the 31st International Conference on Artificial Neural Networks (ICANN2022), pp. 550-561, September 2022
【発明の概要】
【発明が解決しようとする課題】
【0009】
非特許文献1~3などのモデル修正技術は、与えられた既知のサンプルを正しく分類するようにパラメータ値を修正する。しかし、このモデル修正技術は、既知のサンプルと異なる未知の入力データの分類結果を考慮しない。このため、未知の入力データの分類精度が低下するという退行が発生するおそれがある。一方、与えるサンプルを単に増やしてしまうと、誤分類をゼロにすることが困難であるという機械学習モデルの性質上、パラメータ値の修正が適切に行われなくなるおそれがある。そこで、1つの側面では、本発明は、修正後の機械学習モデルの分類精度を向上させることを目的とする。
【課題を解決するための手段】
【0010】
1つの態様では、以下の処理をコンピュータに実行させるパラメータ修正プログラムが提供される。第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルから、特徴量空間の中で第1の特徴量を含む領域を特定し、領域内の第2の特徴量とラベルとを含む第2のサンプルを生成する。機械学習モデルに含まれるパラメータ値と、機械学習モデルによって第2の特徴量から算出される複数のクラスそれぞれのクラス確率との関係に基づいて、複数のクラスの中での正解クラスのクラス確率の相対値が、パラメータ値の修正後にパラメータ値の修正前よりも減少しないことを示す制約情報を生成する。制約情報を満たすように、パラメータ値を修正する。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

富士通株式会社
プロセッサ
10日前
富士通株式会社
アバター制御
24日前
富士通株式会社
半導体デバイス
1か月前
富士通株式会社
光半導体デバイス
今日
富士通株式会社
評価装置及び評価方法
1か月前
富士通株式会社
基板装置及び電子機器
11日前
富士通株式会社
生命体の感知方法と装置
1か月前
富士通株式会社
半導体装置及び実装方法
1か月前
富士通株式会社
介入方法及び介入プログラム
1か月前
富士通株式会社
ヘテロ積層デバイスの製造方法
1か月前
富士通株式会社
半導体装置の製造方法及び基板
17日前
富士通株式会社
演算処理装置及び演算処理方法
10日前
富士通株式会社
受信器および適応等化処理方法
21日前
富士通株式会社
生体の位置の検出方法及び装置
1か月前
富士通株式会社
自動探索的データ解析(EDA)
26日前
富士通株式会社
電力分配回路、及び、電力合成回路
1か月前
富士通株式会社
深層信念ネットワークのトレーニング
21日前
富士通株式会社
施策決定方法及び施策決定プログラム
27日前
富士通株式会社
機器特定方法及び機器特定プログラム
1か月前
富士通株式会社
分散学習プログラム、方法、及び装置
1か月前
富士通株式会社
セキュリティポリシーの判定及び適用
1か月前
富士通株式会社
説明可能な人工知能のためのグラフ縮小
17日前
富士通株式会社
パケット制御回路及びパケット制御方法
1か月前
富士通株式会社
推定プログラム、推定方法および推定装置
1か月前
富士通株式会社
訓練データ生成プログラム、方法、及び装置
今日
富士通株式会社
演算処理装置および演算処理装置の制御方法
18日前
富士通株式会社
データ制御方法およびデータ制御プログラム
18日前
富士通株式会社
オブジェクトの計数装置、方法及び電子機器
1か月前
富士通株式会社
プログラム、情報処理方法および情報処理装置
3日前
富士通株式会社
プログラム、情報処理方法および情報処理装置
11日前
富士通株式会社
推定プログラム、機械学習方法、及び推定装置
1か月前
富士通株式会社
施策評価支援方法及び施策評価支援プログラム
25日前
富士通株式会社
表示プログラム、表示方法および情報処理装置
17日前
富士通株式会社
評価プログラム,評価方法および情報処理装置
1か月前
富士通株式会社
乗降者カウントプログラムおよび情報処理装置
21日前
富士通株式会社
探索プログラム、探索方法および情報処理装置
18日前
続きを見る