TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024130689
公報種別公開特許公報(A)
公開日2024-09-30
出願番号2023040550
出願日2023-03-15
発明の名称パラメータ修正プログラム、パラメータ修正方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人扶桑国際特許事務所
主分類G06N 3/09 20230101AFI20240920BHJP(計算;計数)
要約【課題】修正後の機械学習モデルの分類精度を向上させる。
【解決手段】情報処理装置10は、第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含むサンプル15から、特徴量空間の中で第1の特徴量を含む領域を特定し、領域内の第2の特徴量とラベルとを含むサンプル16を生成する。情報処理装置10は、機械学習モデル13に含まれるパラメータ値14と、機械学習モデル13によって第2の特徴量から算出される複数のクラスそれぞれのクラス確率との関係に基づいて、複数のクラスの中での正解クラスのクラス確率の相対値が、パラメータ値14の修正後にパラメータ値14の修正前よりも減少しないことを示す制約情報17を生成する。情報処理装置10は、制約情報17を満たすように、パラメータ値14を修正する。
【選択図】図1
特許請求の範囲【請求項1】
第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルから、特徴量空間の中で前記第1の特徴量を含む領域を特定し、前記領域内の第2の特徴量と前記ラベルとを含む第2のサンプルを生成し、
機械学習モデルに含まれるパラメータ値と、前記機械学習モデルによって前記第2の特徴量から算出される前記複数のクラスそれぞれのクラス確率との関係に基づいて、前記複数のクラスの中での前記正解クラスの前記クラス確率の相対値が、前記パラメータ値の修正後に前記パラメータ値の修正前よりも減少しないことを示す制約情報を生成し、
前記制約情報を満たすように、前記パラメータ値を修正する、
処理をコンピュータに実行させるパラメータ修正プログラム。
続きを表示(約 1,200 文字)【請求項2】
前記パラメータ値と、前記機械学習モデルによって前記第1の特徴量から算出される前記複数のクラスそれぞれの他のクラス確率との関係に基づいて、前記パラメータ値の修正後に、前記複数のクラスの中で前記正解クラスの前記他のクラス確率が最大であることを示す他の制約情報を生成する処理を、前記コンピュータに更に実行させ、
前記パラメータ値は、前記制約情報と前記他の制約情報とを満たすように修正される、
請求項1記載のパラメータ修正プログラム。
【請求項3】
前記第2のサンプルの生成は、前記第1のサンプルを含む複数の第1のサンプルに対応する、前記第1の特徴量を含む複数の第1の特徴量に対してクラスタリングを行うことで、前記領域を特定する処理を含む、
請求項1記載のパラメータ修正プログラム。
【請求項4】
前記機械学習モデルはニューラルネットワークであり、
前記第1の特徴量および前記第2の特徴量は、前記ニューラルネットワークに含まれる複数の層のうち、前記パラメータ値を含む層に入力される入力値である、
請求項1記載のパラメータ修正プログラム。
【請求項5】
第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルから、特徴量空間の中で前記第1の特徴量を含む領域を特定し、前記領域内の第2の特徴量と前記ラベルとを含む第2のサンプルを生成し、
機械学習モデルに含まれるパラメータ値と、前記機械学習モデルによって前記第2の特徴量から算出される前記複数のクラスそれぞれのクラス確率との関係に基づいて、前記複数のクラスの中での前記正解クラスの前記クラス確率の相対値が、前記パラメータ値の修正後に前記パラメータ値の修正前よりも減少しないことを示す制約情報を生成し、
前記制約情報を満たすように、前記パラメータ値を修正する、
処理をコンピュータが実行するパラメータ修正方法。
【請求項6】
パラメータ値を含む機械学習モデルと、第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルとを記憶する記憶部と、
前記第1のサンプルから、特徴量空間の中で前記第1の特徴量を含む領域を特定し、前記領域内の第2の特徴量と前記ラベルとを含む第2のサンプルを生成し、前記パラメータ値と、前記機械学習モデルによって前記第2の特徴量から算出される前記複数のクラスそれぞれのクラス確率との関係に基づいて、前記複数のクラスの中での前記正解クラスの前記クラス確率の相対値が、前記パラメータ値の修正後に前記パラメータ値の修正前よりも減少しないことを示す制約情報を生成し、前記制約情報を満たすように、前記パラメータ値を修正する処理部と、
を有する情報処理装置。

発明の詳細な説明【技術分野】
【0001】
本発明はパラメータ修正プログラム、パラメータ修正方法および情報処理装置に関する。
続きを表示(約 2,500 文字)【背景技術】
【0002】
コンピュータは、訓練データを用いた機械学習によって、クラス分類を行う機械学習モデルを訓練することがある。ただし、機械学習の性質上、機械学習モデルの誤分類をゼロにすることは難しい。これに対して、ユーザは、少数の重要な事例について誤分類が解消されるように、機械学習モデルを修正したいことがある。そこで、コンピュータは、機械学習モデル全体を再訓練する代わりに、訓練された機械学習モデルに含まれるパラメータ値を微調整するモデル修正を行うことがある。
【0003】
モデル修正技術の例として、現在の機械学習モデルとサンプルデータ群とから、パラメータ値が満たすべき制約を示す連立不等式を生成し、制約を満たすパラメータ値を線形ソルバによって探索する技術が提案されている。
【0004】
提案のモデル修正技術は、入力データと正解クラスとを対応付けた複数のサンプルを受け付ける。複数のサンプルの中には、現在の機械学習モデルによって正解クラスに分類されており、その分類結果を維持したいサンプルが含まれることがある。また、複数のサンプルの中には、現在の機械学習モデルによって誤ったクラスに分類されており、その分類結果を訂正したいサンプルが含まれることがある。提案のモデル修正技術は、これらサンプルが正しく分類される範囲で、修正量が最小のパラメータ値を探索する。
【0005】
なお、ニューラルネットワークを更新する機械学習において、新たなデータに対する予測誤差に基づいて当該データの異質度を算出し、異質度が閾値未満の場合に当該データを訓練データに追加する学習装置が提案されている。また、データを正例と負例に分類する機械学習モデルを訓練するランキング学習において、訓練データに含まれない特徴をもつデータが負例に分類されやすくなるよう制御する機械学習装置が提案されている。
【0006】
また、線形計画ソルバと二次計画ソルバを利用して、制約条件付き線形関数の最適解を算出するシステムが提案されている。また、ニューラルネットワークの機械学習の間に、エッジの追加や削除と、ノードの追加や削除を行うシステムが提案されている。
【先行技術文献】
【特許文献】
【0007】
特開平5-54014号公報
特開2015-1968号公報
米国特許出願公開第2015/0286611号明細書
米国特許出願公開第2021/0027163号明細書
【非特許文献】
【0008】
Ben Goldberger, Yossi Adi, Joseph Keshet and Guy Katz, "Minimal Modifications of Deep Neural Networks using Verification", Proc. of the 23rd International Conference on Logic for Programming, Artificial Intelligence and Reasoning (LPAR23), pp. 260-278, May 2020
Muhammad Usman, Divya Gopinath, Youcheng Sun, Yannic Noller and Corina S. Pasareanu, "NNREPAIR: Constraint-Based Repair of Neural Network Classifiers", Proc. of the 33rd International Conference on Computer Aided Verification (CAV2021), pp. 3-25, July 2021
Shuo Sun, Jun Yan and Rongjie Yan, "Layer-Specific Repair of Neural Network Classifiers", Proc. of the 31st International Conference on Artificial Neural Networks (ICANN2022), pp. 550-561, September 2022
【発明の概要】
【発明が解決しようとする課題】
【0009】
非特許文献1~3などのモデル修正技術は、与えられた既知のサンプルを正しく分類するようにパラメータ値を修正する。しかし、このモデル修正技術は、既知のサンプルと異なる未知の入力データの分類結果を考慮しない。このため、未知の入力データの分類精度が低下するという退行が発生するおそれがある。一方、与えるサンプルを単に増やしてしまうと、誤分類をゼロにすることが困難であるという機械学習モデルの性質上、パラメータ値の修正が適切に行われなくなるおそれがある。そこで、1つの側面では、本発明は、修正後の機械学習モデルの分類精度を向上させることを目的とする。
【課題を解決するための手段】
【0010】
1つの態様では、以下の処理をコンピュータに実行させるパラメータ修正プログラムが提供される。第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルから、特徴量空間の中で第1の特徴量を含む領域を特定し、領域内の第2の特徴量とラベルとを含む第2のサンプルを生成する。機械学習モデルに含まれるパラメータ値と、機械学習モデルによって第2の特徴量から算出される複数のクラスそれぞれのクラス確率との関係に基づいて、複数のクラスの中での正解クラスのクラス確率の相対値が、パラメータ値の修正後にパラメータ値の修正前よりも減少しないことを示す制約情報を生成する。制約情報を満たすように、パラメータ値を修正する。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する
Flag Counter

関連特許

富士通株式会社
プロセッサ
9日前
富士通株式会社
画像生成方法
1日前
富士通株式会社
アンテナ装置
23日前
富士通株式会社
量子デバイス
9日前
富士通株式会社
冷却モジュール
3日前
富士通株式会社
敗血症の診断および予測
24日前
富士通株式会社
無線アクセス・ネットワーク調整
5日前
富士通株式会社
評価プログラム、方法、及び装置
1日前
富士通株式会社
情報処理プログラム、方法、及び装置
15日前
富士通株式会社
病変検出方法および病変検出プログラム
10日前
富士通株式会社
人体のキーポイントの検出方法及び装置
8日前
富士通株式会社
病変検出方法および病変検出プログラム
10日前
富士通株式会社
タスク特有のグラフセット解析及び視覚化
9日前
富士通株式会社
制御プログラム、システムおよび制御方法
12日前
富士通株式会社
遅延制御回路、光送信機、及び遅延制御方法
23日前
富士通株式会社
リソースサーバおよびサービス提供システム
17日前
富士通株式会社
車両の管理施設情報提供方法及びプログラム
11日前
富士通株式会社
演算処理装置および演算処理装置の動作方法
8日前
富士通株式会社
プログラム、情報処理方法および情報処理装置
1日前
富士通株式会社
学習プログラム、情報処理装置および学習方法
22日前
富士通株式会社
推定方法、推定プログラム、及び通信処理装置
18日前
富士通株式会社
修正候補特定方法及び修正候補特定プログラム
11日前
富士通株式会社
プログラム、データ処理装置及びデータ処理方法
3日前
富士通株式会社
演算プログラム、演算方法、および情報処理装置
23日前
富士通株式会社
情報処理装置、手続きプログラムおよび手続き方法
2日前
富士通株式会社
プログラム、データ処理方法およびデータ処理装置
23日前
富士通株式会社
ハイブリッド古典‐量子教師なしマルチクラス分類
8日前
富士通株式会社
情報処理プログラム、情報処理方法及び情報処理装置
2日前
富士通株式会社
情報処理プログラム、情報処理方法および情報処理装置
11日前
富士通株式会社
情報処理プログラム,情報処理装置および情報処理方法
23日前
富士通株式会社
機械学習プログラム、機械学習方法および情報処理装置
8日前
富士通株式会社
言語処理プログラム、言語処理装置、及び言語処理方法
9日前
富士通株式会社
情報処理プログラム、情報処理方法および情報処理装置
8日前
富士通株式会社
情報処理プログラム、情報処理装置、および情報処理方法
18日前
富士通株式会社
情報処理プログラム、情報処理方法及び情報処理システム
1日前
富士通株式会社
情報処理プログラム、情報処理方法、および情報処理装置
18日前
続きを見る