TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024130689
公報種別公開特許公報(A)
公開日2024-09-30
出願番号2023040550
出願日2023-03-15
発明の名称パラメータ修正プログラム、パラメータ修正方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人扶桑国際特許事務所
主分類G06N 3/09 20230101AFI20240920BHJP(計算;計数)
要約【課題】修正後の機械学習モデルの分類精度を向上させる。
【解決手段】情報処理装置10は、第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含むサンプル15から、特徴量空間の中で第1の特徴量を含む領域を特定し、領域内の第2の特徴量とラベルとを含むサンプル16を生成する。情報処理装置10は、機械学習モデル13に含まれるパラメータ値14と、機械学習モデル13によって第2の特徴量から算出される複数のクラスそれぞれのクラス確率との関係に基づいて、複数のクラスの中での正解クラスのクラス確率の相対値が、パラメータ値14の修正後にパラメータ値14の修正前よりも減少しないことを示す制約情報17を生成する。情報処理装置10は、制約情報17を満たすように、パラメータ値14を修正する。
【選択図】図1
特許請求の範囲【請求項1】
第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルから、特徴量空間の中で前記第1の特徴量を含む領域を特定し、前記領域内の第2の特徴量と前記ラベルとを含む第2のサンプルを生成し、
機械学習モデルに含まれるパラメータ値と、前記機械学習モデルによって前記第2の特徴量から算出される前記複数のクラスそれぞれのクラス確率との関係に基づいて、前記複数のクラスの中での前記正解クラスの前記クラス確率の相対値が、前記パラメータ値の修正後に前記パラメータ値の修正前よりも減少しないことを示す制約情報を生成し、
前記制約情報を満たすように、前記パラメータ値を修正する、
処理をコンピュータに実行させるパラメータ修正プログラム。
続きを表示(約 1,200 文字)【請求項2】
前記パラメータ値と、前記機械学習モデルによって前記第1の特徴量から算出される前記複数のクラスそれぞれの他のクラス確率との関係に基づいて、前記パラメータ値の修正後に、前記複数のクラスの中で前記正解クラスの前記他のクラス確率が最大であることを示す他の制約情報を生成する処理を、前記コンピュータに更に実行させ、
前記パラメータ値は、前記制約情報と前記他の制約情報とを満たすように修正される、
請求項1記載のパラメータ修正プログラム。
【請求項3】
前記第2のサンプルの生成は、前記第1のサンプルを含む複数の第1のサンプルに対応する、前記第1の特徴量を含む複数の第1の特徴量に対してクラスタリングを行うことで、前記領域を特定する処理を含む、
請求項1記載のパラメータ修正プログラム。
【請求項4】
前記機械学習モデルはニューラルネットワークであり、
前記第1の特徴量および前記第2の特徴量は、前記ニューラルネットワークに含まれる複数の層のうち、前記パラメータ値を含む層に入力される入力値である、
請求項1記載のパラメータ修正プログラム。
【請求項5】
第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルから、特徴量空間の中で前記第1の特徴量を含む領域を特定し、前記領域内の第2の特徴量と前記ラベルとを含む第2のサンプルを生成し、
機械学習モデルに含まれるパラメータ値と、前記機械学習モデルによって前記第2の特徴量から算出される前記複数のクラスそれぞれのクラス確率との関係に基づいて、前記複数のクラスの中での前記正解クラスの前記クラス確率の相対値が、前記パラメータ値の修正後に前記パラメータ値の修正前よりも減少しないことを示す制約情報を生成し、
前記制約情報を満たすように、前記パラメータ値を修正する、
処理をコンピュータが実行するパラメータ修正方法。
【請求項6】
パラメータ値を含む機械学習モデルと、第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルとを記憶する記憶部と、
前記第1のサンプルから、特徴量空間の中で前記第1の特徴量を含む領域を特定し、前記領域内の第2の特徴量と前記ラベルとを含む第2のサンプルを生成し、前記パラメータ値と、前記機械学習モデルによって前記第2の特徴量から算出される前記複数のクラスそれぞれのクラス確率との関係に基づいて、前記複数のクラスの中での前記正解クラスの前記クラス確率の相対値が、前記パラメータ値の修正後に前記パラメータ値の修正前よりも減少しないことを示す制約情報を生成し、前記制約情報を満たすように、前記パラメータ値を修正する処理部と、
を有する情報処理装置。

発明の詳細な説明【技術分野】
【0001】
本発明はパラメータ修正プログラム、パラメータ修正方法および情報処理装置に関する。
続きを表示(約 2,500 文字)【背景技術】
【0002】
コンピュータは、訓練データを用いた機械学習によって、クラス分類を行う機械学習モデルを訓練することがある。ただし、機械学習の性質上、機械学習モデルの誤分類をゼロにすることは難しい。これに対して、ユーザは、少数の重要な事例について誤分類が解消されるように、機械学習モデルを修正したいことがある。そこで、コンピュータは、機械学習モデル全体を再訓練する代わりに、訓練された機械学習モデルに含まれるパラメータ値を微調整するモデル修正を行うことがある。
【0003】
モデル修正技術の例として、現在の機械学習モデルとサンプルデータ群とから、パラメータ値が満たすべき制約を示す連立不等式を生成し、制約を満たすパラメータ値を線形ソルバによって探索する技術が提案されている。
【0004】
提案のモデル修正技術は、入力データと正解クラスとを対応付けた複数のサンプルを受け付ける。複数のサンプルの中には、現在の機械学習モデルによって正解クラスに分類されており、その分類結果を維持したいサンプルが含まれることがある。また、複数のサンプルの中には、現在の機械学習モデルによって誤ったクラスに分類されており、その分類結果を訂正したいサンプルが含まれることがある。提案のモデル修正技術は、これらサンプルが正しく分類される範囲で、修正量が最小のパラメータ値を探索する。
【0005】
なお、ニューラルネットワークを更新する機械学習において、新たなデータに対する予測誤差に基づいて当該データの異質度を算出し、異質度が閾値未満の場合に当該データを訓練データに追加する学習装置が提案されている。また、データを正例と負例に分類する機械学習モデルを訓練するランキング学習において、訓練データに含まれない特徴をもつデータが負例に分類されやすくなるよう制御する機械学習装置が提案されている。
【0006】
また、線形計画ソルバと二次計画ソルバを利用して、制約条件付き線形関数の最適解を算出するシステムが提案されている。また、ニューラルネットワークの機械学習の間に、エッジの追加や削除と、ノードの追加や削除を行うシステムが提案されている。
【先行技術文献】
【特許文献】
【0007】
特開平5-54014号公報
特開2015-1968号公報
米国特許出願公開第2015/0286611号明細書
米国特許出願公開第2021/0027163号明細書
【非特許文献】
【0008】
Ben Goldberger, Yossi Adi, Joseph Keshet and Guy Katz, "Minimal Modifications of Deep Neural Networks using Verification", Proc. of the 23rd International Conference on Logic for Programming, Artificial Intelligence and Reasoning (LPAR23), pp. 260-278, May 2020
Muhammad Usman, Divya Gopinath, Youcheng Sun, Yannic Noller and Corina S. Pasareanu, "NNREPAIR: Constraint-Based Repair of Neural Network Classifiers", Proc. of the 33rd International Conference on Computer Aided Verification (CAV2021), pp. 3-25, July 2021
Shuo Sun, Jun Yan and Rongjie Yan, "Layer-Specific Repair of Neural Network Classifiers", Proc. of the 31st International Conference on Artificial Neural Networks (ICANN2022), pp. 550-561, September 2022
【発明の概要】
【発明が解決しようとする課題】
【0009】
非特許文献1~3などのモデル修正技術は、与えられた既知のサンプルを正しく分類するようにパラメータ値を修正する。しかし、このモデル修正技術は、既知のサンプルと異なる未知の入力データの分類結果を考慮しない。このため、未知の入力データの分類精度が低下するという退行が発生するおそれがある。一方、与えるサンプルを単に増やしてしまうと、誤分類をゼロにすることが困難であるという機械学習モデルの性質上、パラメータ値の修正が適切に行われなくなるおそれがある。そこで、1つの側面では、本発明は、修正後の機械学習モデルの分類精度を向上させることを目的とする。
【課題を解決するための手段】
【0010】
1つの態様では、以下の処理をコンピュータに実行させるパラメータ修正プログラムが提供される。第1の特徴量と複数のクラスのうちの正解クラスを示すラベルとを含む第1のサンプルから、特徴量空間の中で第1の特徴量を含む領域を特定し、領域内の第2の特徴量とラベルとを含む第2のサンプルを生成する。機械学習モデルに含まれるパラメータ値と、機械学習モデルによって第2の特徴量から算出される複数のクラスそれぞれのクラス確率との関係に基づいて、複数のクラスの中での正解クラスのクラス確率の相対値が、パラメータ値の修正後にパラメータ値の修正前よりも減少しないことを示す制約情報を生成する。制約情報を満たすように、パラメータ値を修正する。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する
Flag Counter

関連特許

富士通株式会社
電源装置
2日前
富士通株式会社
画像生成方法
8日前
富士通株式会社
予測プログラム、予測方法及び情報処理装置
3日前
富士通株式会社
方策学習装置、方策学習方法及び通信システム
3日前
富士通株式会社
情報処理プログラム、情報処理方法、および情報処理装置
4日前
富士通株式会社
期待値算出システム、期待値算出装置、及び期待値算出方法
4日前
富士通株式会社
エレベータ管理プログラム、エレベータ管理方法、エレベータ管理装置
5日前
富士通株式会社
リソース割当て装置、リソース割当て方法、およびリソース割当てプログラム
2日前
富士通株式会社
基地局、移動局、通信システム、及び通信方法
1日前
キヤノン電子株式会社
通信システム
9日前
株式会社ザメディア
出席管理システム
3日前
トヨタ自動車株式会社
工程計画装置
3日前
株式会社タクテック
商品取出集品システム
2日前
トヨタ自動車株式会社
作業評価装置
9日前
ミサワホーム株式会社
情報処理装置
2日前
トヨタ自動車株式会社
作業判定方法
4日前
個人
公益寄付インタラクティブシステム
9日前
株式会社村田製作所
動き検知装置
2日前
トヨタ自動車株式会社
情報処理システム
4日前
ゼネラル株式会社
RFIDタグ付き物品
5日前
富士フイルム株式会社
タッチセンサ
9日前
トヨタ自動車株式会社
情報処理方法
4日前
個人
コンテンツ配信システム
2日前
株式会社国際電気
支援システム
5日前
富士通株式会社
画像生成方法
8日前
個人
プラットフォームシステム
2日前
株式会社デンソー
情報処理方法
9日前
ブラザー工業株式会社
ラベルプリンタ
4日前
トヨタ自動車株式会社
作業支援システム
2日前
株式会社知財事業研究所
運行計画作成システム
2日前
甍エンジニアリング株式会社
屋根材買い取りシステム
8日前
株式会社日立製作所
設計支援装置
3日前
日立建機株式会社
潤滑油診断システム
3日前
株式会社マーケットヴィジョン
情報処理システム
9日前
日立建機株式会社
作業機械の管理装置
5日前
トヨタ自動車株式会社
車両用の情報処理装置
4日前
続きを見る