特許ウォッチ

公開番号2024104494
公報種別公開特許公報(A)
公開日2024-08-05
出願番号2023008724
出願日2023-01-24
発明の名称モデル修正プログラム、モデル修正方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人扶桑国際特許事務所
主分類G06N 20/00 20190101AFI20240729BHJP(計算;計数)
要約【課題】機械学習モデルの修正後の精度を向上させる。
【解決手段】情報処理装置10は、訓練済みの機械学習モデル14に第1入力データ群13を入力し、第1入力データ群13のデータのそれぞれのクラス分類の推論結果を示すクラス確率分布を生成する。情報処理装置10は、クラス確率分布から推論結果と正解との誤差を算出するとともに、クラス確率分布におけるクラス間のクラス確率の差に基づいて、機械学習モデル14の混乱の度合いを示す混乱度を算出する。情報処理装置10は、誤差と混乱度に基づいて、第1入力データ群13から除去対象とする第1データを特定し、第1データを第1入力データ群13から除去した第2入力データ群16に基づいて、機械学習モデル14を修正する。
【選択図】図1
特許請求の範囲【請求項１】
訓練済みの機械学習モデルと第１入力データ群を取得し、
前記機械学習モデルに前記第１入力データ群を入力して、前記第１入力データ群に含まれるデータのそれぞれのクラス分類の推論結果を示すクラス確率分布を生成し、
前記クラス確率分布から前記推論結果と正解との誤差を算出するとともに、前記クラス確率分布におけるクラス間のクラス確率の差に基づいて、前記機械学習モデルの混乱の度合いを示す混乱度を算出し、
前記誤差と前記混乱度に基づいて、前記第１入力データ群から除去対象とする第１データを特定し、
前記第１データを前記第１入力データ群から除去した第２入力データ群に基づいて、前記機械学習モデルを修正する、
処理をコンピュータに実行させるモデル修正プログラム。
続きを表示（約 1,100 文字）【請求項２】
前記混乱度は、前記クラス確率分布において、前記クラス確率が最も大きい第１クラスの前記クラス確率と、前記クラス確率が２番目に大きい第２クラスの前記クラス確率との差が大きくなるほど小さくなる、
請求項１記載のモデル修正プログラム。
【請求項３】
前記第１データを特定する処理は、
前記誤差の大きい順に、前記第１入力データ群から第１データ件数分の第２データを抽出し、
前記混乱度の大きい順に、前記第１入力データ群から第２データ件数分の第３データを抽出する、
処理を含み、
前記第２データであり、かつ前記第３データである前記データが、前記第１データである、
請求項１記載のモデル修正プログラム。
【請求項４】
前記第１データを特定する処理は、さらに、
前記第２データであり、かつ前記第３データではなく、前記機械学習モデルに入力した場合に推論が失敗する前記データを、前記第１データとして追加する、処理を含む請求項３記載のモデル修正プログラム。
【請求項５】
訓練済みの機械学習モデルと第１入力データ群を取得し、
前記機械学習モデルに前記第１入力データ群を入力して、前記第１入力データ群に含まれるデータのそれぞれのクラス分類の推論結果を示すクラス確率分布を生成し、
前記クラス確率分布から前記推論結果と正解との誤差を算出するとともに、前記クラス確率分布におけるクラス間のクラス確率の差に基づいて、前記機械学習モデルの混乱の度合いを示す混乱度を算出し、
前記誤差と前記混乱度に基づいて、前記第１入力データ群から除去対象とする第１データを特定し、
前記第１データを前記第１入力データ群から除去した第２入力データ群に基づいて、前記機械学習モデルを修正する、
処理をコンピュータが実行するモデル修正方法。
【請求項６】
訓練済みの機械学習モデルと第１入力データ群を記憶する記憶部と、
前記機械学習モデルと前記第１入力データ群を取得し、前記機械学習モデルに前記第１入力データ群を入力して、前記第１入力データ群に含まれるデータのそれぞれのクラス分類の推論結果を示すクラス確率分布を生成し、前記クラス確率分布から前記推論結果と正解との誤差を算出するとともに、前記クラス確率分布におけるクラス間のクラス確率の差に基づいて、前記機械学習モデルの混乱の度合いを示す混乱度を算出し、前記誤差と前記混乱度に基づいて、前記第１入力データ群から除去対象とする第１データを特定し、前記第１データを前記第１入力データ群から除去した第２入力データ群に基づいて、前記機械学習モデルを修正する処理部と、
を有する情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明はモデル修正プログラム、モデル修正方法および情報処理装置に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
機械学習モデルは、画像認識、音声認識、機械翻訳などの様々な分野で用いられている。機械学習モデルは、例えば、深層学習によって訓練させるニューラルネットワークである。
【０００３】
訓練済みの機械学習モデルは、修正されることがある。例えば、機械学習モデルを用いたシステムの運用時において不具合が生じた場合などに、修正が行われる。機械学習モデルを修正するために、さらなる訓練データが用いられて再訓練されることがある。しかし、ＣＡＣＥ（Changing Anything Changes Everything）原理により、再訓練によって、かえって機械学習モデルの性能が劣化する可能性がある。例えば、訓練データを増やして、機械学習モデルの全体の精度を上げたとしても、特定のデータに対しては逆に正しい推論ができなくなる場合がある。
【０００４】
そこで、再訓練を行わずに、機械学習モデルの修正を行う手法が提案されている。この手法では、訓練過程で推論に成功したデータ（以下、成功データという）と、訓練過程において推論に失敗したデータ（以下、失敗データという）が用いられる。まず、成功データを機械学習モデルに入力した場合の出力に影響せず、失敗データを機械学習モデルに入力した場合の出力に影響し、訓練過程で値が大きく変化した機械学習モデルのパラメータが特定される。そして、特定されたパラメータを調整することで、正しい振舞いへの影響が少なく誤った振舞いに影響が限定されるように機械学習モデルが修正される。
【０００５】
なお、教師なしデータの中から外れ値を検出し、異常か否かを示すラベルを教師なしデータに付与して教師ありデータを生成し、異常を判定するルールを教師ありデータを用いて訓練する外れ値検出装置が提案されている。また、多層畳み込みニューラルネットワークの損失関数を、誤差の統計情報に基づいて動的に調整する方法が提案されている。
【０００６】
また、好ましくないイベントに関連する異常値を訓練データから除去し、除去後の訓練データを用いて機械学習モデルを訓練するシステムが提案されている。また、全てのデータレコードを用いて予測モデルを訓練し、予測モデルを用いて各データレコードの異常スコアを算出し、外れ値を判定するための閾値を決定する判定装置が提案されている。
【先行技術文献】
【特許文献】
【０００７】
特開２００３－５９７０号公報
米国特許出願公開第２０１７／０３００８１１号明細書
米国特許出願公開第２０１８／００８１９１３号明細書
特開２０１８－１９０１２７号公報
【非特許文献】
【０００８】
Shogo Tokui, Susumu Tokumoto, Akihito Yoshii, Fuyuki Ishikawa, Takao Nakagawa, Kazuki Munakata and Shinji Kikuchi "NeuRecover: Regression-Controlled Repair of Deep Neural Networks with Training History", Proc. of the 29th IEEE International Conference on Software Analysis, Evolution and Reengineering (SANER 2022), pp. 1111-1121, March 2022
【発明の概要】
【発明が解決しようとする課題】
【０００９】
訓練済の機械学習モデルを修正するときに用いられる成功データと失敗データには、外れ値が含まれる可能性がある。外れ値として、例えば、誤ったラベル付けがされたデータ、判別不能なデータ、ノイズが大きすぎるデータなどがある。
【００１０】
このような外れ値が含まれる場合、無意味な修正のため、これまで推論に成功したデータの推論に失敗する現象（退行と呼ばれることもある）が発生することがある。または、その外れ値を成功データまたは失敗データとして維持することで、修正が進まなくなることがある。つまり、このような外れ値は機械学習モデルの修正後の精度を悪化させることがある。
（【００１１】以降は省略されています）

関連特許