特許ウォッチ

公開番号2023075612
公報種別公開特許公報(A)
公開日2023-05-31
出願番号2021188620
出願日2021-11-19
発明の名称機械学習プログラム、機械学習方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人扶桑国際特許事務所
主分類G06N 20/00 20190101AFI20230524BHJP(計算;計数)
要約【課題】入力データのノイズに対する機械学習モデルのロバスト性を向上させる。
【解決手段】情報処理装置10は、データ13a,13b,…を選択する。情報処理装置10は、データ13a,13b,…の少なくとも一部を改変することによってデータ14a,14b,…を生成する。情報処理装置10は、データ15a,15b,…を用いて、ハイパーパラメータ16に値16a,16b,16cのそれぞれを適用して、機械学習モデル17a,17b,17cのそれぞれを訓練する。情報処理装置10は、データ14a,14b,…を用いて、推論精度18a,18b,18cを判定する。情報処理装置10は、推論精度18a,18b,18cに基づいて、ハイパーパラメータ16の特定の値を決定する。情報処理装置10は、ハイパーパラメータ16に特定の値を適用して訓練された機械学習モデルを出力する。
【選択図】図1
特許請求の範囲【請求項１】
複数の機械学習用データのうち第１の複数のデータを選択し、
前記第１の複数のデータの少なくとも一部を改変することによって第２の複数のデータを生成し、
前記複数の機械学習用データのうち前記第１の複数のデータとは異なる第３の複数のデータを用いて、ハイパーパラメータに複数の値のそれぞれを適用して、複数の機械学習モデルのそれぞれを訓練し、
前記第２の複数のデータを用いて、訓練済みの前記複数の機械学習モデルのそれぞれの推論精度を判定し、
前記推論精度に基づいて、前記ハイパーパラメータの特定の値を決定し、
前記ハイパーパラメータに前記特定の値を適用して訓練された機械学習モデルを出力する、
処理をコンピュータに実行させることを特徴とする機械学習プログラム。
続きを表示（約 1,600 文字）【請求項２】
前記第２の複数のデータの生成は、前記第１の複数のデータの少なくとも一部にノイズを付与する処理を含む、
ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項３】
前記第２の複数のデータの生成は、前記第１の複数のデータの少なくとも一部を前記第２の複数のデータと異なる改変方法で改変することによって、第４の複数のデータを生成する処理を含み、
前記推論精度の判定は、前記第４の複数のデータを用いて、訓練済みの前記複数の機械学習モデルのそれぞれの前記推論精度を判定する処理を含む、
ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項４】
前記特定の値の決定は、前記複数の値のうち、前記複数の機械学習用データのうちの第４の複数のデータを用いて判定される前記推論精度が閾値を超える値の第１の分布と、前記第２の複数のデータを用いて判定される前記推論精度が前記閾値を超える値の第２の分布とに基づいて、前記特定の値を決定する処理を含む、
ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項５】
前記特定の値の決定は、前記第１の分布が示す第１のクラスタと前記第２の分布が示す第２のクラスタとが重なるエリアの中から前記特定の値を決定する処理を含む、
ことを特徴とする請求項４に記載の機械学習プログラム。
【請求項６】
前記第２の複数のデータの生成は、前記第１の複数のデータの少なくとも一部を前記第２の複数のデータと異なる改変方法で改変することによって、第４の複数のデータを生成する処理を含み、
前記推論精度の判定は、前記第４の複数のデータを用いて、訓練済みの前記複数の機械学習モデルのそれぞれの前記推論精度を判定する処理を含み、
前記特定の値の決定は、前記複数の値のうち、前記第２の複数のデータを用いて判定される前記推論精度が閾値を超える値の第１の分布と、前記第４の複数のデータを用いて判定される前記推論精度が前記閾値を超える値の第２の分布とに基づいて、前記特定の値を決定する処理を含む、
ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項７】
複数の機械学習用データのうち第１の複数のデータを選択し、
前記第１の複数のデータの少なくとも一部を改変することによって第２の複数のデータを生成し、
前記複数の機械学習用データのうち前記第１の複数のデータとは異なる第３の複数のデータを用いて、ハイパーパラメータに複数の値のそれぞれを適用して、複数の機械学習モデルのそれぞれを訓練し、
前記第２の複数のデータを用いて、訓練済みの前記複数の機械学習モデルのそれぞれの推論精度を判定し、
前記推論精度に基づいて、前記ハイパーパラメータの特定の値を決定し、
前記ハイパーパラメータに前記特定の値を適用して訓練された機械学習モデルを出力する、
処理をコンピュータが実行することを特徴とする機械学習方法。
【請求項８】
複数の機械学習用データを記憶する記憶部と、
前記複数の機械学習用データのうち第１の複数のデータを選択し、前記第１の複数のデータの少なくとも一部を改変することによって第２の複数のデータを生成し、前記複数の機械学習用データのうち前記第１の複数のデータとは異なる第３の複数のデータを用いて、ハイパーパラメータに複数の値のそれぞれを適用して、複数の機械学習モデルのそれぞれを訓練し、前記第２の複数のデータを用いて、訓練済みの前記複数の機械学習モデルのそれぞれの推論精度を判定し、前記推論精度に基づいて、前記ハイパーパラメータの特定の値を決定し、前記ハイパーパラメータに前記特定の値を適用して訓練された機械学習モデルを出力する制御部と、
を有することを特徴とする情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は機械学習プログラム、機械学習方法および情報処理装置に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
コンピュータは、機械学習用データを用いて、入力データを出力データに変換する機械学習モデルを訓練することがある。入力データの例として画像データがあり、出力データの例として画像認識結果がある。機械学習モデルの例としてニューラルネットワークがある。機械学習用データは、正解の出力データを示す教師データを含むことがある。例えば、コンピュータは、機械学習用データに含まれる入力データを機械学習モデルに入力し、機械学習モデルの出力と機械学習用データに含まれる教師データとの誤差を算出し、誤差が小さくなるように機械学習モデルのパラメータを更新する。
【０００３】
コンピュータは、ハイパーパラメータの値を変更することで、機械学習の挙動を変更することができる。ハイパーパラメータは、機械学習によって最適化される機械学習モデルのパラメータとは異なり、機械学習モデルの訓練の前に指定される。ハイパーパラメータの例として、学習率のように、誤差から機械学習モデルのパラメータの１回の更新量を決定する最適化関数に含まれるハイパーパラメータがある。
【０００４】
なお、遺伝的アルゴリズムを用いた組み合わせ最適化において、あるベクトルの周囲から初期ベクトル群を抽出し、問題に対する適合度に基づいて初期ベクトル間の組み替え操作を複数回繰り返す最適化調整装置が提案されている。また、入力データに含まれる複数の項目のうちの１つの項目の値のみを変化させながらニューラルネットワークの出力を観察して、予測結果の根拠をユーザに提示する情報処理装置が提供される。
【０００５】
また、ナンバープレートの写真に対してノイズ除去などの前処理を行い、前処理された写真をモデルに入力して車両用途を識別するナンバープレート分類方法が提案されている。また、収集した時系列データにノイズを付与して別の時系列データを生成し、ニューラルネットワークの機械学習に使用される訓練データを増やす生成装置が提案されている。
【０００６】
また、Ｌ２正則化のもとでニューラルネットワークの重み係数を算出し、不活性ノードおよび不活性チャネルを特定してニューラルネットワークから削除することで、ニューラルネットワークのサイズを小さくする学習装置が提案されている。
【先行技術文献】
【特許文献】
【０００７】
特開２００３－５０９８７号公報
国際公開第２０１７／１６８８６５号
国際公開第２０１７／２２００３２号
特開２０１９－８７１０６号公報
特開２０２０－８９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ハイパーパラメータの値に応じて、ある機械学習用データから訓練される機械学習モデルの推論精度が変化することがある。そこで、コンピュータは、ハイパーパラメータの値を変更しながら機械学習モデルの訓練を繰り返し、推論精度が高いハイパーパラメータの値を探索するハイパーパラメータ探索を行うことがある。
【０００９】
しかし、一般的なハイパーパラメータ探索によって決定されるハイパーパラメータの値は、特定の機械学習用データのもとで高い推論精度が達成される値である。機械学習用データと異なるノイズを含む入力データに対しては、推論精度が大きく低下することがある。よって、入力データのノイズに対するロバスト性が低い機械学習モデルが生成される可能性がある。そこで、１つの側面では、本発明は、入力データのノイズに対する機械学習モデルのロバスト性を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
１つの態様では、複数の機械学習用データのうち第１の複数のデータを選択し、第１の複数のデータの少なくとも一部を改変することによって第２の複数のデータを生成し、複数の機械学習用データのうち第１の複数のデータとは異なる第３の複数のデータを用いて、ハイパーパラメータに複数の値のそれぞれを適用して、複数の機械学習モデルのそれぞれを訓練し、第２の複数のデータを用いて、訓練済みの複数の機械学習モデルのそれぞれの推論精度を判定し、推論精度に基づいて、ハイパーパラメータの特定の値を決定し、ハイパーパラメータに特定の値を適用して訓練された機械学習モデルを出力する、処理をコンピュータに実行させることを特徴とする機械学習プログラムが提供される。また、１つの態様では、コンピュータが実行する機械学習方法が提供される。また、１つの態様では、記憶部と制御部とを有する情報処理装置が提供される。
【発明の効果】
（【００１１】以降は省略されています）

関連特許