特許ウォッチ

公開番号2024070156
公報種別公開特許公報(A)
公開日2024-05-22
出願番号2022180595
出願日2022-11-10
発明の名称学習装置、学習方法およびプログラム
出願人日本電気株式会社
代理人個人,個人
主分類G06N 3/08 20230101AFI20240515BHJP(計算;計数)
要約【課題】ニューラルネットワークの学習に敵対的サンプルが用いられる場合に、敵対的サンプルの多様性を学習に反映させられるようにする。
【解決手段】ニューラルネットワークは、部分ネットワークと、複数のデータを含む基データグループの全体に紐付けられている正規化層と、敵対的サンプルの生成の条件ごとに、その条件に紐付けられている正規化層とを含み、各正規化層は、正規化層自らに入力されるデータを正規化する。学習装置は、基データグループを用いて、部分ネットワークのパラメータ値と、基データグループの全体に紐付けられている正規化層のパラメータ値とを更新し、敵対的サンプルの生成の条件ごとの敵対的サンプルのグループのそれぞれを用いて、部分ネットワークのパラメータ値と、その条件に紐付けられている正規化層のパラメータ値とを更新する。
【選択図】図1
特許請求の範囲【請求項１】
複数のデータを含むグループである基データグループを取得するデータ取得手段と、
敵対的サンプルの生成の条件ごとに、前記基データグループに含まれるデータを用いて、その条件で生成された敵対的サンプルを２つ以上含むグループである敵対的データグループを取得する敵対的サンプル取得手段と、
部分ネットワークと、前記基データグループの全体に紐付けられている正規化層と、前記敵対的サンプルの生成の条件ごとに、その条件に紐付けられている正規化層とを含み、これら正規化層のそれぞれは、正規化層自らに入力されるデータに対して、正規化層ごとに設定される平均値と分散値とを用いた正規化を行うニューラルネットワークに対し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記基データグループの全体に紐付けられている正規化層のパラメータ値とを更新し、前記敵対的データグループのそれぞれを用いて、前記部分ネットワークのパラメータ値と、その敵対的データグループに含まれる敵対的サンプルが生成された条件に紐付けられている正規化層のパラメータ値とを更新するパラメータ更新手段と、
を備える学習装置。
続きを表示（約 2,200 文字）【請求項２】
前記敵対的サンプルの生成の条件には、敵対的サンプルのターゲットクラスの個数が含まれる、
請求項１に記載の学習装置。
【請求項３】
前記ニューラルネットワークにデータが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定する誤り誘発判定手段をさらに備え、
前記パラメータ更新手段は、前記敵対的データグループごとに、その敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、その敵対的データグループに含まれる敵対的サンプルが生成された条件に紐付けられている正規化層のパラメータ値とを更新する、
請求項１または請求項２に記載の学習装置。
【請求項４】
前記ニューラルネットワークは、データの入力を受けて、そのデータのクラス分類を行い、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルを、その敵対的サンプルの正解クラスとされているクラスと異なるクラスに分類した場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項３に記載の学習装置。
【請求項５】
前記ニューラルネットワークは、データの入力を受けて、そのデータのクラス分類を行い、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルを、その敵対的サンプルのターゲットクラスとされているクラスに分類した場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項３に記載の学習装置。
【請求項６】
前記ニューラルネットワークは、データの入力を受けて、そのデータの特徴量を抽出し、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルについて抽出した特徴量と、その敵対的サンプルのターゲットクラスに紐付けられている特徴量との類似度を算出し、算出した類似度が、所定の閾値以上に類似していることを示す場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項３に記載の学習装置。
【請求項７】
前記敵対的サンプル取得手段は、前記基データグループに含まれるデータである基データの特徴量と、その基データの正解クラス以外のクラスに紐付けられる特徴量との類似度に基づいて、その基データの正解クラス以外のクラスの何れかをターゲットクラスとする敵対的サンプルを生成する、
請求項１に記載の学習装置。
【請求項８】
コンピュータが、
複数のデータを含むグループである基データグループを取得し、
敵対的サンプルの生成の条件ごとに、前記基データグループに含まれるデータを用いて、その条件で生成された敵対的サンプルを２つ以上含むグループである敵対的データグループを取得し、
部分ネットワークと、前記基データグループの全体に紐付けられている正規化層と、前記敵対的サンプルの生成の条件ごとに、その条件に紐付けられている正規化層とを含み、これら正規化層のそれぞれは、正規化層自らに入力されるデータに対して、正規化層ごとに設定される平均値と分散値とを用いた正規化を行うニューラルネットワークに対し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記基データグループの全体に紐付けられている正規化層のパラメータ値とを更新し、前記敵対的データグループのそれぞれを用いて、前記部分ネットワークのパラメータ値と、その敵対的データグループに含まれる敵対的サンプルが生成された条件に紐付けられている正規化層のパラメータ値とを更新する、
ことを含む学習方法。
【請求項９】
コンピュータに、
複数のデータを含むグループである基データグループを取得することと、
敵対的サンプルの生成の条件ごとに、前記基データグループに含まれるデータを用いて、その条件で生成された敵対的サンプルを２つ以上含むグループである敵対的データグループを取得することと、
部分ネットワークと、前記基データグループの全体に紐付けられている正規化層と、前記敵対的サンプルの生成の条件ごとに、その条件に紐付けられている正規化層とを含み、これら正規化層のそれぞれは、正規化層自らに入力されるデータに対して、正規化層ごとに設定される平均値と分散値とを用いた正規化を行うニューラルネットワークに対し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記基データグループの全体に紐付けられている正規化層のパラメータ値とを更新し、前記敵対的データグループのそれぞれを用いて、前記部分ネットワークのパラメータ値と、その敵対的データグループに含まれる敵対的サンプルが生成された条件に紐付けられている正規化層のパラメータ値とを更新することと、
を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、学習装置、学習方法およびプログラムに関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
ニューラルネットワークの学習に敵対的サンプル（Adversarial Example；ＡＸ）が用いられる場合がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－００５１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ニューラルネットワークの学習に敵対的サンプルが用いられる場合、敵対的サンプルの多様性を学習に反映させられることが好ましい。
【０００５】
本発明の目的の一例は、上述の課題を解決することのできる学習装置、学習方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、学習装置は、複数のデータを含むグループである基データグループを取得するデータ取得手段と、敵対的サンプルの生成の条件ごとに、前記基データグループに含まれるデータを用いて、その条件で生成された敵対的サンプルを２つ以上含むグループである敵対的データグループを取得する敵対的サンプル取得手段と、部分ネットワークと、前記基データグループの全体に紐付けられている正規化層と、前記敵対的サンプルの生成の条件ごとに、その条件に紐付けられている正規化層とを含み、これら正規化層のそれぞれは、正規化層自らに入力されるデータに対して、正規化層ごとに設定される平均値と分散値とを用いた正規化を行うニューラルネットワークに対し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記基データグループの全体に紐付けられている正規化層のパラメータ値とを更新し、前記敵対的データグループのそれぞれを用いて、前記部分ネットワークのパラメータ値と、その敵対的データグループに含まれる敵対的サンプルが生成された条件に紐付けられている正規化層のパラメータ値とを更新するパラメータ更新手段と、を備える。
【０００７】
本発明の第２の態様によれば、学習方法は、コンピュータが、複数のデータを含むグループである基データグループを取得し、敵対的サンプルの生成の条件ごとに、前記基データグループに含まれるデータを用いて、その条件で生成された敵対的サンプルを２つ以上含むグループである敵対的データグループを取得し、部分ネットワークと、前記基データグループの全体に紐付けられている正規化層と、前記敵対的サンプルの生成の条件ごとに、その条件に紐付けられている正規化層とを含み、これら正規化層のそれぞれは、正規化層自らに入力されるデータに対して、正規化層ごとに設定される平均値と分散値とを用いた正規化を行うニューラルネットワークに対し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記基データグループの全体に紐付けられている正規化層のパラメータ値とを更新し、前記敵対的データグループのそれぞれを用いて、前記部分ネットワークのパラメータ値と、その敵対的データグループに含まれる敵対的サンプルが生成された条件に紐付けられている正規化層のパラメータ値とを更新する、ことを含む。
【０００８】
本発明の第３の態様によれば、プログラムは、コンピュータに、複数のデータを含むグループである基データグループを取得することと、敵対的サンプルの生成の条件ごとに、前記基データグループに含まれるデータを用いて、その条件で生成された敵対的サンプルを２つ以上含むグループである敵対的データグループを取得することと、部分ネットワークと、前記基データグループの全体に紐付けられている正規化層と、前記敵対的サンプルの生成の条件ごとに、その条件に紐付けられている正規化層とを含み、これら正規化層のそれぞれは、正規化層自らに入力されるデータに対して、正規化層ごとに設定される平均値と分散値とを用いた正規化を行うニューラルネットワークに対し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記基データグループの全体に紐付けられている正規化層のパラメータ値とを更新し、前記敵対的データグループのそれぞれを用いて、前記部分ネットワークのパラメータ値と、その敵対的データグループに含まれる敵対的サンプルが生成された条件に紐付けられている正規化層のパラメータ値とを更新することと、を実行させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、ニューラルネットワークの学習に敵対的サンプルが用いられる場合に、敵対的サンプルの多様性を学習に反映させることができる。
【図面の簡単な説明】
【００１０】
第１実施形態に係る学習装置の構成の例を示す図である。
第１実施形態に係るモデル記憶部が記憶するニューラルネットワークの例を示す図である。
第１実施形態に係る処理部がニューラルネットワークの学習を行う処理の手順の例を示す図である。
第１実施形態に係る処理部が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第２実施形態に係る学習装置の構成の例を示す図である。
第３実施形態に係る学習装置の構成の例を示す図である。
第３実施形態に係る処理部が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第３実施形態に係るニューラルネットワークが分類型ＡＩとして構成されている場合に、学習装置が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第３実施形態に係るニューラルネットワークが特徴量抽出型ＡＩとして構成されている場合に、学習装置が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第４実施形態に係る学習装置の構成の例を示す図である。
第４実施形態に係る処理部がニューラルネットワークの学習を行う処理の手順の例を示す図である。
第４実施形態に係る処理部が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第５実施形態に係る推定装置の構成の例を示す図である。
第５実施形態に係るモデル記憶部が記憶するニューラルネットワークの例を示す図である。
第６実施形態に係る学習装置の構成の例を示す図である。
第７実施形態に係る学習方法における処理の手順の例を示す図である。
少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許