特許ウォッチ

公開番号2024070157
公報種別公開特許公報(A)
公開日2024-05-22
出願番号2022180596
出願日2022-11-10
発明の名称学習装置、学習方法およびプログラム
出願人日本電気株式会社
代理人個人,個人
主分類G06N 3/08 20230101AFI20240515BHJP(計算;計数)
要約【課題】ニューラルネットワークの学習に敵対的サンプルが用いられる場合に、敵対的サンプルの精度を考慮できるようにする。
【解決手段】ニューラルネットワークは、部分ネットワークと、第1正規化層と、第2正規化層とを含み、第1正規化層は、第1正規化層自らに入力されるデータに対して正規化を行い、第2正規化層は、第2正規化層自らに入力されるデータに対して正規化を行う。学習装置は、複数のデータを含むグループである基データグループを用いて、部分ネットワークのパラメータ値と、第2正規化層のパラメータ値とを更新し、基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループに含まれる敵対的サンプルのうち、ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、部分ネットワークのパラメータ値と、第1正規化層のパラメータ値とを更新する。
【選択図】図1
特許請求の範囲【請求項１】
複数のデータを含むグループである基データグループを取得するデータ取得手段と、
前記データ取得手段が取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得する敵対的サンプル取得手段と、
部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定する誤り誘発判定手段と、
前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新するパラメータ更新手段と、
を備える学習装置。
続きを表示（約 1,800 文字）【請求項２】
前記ニューラルネットワークは、データの入力を受けて、そのデータのクラス分類を行い、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルを、その敵対的サンプルの正解クラスとされているクラスと異なるクラスに分類した場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項１に記載の学習装置。
【請求項３】
前記ニューラルネットワークは、データの入力を受けて、そのデータのクラス分類を行い、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルを、その敵対的サンプルのターゲットクラスとされているクラスに分類した場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項１に記載の学習装置。
【請求項４】
前記ニューラルネットワークは、データの入力を受けて、そのデータの特徴量を抽出し、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルについて抽出した特徴量と、その敵対的サンプルのターゲットクラスに紐付けられている特徴量との類似度を算出し、算出した類似度が、所定の閾値以上に類似していることを示す場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項１に記載の学習装置。
【請求項５】
前記敵対的サンプル取得手段は、前記基データグループに含まれるデータである基データの特徴量と、その基データの正解クラス以外のクラスに紐付けられる特徴量との類似度に基づいて、その基データの正解クラス以外のクラスの何れかをターゲットクラスとする敵対的サンプルを生成する、
請求項１から４の何れか一項に記載の学習装置。
【請求項６】
コンピュータが、
複数のデータを含むグループである基データグループを取得し、
取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得し、
部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定し、
前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新する、
ことを含む学習方法。
【請求項７】
コンピュータに、
複数のデータを含むグループである基データグループを取得することと、
取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得することと、
部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定することと、
前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新することと、
を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、学習装置、学習方法およびプログラムに関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
ニューラルネットワークの学習に敵対的サンプル（Adversarial Example；ＡＸ）が用いられる場合がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－００５１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ニューラルネットワークの学習に敵対的サンプルが用いられる場合、敵対的サンプルの精度が考慮されることが好ましい。
【０００５】
本発明の目的の一例は、上述の課題を解決することのできる学習装置、学習方法、およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、学習装置は、複数のデータを含むグループである基データグループを取得するデータ取得手段と、前記データ取得手段が取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得する敵対的サンプル取得手段と、部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定する誤り誘発判定手段と、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新するパラメータ更新手段と、を備える。
【０００７】
本発明の第２の態様によれば、学習方法は、コンピュータが、複数のデータを含むグループである基データグループを取得し、取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得し、部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新する、ことを含む。
【０００８】
本発明の第３の態様によれば、プログラムは、コンピュータに、複数のデータを含むグループである基データグループを取得することと、取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得することと、部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定することと、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新することと、を実行させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、ニューラルネットワークの学習に敵対的サンプルが用いられる場合に、敵対的サンプルの精度を考慮することができる。
【図面の簡単な説明】
【００１０】
第１実施形態に係る学習装置の構成の例を示す図である。
第１実施形態に係るモデル記憶部が記憶するニューラルネットワークの例を示す図である。
第１実施形態に係る処理部がニューラルネットワークの学習を行う処理の手順の例を示す図である。
第１実施形態に係る処理部が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第１実施形態に係るニューラルネットワークが分類型ＡＩとして構成されている場合に、学習装置が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第１実施形態に係るニューラルネットワークが特徴量抽出型ＡＩとして構成されている場合に、学習装置が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第２実施形態に係る学習装置の構成の例を示す図である。
第２実施形態に係る処理部がニューラルネットワークの学習を行う処理の手順の例を示す図である。
第２実施形態に係る処理部が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第３実施形態に係る推定装置の構成の例を示す図である。
第３実施形態に係るモデル記憶部が記憶するニューラルネットワークの例を示す図である。
第４実施形態に係る学習装置の構成の例を示す図である。
第５実施形態に係る学習方法における処理の手順の例を示す図である。
少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許