TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024070157
公報種別公開特許公報(A)
公開日2024-05-22
出願番号2022180596
出願日2022-11-10
発明の名称学習装置、学習方法およびプログラム
出願人日本電気株式会社
代理人個人,個人
主分類G06N 3/08 20230101AFI20240515BHJP(計算;計数)
要約【課題】ニューラルネットワークの学習に敵対的サンプルが用いられる場合に、敵対的サンプルの精度を考慮できるようにする。
【解決手段】ニューラルネットワークは、部分ネットワークと、第1正規化層と、第2正規化層とを含み、第1正規化層は、第1正規化層自らに入力されるデータに対して正規化を行い、第2正規化層は、第2正規化層自らに入力されるデータに対して正規化を行う。学習装置は、複数のデータを含むグループである基データグループを用いて、部分ネットワークのパラメータ値と、第2正規化層のパラメータ値とを更新し、基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループに含まれる敵対的サンプルのうち、ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、部分ネットワークのパラメータ値と、第1正規化層のパラメータ値とを更新する。
【選択図】図1
特許請求の範囲【請求項1】
複数のデータを含むグループである基データグループを取得するデータ取得手段と、
前記データ取得手段が取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得する敵対的サンプル取得手段と、
部分ネットワークと、第1正規化層と、第2正規化層とを含み、前記第1正規化層は、第1正規化層自らに入力されるデータに対して、第1平均値と第1分散値とを用いた正規化を行い、前記第2正規化層は、第2正規化層自らに入力されるデータに対して、第2平均値と第2分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定する誤り誘発判定手段と、
前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第2正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第1正規化層のパラメータ値とを更新するパラメータ更新手段と、
を備える学習装置。
続きを表示(約 1,800 文字)【請求項2】
前記ニューラルネットワークは、データの入力を受けて、そのデータのクラス分類を行い、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルを、その敵対的サンプルの正解クラスとされているクラスと異なるクラスに分類した場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項1に記載の学習装置。
【請求項3】
前記ニューラルネットワークは、データの入力を受けて、そのデータのクラス分類を行い、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルを、その敵対的サンプルのターゲットクラスとされているクラスに分類した場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項1に記載の学習装置。
【請求項4】
前記ニューラルネットワークは、データの入力を受けて、そのデータの特徴量を抽出し、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルについて抽出した特徴量と、その敵対的サンプルのターゲットクラスに紐付けられている特徴量との類似度を算出し、算出した類似度が、所定の閾値以上に類似していることを示す場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項1に記載の学習装置。
【請求項5】
前記敵対的サンプル取得手段は、前記基データグループに含まれるデータである基データの特徴量と、その基データの正解クラス以外のクラスに紐付けられる特徴量との類似度に基づいて、その基データの正解クラス以外のクラスの何れかをターゲットクラスとする敵対的サンプルを生成する、
請求項1から4の何れか一項に記載の学習装置。
【請求項6】
コンピュータが、
複数のデータを含むグループである基データグループを取得し、
取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得し、
部分ネットワークと、第1正規化層と、第2正規化層とを含み、前記第1正規化層は、第1正規化層自らに入力されるデータに対して、第1平均値と第1分散値とを用いた正規化を行い、前記第2正規化層は、第2正規化層自らに入力されるデータに対して、第2平均値と第2分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定し、
前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第2正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第1正規化層のパラメータ値とを更新する、
ことを含む学習方法。
【請求項7】
コンピュータに、
複数のデータを含むグループである基データグループを取得することと、
取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得することと、
部分ネットワークと、第1正規化層と、第2正規化層とを含み、前記第1正規化層は、第1正規化層自らに入力されるデータに対して、第1平均値と第1分散値とを用いた正規化を行い、前記第2正規化層は、第2正規化層自らに入力されるデータに対して、第2平均値と第2分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定することと、
前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第2正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第1正規化層のパラメータ値とを更新することと、
を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【0001】
本発明は、学習装置、学習方法およびプログラムに関する。
続きを表示(約 2,800 文字)【背景技術】
【0002】
ニューラルネットワークの学習に敵対的サンプル(Adversarial Example;AX)が用いられる場合がある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
特開2021-005138号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ニューラルネットワークの学習に敵対的サンプルが用いられる場合、敵対的サンプルの精度が考慮されることが好ましい。
【0005】
本発明の目的の一例は、上述の課題を解決することのできる学習装置、学習方法、およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の第1の態様によれば、学習装置は、複数のデータを含むグループである基データグループを取得するデータ取得手段と、前記データ取得手段が取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得する敵対的サンプル取得手段と、部分ネットワークと、第1正規化層と、第2正規化層とを含み、前記第1正規化層は、第1正規化層自らに入力されるデータに対して、第1平均値と第1分散値とを用いた正規化を行い、前記第2正規化層は、第2正規化層自らに入力されるデータに対して、第2平均値と第2分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定する誤り誘発判定手段と、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第2正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第1正規化層のパラメータ値とを更新するパラメータ更新手段と、を備える。
【0007】
本発明の第2の態様によれば、学習方法は、コンピュータが、複数のデータを含むグループである基データグループを取得し、取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得し、部分ネットワークと、第1正規化層と、第2正規化層とを含み、前記第1正規化層は、第1正規化層自らに入力されるデータに対して、第1平均値と第1分散値とを用いた正規化を行い、前記第2正規化層は、第2正規化層自らに入力されるデータに対して、第2平均値と第2分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第2正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第1正規化層のパラメータ値とを更新する、ことを含む。
【0008】
本発明の第3の態様によれば、プログラムは、コンピュータに、複数のデータを含むグループである基データグループを取得することと、取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得することと、部分ネットワークと、第1正規化層と、第2正規化層とを含み、前記第1正規化層は、第1正規化層自らに入力されるデータに対して、第1平均値と第1分散値とを用いた正規化を行い、前記第2正規化層は、第2正規化層自らに入力されるデータに対して、第2平均値と第2分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定することと、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第2正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第1正規化層のパラメータ値とを更新することと、を実行させるためのプログラムである。
【発明の効果】
【0009】
本発明によれば、ニューラルネットワークの学習に敵対的サンプルが用いられる場合に、敵対的サンプルの精度を考慮することができる。
【図面の簡単な説明】
【0010】
第1実施形態に係る学習装置の構成の例を示す図である。
第1実施形態に係るモデル記憶部が記憶するニューラルネットワークの例を示す図である。
第1実施形態に係る処理部がニューラルネットワークの学習を行う処理の手順の例を示す図である。
第1実施形態に係る処理部が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第1実施形態に係るニューラルネットワークが分類型AIとして構成されている場合に、学習装置が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第1実施形態に係るニューラルネットワークが特徴量抽出型AIとして構成されている場合に、学習装置が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第2実施形態に係る学習装置の構成の例を示す図である。
第2実施形態に係る処理部がニューラルネットワークの学習を行う処理の手順の例を示す図である。
第2実施形態に係る処理部が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第3実施形態に係る推定装置の構成の例を示す図である。
第3実施形態に係るモデル記憶部が記憶するニューラルネットワークの例を示す図である。
第4実施形態に係る学習装置の構成の例を示す図である。
第5実施形態に係る学習方法における処理の手順の例を示す図である。
少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

日本電気株式会社
ディスプレイアンテナ
2日前
日本電気株式会社
アンテナ装置及びレドーム
6日前
日本電気株式会社
処理装置、処理方法、及びプログラム
6日前
日本電気株式会社
アンテナ装置およびディスプレイアンテナ
2日前
日本電気株式会社
無線通信装置、方法、及び無線通信システム
3日前
日本電気株式会社
画像処理装置、画像処理方法、及び、記録媒体
2日前
日本電気株式会社
需要予測装置、需要予測方法、及びプログラム
6日前
日本電気株式会社
需要予測装置、需要予測方法、及びプログラム
6日前
日本電気株式会社
情報処理装置、情報処理方法、およびプログラム
3日前
日本電気株式会社
情報処理装置、情報処理方法、およびプログラム
8日前
日本電気株式会社
顔認証支援装置、システム、方法及びプログラム
2日前
日本電気株式会社
情報処理装置、情報処理方法、およびプログラム
今日
日本電気株式会社
情報処理装置、情報処理方法、およびプログラム
今日
日本電気株式会社
質問生成装置、質問生成方法、およびプログラム
今日
日本電気株式会社
質問生成装置、質問生成方法、およびプログラム
今日
日本電気株式会社
漏油検知装置、漏油検知システム及び漏油検知方法
2日前
日本電気株式会社
広告枠管理装置、広告枠管理方法、及び、記録媒体
3日前
日本電気株式会社
データ収集装置、データ収集方法、及びプログラム
7日前
日本電気株式会社
取引支援システム、取引支援方法、及びプログラム
今日
日本電気株式会社
処理装置、処理システム、処理方法、及びプログラム
今日
日本電気株式会社
捕集装置、制御装置、捕集方法、制御方法及びプログラム
2日前
日本電気株式会社
情報処理装置、予測モデル、情報処理方法、及びプログラム
2日前
日本電気株式会社
配車システム、情報処理装置、情報処理方法、およびプログラム
2日前
日本電気株式会社
光空間通信装置、光空間通信システム、光空間通信方法及びプログラム
7日前
日本電気株式会社
プログラム制御装置、プログラム制御方法およびプログラム制御プログラム
今日
日本電気株式会社
光空間通信装置、光空間通信装置の制御方法および光空間通信装置の制御装置
今日
日本電気株式会社
液浸密閉環境における振動試験装置ならびに機械環境計測センサの校正方法および装置
6日前
日本電気株式会社
衛星コンステレーション装置、衛星コンステレーションシステム、方法、及びプログラム
3日前
日本電気株式会社
配車情報出力装置、配車情報出力システム、配車情報出力方法および配車情報出力プログラム
7日前
日本電気株式会社
フライトストリップ処理システム、フライトストリップ処理方法、処理装置、電子ストリップ端末、プログラム
7日前
個人
乗降調査装置
1か月前
個人
管理装置
1か月前
個人
プロジェクター
1か月前
個人
暗号化記憶媒体
21日前
日本精機株式会社
投影装置
1か月前
個人
求人支援システム
10日前
続きを見る