TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024070156
公報種別公開特許公報(A)
公開日2024-05-22
出願番号2022180595
出願日2022-11-10
発明の名称学習装置、学習方法およびプログラム
出願人日本電気株式会社
代理人個人,個人
主分類G06N 3/08 20230101AFI20240515BHJP(計算;計数)
要約【課題】ニューラルネットワークの学習に敵対的サンプルが用いられる場合に、敵対的サンプルの多様性を学習に反映させられるようにする。
【解決手段】ニューラルネットワークは、部分ネットワークと、複数のデータを含む基データグループの全体に紐付けられている正規化層と、敵対的サンプルの生成の条件ごとに、その条件に紐付けられている正規化層とを含み、各正規化層は、正規化層自らに入力されるデータを正規化する。学習装置は、基データグループを用いて、部分ネットワークのパラメータ値と、基データグループの全体に紐付けられている正規化層のパラメータ値とを更新し、敵対的サンプルの生成の条件ごとの敵対的サンプルのグループのそれぞれを用いて、部分ネットワークのパラメータ値と、その条件に紐付けられている正規化層のパラメータ値とを更新する。
【選択図】図1
特許請求の範囲【請求項1】
複数のデータを含むグループである基データグループを取得するデータ取得手段と、
敵対的サンプルの生成の条件ごとに、前記基データグループに含まれるデータを用いて、その条件で生成された敵対的サンプルを2つ以上含むグループである敵対的データグループを取得する敵対的サンプル取得手段と、
部分ネットワークと、前記基データグループの全体に紐付けられている正規化層と、前記敵対的サンプルの生成の条件ごとに、その条件に紐付けられている正規化層とを含み、これら正規化層のそれぞれは、正規化層自らに入力されるデータに対して、正規化層ごとに設定される平均値と分散値とを用いた正規化を行うニューラルネットワークに対し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記基データグループの全体に紐付けられている正規化層のパラメータ値とを更新し、前記敵対的データグループのそれぞれを用いて、前記部分ネットワークのパラメータ値と、その敵対的データグループに含まれる敵対的サンプルが生成された条件に紐付けられている正規化層のパラメータ値とを更新するパラメータ更新手段と、
を備える学習装置。
続きを表示(約 2,200 文字)【請求項2】
前記敵対的サンプルの生成の条件には、敵対的サンプルのターゲットクラスの個数が含まれる、
請求項1に記載の学習装置。
【請求項3】
前記ニューラルネットワークにデータが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定する誤り誘発判定手段をさらに備え、
前記パラメータ更新手段は、前記敵対的データグループごとに、その敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、その敵対的データグループに含まれる敵対的サンプルが生成された条件に紐付けられている正規化層のパラメータ値とを更新する、
請求項1または請求項2に記載の学習装置。
【請求項4】
前記ニューラルネットワークは、データの入力を受けて、そのデータのクラス分類を行い、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルを、その敵対的サンプルの正解クラスとされているクラスと異なるクラスに分類した場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項3に記載の学習装置。
【請求項5】
前記ニューラルネットワークは、データの入力を受けて、そのデータのクラス分類を行い、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルを、その敵対的サンプルのターゲットクラスとされているクラスに分類した場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項3に記載の学習装置。
【請求項6】
前記ニューラルネットワークは、データの入力を受けて、そのデータの特徴量を抽出し、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルについて抽出した特徴量と、その敵対的サンプルのターゲットクラスに紐付けられている特徴量との類似度を算出し、算出した類似度が、所定の閾値以上に類似していることを示す場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項3に記載の学習装置。
【請求項7】
前記敵対的サンプル取得手段は、前記基データグループに含まれるデータである基データの特徴量と、その基データの正解クラス以外のクラスに紐付けられる特徴量との類似度に基づいて、その基データの正解クラス以外のクラスの何れかをターゲットクラスとする敵対的サンプルを生成する、
請求項1に記載の学習装置。
【請求項8】
コンピュータが、
複数のデータを含むグループである基データグループを取得し、
敵対的サンプルの生成の条件ごとに、前記基データグループに含まれるデータを用いて、その条件で生成された敵対的サンプルを2つ以上含むグループである敵対的データグループを取得し、
部分ネットワークと、前記基データグループの全体に紐付けられている正規化層と、前記敵対的サンプルの生成の条件ごとに、その条件に紐付けられている正規化層とを含み、これら正規化層のそれぞれは、正規化層自らに入力されるデータに対して、正規化層ごとに設定される平均値と分散値とを用いた正規化を行うニューラルネットワークに対し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記基データグループの全体に紐付けられている正規化層のパラメータ値とを更新し、前記敵対的データグループのそれぞれを用いて、前記部分ネットワークのパラメータ値と、その敵対的データグループに含まれる敵対的サンプルが生成された条件に紐付けられている正規化層のパラメータ値とを更新する、
ことを含む学習方法。
【請求項9】
コンピュータに、
複数のデータを含むグループである基データグループを取得することと、
敵対的サンプルの生成の条件ごとに、前記基データグループに含まれるデータを用いて、その条件で生成された敵対的サンプルを2つ以上含むグループである敵対的データグループを取得することと、
部分ネットワークと、前記基データグループの全体に紐付けられている正規化層と、前記敵対的サンプルの生成の条件ごとに、その条件に紐付けられている正規化層とを含み、これら正規化層のそれぞれは、正規化層自らに入力されるデータに対して、正規化層ごとに設定される平均値と分散値とを用いた正規化を行うニューラルネットワークに対し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記基データグループの全体に紐付けられている正規化層のパラメータ値とを更新し、前記敵対的データグループのそれぞれを用いて、前記部分ネットワークのパラメータ値と、その敵対的データグループに含まれる敵対的サンプルが生成された条件に紐付けられている正規化層のパラメータ値とを更新することと、
を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【0001】
本発明は、学習装置、学習方法およびプログラムに関する。
続きを表示(約 2,800 文字)【背景技術】
【0002】
ニューラルネットワークの学習に敵対的サンプル(Adversarial Example;AX)が用いられる場合がある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
特開2021-005138号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ニューラルネットワークの学習に敵対的サンプルが用いられる場合、敵対的サンプルの多様性を学習に反映させられることが好ましい。
【0005】
本発明の目的の一例は、上述の課題を解決することのできる学習装置、学習方法およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の第1の態様によれば、学習装置は、複数のデータを含むグループである基データグループを取得するデータ取得手段と、敵対的サンプルの生成の条件ごとに、前記基データグループに含まれるデータを用いて、その条件で生成された敵対的サンプルを2つ以上含むグループである敵対的データグループを取得する敵対的サンプル取得手段と、部分ネットワークと、前記基データグループの全体に紐付けられている正規化層と、前記敵対的サンプルの生成の条件ごとに、その条件に紐付けられている正規化層とを含み、これら正規化層のそれぞれは、正規化層自らに入力されるデータに対して、正規化層ごとに設定される平均値と分散値とを用いた正規化を行うニューラルネットワークに対し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記基データグループの全体に紐付けられている正規化層のパラメータ値とを更新し、前記敵対的データグループのそれぞれを用いて、前記部分ネットワークのパラメータ値と、その敵対的データグループに含まれる敵対的サンプルが生成された条件に紐付けられている正規化層のパラメータ値とを更新するパラメータ更新手段と、を備える。
【0007】
本発明の第2の態様によれば、学習方法は、コンピュータが、複数のデータを含むグループである基データグループを取得し、敵対的サンプルの生成の条件ごとに、前記基データグループに含まれるデータを用いて、その条件で生成された敵対的サンプルを2つ以上含むグループである敵対的データグループを取得し、部分ネットワークと、前記基データグループの全体に紐付けられている正規化層と、前記敵対的サンプルの生成の条件ごとに、その条件に紐付けられている正規化層とを含み、これら正規化層のそれぞれは、正規化層自らに入力されるデータに対して、正規化層ごとに設定される平均値と分散値とを用いた正規化を行うニューラルネットワークに対し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記基データグループの全体に紐付けられている正規化層のパラメータ値とを更新し、前記敵対的データグループのそれぞれを用いて、前記部分ネットワークのパラメータ値と、その敵対的データグループに含まれる敵対的サンプルが生成された条件に紐付けられている正規化層のパラメータ値とを更新する、ことを含む。
【0008】
本発明の第3の態様によれば、プログラムは、コンピュータに、複数のデータを含むグループである基データグループを取得することと、敵対的サンプルの生成の条件ごとに、前記基データグループに含まれるデータを用いて、その条件で生成された敵対的サンプルを2つ以上含むグループである敵対的データグループを取得することと、部分ネットワークと、前記基データグループの全体に紐付けられている正規化層と、前記敵対的サンプルの生成の条件ごとに、その条件に紐付けられている正規化層とを含み、これら正規化層のそれぞれは、正規化層自らに入力されるデータに対して、正規化層ごとに設定される平均値と分散値とを用いた正規化を行うニューラルネットワークに対し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記基データグループの全体に紐付けられている正規化層のパラメータ値とを更新し、前記敵対的データグループのそれぞれを用いて、前記部分ネットワークのパラメータ値と、その敵対的データグループに含まれる敵対的サンプルが生成された条件に紐付けられている正規化層のパラメータ値とを更新することと、を実行させるためのプログラムである。
【発明の効果】
【0009】
本発明によれば、ニューラルネットワークの学習に敵対的サンプルが用いられる場合に、敵対的サンプルの多様性を学習に反映させることができる。
【図面の簡単な説明】
【0010】
第1実施形態に係る学習装置の構成の例を示す図である。
第1実施形態に係るモデル記憶部が記憶するニューラルネットワークの例を示す図である。
第1実施形態に係る処理部がニューラルネットワークの学習を行う処理の手順の例を示す図である。
第1実施形態に係る処理部が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第2実施形態に係る学習装置の構成の例を示す図である。
第3実施形態に係る学習装置の構成の例を示す図である。
第3実施形態に係る処理部が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第3実施形態に係るニューラルネットワークが分類型AIとして構成されている場合に、学習装置が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第3実施形態に係るニューラルネットワークが特徴量抽出型AIとして構成されている場合に、学習装置が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第4実施形態に係る学習装置の構成の例を示す図である。
第4実施形態に係る処理部がニューラルネットワークの学習を行う処理の手順の例を示す図である。
第4実施形態に係る処理部が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
第5実施形態に係る推定装置の構成の例を示す図である。
第5実施形態に係るモデル記憶部が記憶するニューラルネットワークの例を示す図である。
第6実施形態に係る学習装置の構成の例を示す図である。
第7実施形態に係る学習方法における処理の手順の例を示す図である。
少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

日本電気株式会社
量子デバイス
16日前
日本電気株式会社
液浸冷却装置
14日前
日本電気株式会社
情報処理装置
20日前
日本電気株式会社
ディスプレイアンテナ
2日前
日本電気株式会社
電子装置及び光出力方法
14日前
日本電気株式会社
媒体搬送機構及びプリンタ
20日前
日本電気株式会社
アンテナ装置及びレドーム
6日前
日本電気株式会社
送受波装置および送受波方法
21日前
日本電気株式会社
無線通信装置及び無線通信方法
15日前
日本電気株式会社
学習装置、学習方法及び記憶媒体
16日前
日本電気株式会社
計測装置、計測システム及び計測方法
29日前
日本電気株式会社
処理装置、処理方法、及びプログラム
14日前
日本電気株式会社
処理装置、処理方法、及びプログラム
14日前
日本電気株式会社
処理装置、処理方法、及びプログラム
6日前
日本電気株式会社
学習装置、学習方法およびプログラム
22日前
日本電気株式会社
学習装置、学習方法およびプログラム
22日前
日本電気株式会社
学習装置、学習方法、及び、記録媒体
22日前
日本電気株式会社
学習装置、学習方法、及び、プログラム
14日前
日本電気株式会社
電子処方箋システム、電子処方箋管理方法
23日前
日本電気株式会社
情報処理装置、情報処理方法、プログラム
27日前
日本電気株式会社
アンテナ装置およびディスプレイアンテナ
2日前
日本電気株式会社
無線通信装置、方法、及び無線通信システム
3日前
日本電気株式会社
光通信装置、光通信システム及び光通信方法
24日前
日本電気株式会社
需要予測装置、需要予測方法、及びプログラム
6日前
日本電気株式会社
需要予測装置、需要予測方法、及びプログラム
6日前
日本電気株式会社
画像処理装置、画像処理方法、及び、記録媒体
2日前
日本電気株式会社
情報処理装置、情報処理方法、及びプログラム
22日前
日本電気株式会社
情報処理装置、情報処理方法、及びプログラム
14日前
日本電気株式会社
情報処理システム、情報処理方法、プログラム
27日前
日本電気株式会社
質問生成装置、質問生成方法、およびプログラム
今日
日本電気株式会社
質問生成装置、質問生成方法、およびプログラム
今日
日本電気株式会社
情報処理装置、情報処理方法、およびプログラム
今日
日本電気株式会社
情報処理装置、情報処理方法、およびプログラム
今日
日本電気株式会社
情報処理装置、情報処理方法、およびプログラム
3日前
日本電気株式会社
特徴量算出装置、特徴量算出方法及びプログラム
17日前
日本電気株式会社
光空間通信装置および光空間通信装置の制御方法
14日前
続きを見る