特許ウォッチ

公開番号2025012784
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023115881
出願日2023-07-14
発明の名称学習装置、学習方法、およびプログラム
出願人日本電信電話株式会社,学校法人東京理科大学
代理人弁理士法人志賀国際特許事務所
主分類G06N 3/08 20230101AFI20250117BHJP(計算;計数)
要約【課題】より効果的に選択的忘却を実現することを可能にする。
【解決手段】学習対象となる第1データと、前記第1データを識別するための第2データと、前記第1データを識別するためのデータとして過去の学習時に利用した第2過去データであって、保存したい学習内容に関する前記第2過去データとを入力するデータ入力部と、前記第1データから特徴を抽出する特徴抽出部と、前記特徴と前記第2データとを合成することによって合成データを生成する合成データ生成部と、前記合成データと、前記第2過去データとを機械学習モデルに入力して得られる前記合成データと、前記第2過去データとの特徴に基づき、前記機械学習モデルのパラメータを更新するパラメータ更新部と、を備える学習装置。
【選択図】図3
特許請求の範囲【請求項１】
学習対象となる第１データと、前記第１データを識別するための第２データと、前記第１データを識別するためのデータとして過去の学習時に利用した第２過去データであって、保存したい学習内容に関する前記第２過去データとを入力するデータ入力部と、
前記第１データから特徴を抽出する特徴抽出部と、
前記特徴と前記第２データとを合成することによって合成データを生成する合成データ生成部と、
前記合成データと、前記第２過去データとを機械学習モデルに入力して得られる前記合成データと、前記第２過去データとの特徴に基づき、前記機械学習モデルのパラメータを更新するパラメータ更新部と、
を備える学習装置。
続きを表示（約 940 文字）【請求項２】
前記特徴抽出部は、前記第１データを畳み込み処理及び標準正規化処理により特徴を抽出し、
前記合成データ生成部は、前記特徴と前記第２データとを合成し、線形変換処理を行うことで前記合成データを生成する、
請求項１に記載の学習装置。
【請求項３】
前記特徴抽出部は、前記第１データを畳み込み処理、標準正規化処理及び線形変換処理により特徴を抽出し、
前記合成データ生成部は、前記特徴と線形変換処理された前記第２データとを合成することによって合成データを生成する、
請求項１に記載の学習装置。
【請求項４】
前記合成データと、前記第２過去データとの特徴を用いて、前記第１データを識別する識別部と、
前記第１データと、前記第２過去データと、前記識別部における識別結果とを用いて損失を取得する損失取得部と、
をさらに備える、
請求項１から３のいずれか一項に記載の学習装置。
【請求項５】
前記損失取得部は、前記パラメータ更新部が更新するパラメータの範囲を制約する正則化と、前記合成データにおける識別精度に基づく損失と、前記第１データにおける識別精度に基づく損失と、前記第２データにおける識別精度に基づく損失とに基づいて、前記損失を取得する、
請求項４に記載の学習装置。
【請求項６】
学習対象となる第１データと、前記第１データを識別するための第２データと、前記第１データを識別するためのデータとして過去の学習時に利用した第２過去データであって、保存したい学習内容に関する前記第２過去データとを入力し、
前記第１データから特徴を抽出し、
前記特徴と前記第２データとを合成することによって合成データを生成し、
前記合成データと、前記第２過去データとを機械学習モデルに入力して得られる前記合成データと、前記第２過去データとの特徴に基づき、前記機械学習モデルのパラメータを更新する、
学習方法。
【請求項７】
コンピュータを請求項１から４のいずれか一項に記載の学習装置として動作させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、学習装置、学習方法、およびプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
機械学習において、過去に学習したクラスに対する分類精度を低下させることなく新たなクラスを追加学習できる継続学習と呼ばれる手法が研究されている。新たなクラスの追加学習を行った場合、過去に学習したクラスに対する分類精度は劇的に悪化する。このことは、破滅的忘却と呼ばれている。
【０００３】
その一方、過去に学習したクラスをすべて記憶し続けることは、プライバシー保護やデータ漏洩防止などの観点から常に有益とは限らず，記憶するべきクラスと忘却するべきクラスを明示的に選別できる「選択的忘却」の実現が期待されている。選択的忘却を実現する手法として、例えば非特許文献１に開示されている方法がある。非特許文献１に開示されている手法においては、クラス固有のランダム信号を学習サンプルに重畳することで、記憶するべきクラスと忘却するべきクラスを制御する。
【先行技術文献】
【非特許文献】
【０００４】
Shibata, Irie, Ikami, Mitsuzumi, "Learning with selective forgetting," Proc. International Joint Conference on Artificial Intelligence (IJCAI), 2021.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、機械学習に基づく分類においては、データから分類に関連のない情報を落として有用な情報のみを残した特徴量を抽出することで、分類を容易にしている。そのため、非特許文献１に開示された手法においては、特徴量を抽出する過程でクラス固有の信号が失われてしまう可能性がある。
本発明が解決しようとする課題は、より効果的に選択的忘却を実現することを可能にすることである。
【課題を解決するための手段】
【０００６】
本発明の一態様は、学習対象となる第１データと、前記第１データを識別するための第２データと、前記第１データを識別するためのデータとして過去の学習時に利用した第２過去データであって、保存したい学習内容に関する前記第２過去データとを入力するデータ入力部と、前記第１データから特徴を抽出する特徴抽出部と、前記特徴と前記第２データとを合成することによって合成データを生成する合成データ生成部と、前記合成データと、前記第２過去データとを機械学習モデルに入力して得られる前記合成データと、前記第２過去データとの特徴に基づき、前記機械学習モデルのパラメータを更新するパラメータ更新部と、を備える学習装置である。
【発明の効果】
【０００７】
本発明によれば、より有効的に選択的忘却を実現することができる。
【図面の簡単な説明】
【０００８】
実施形態における学習装置１の機能構成を示すブロック図である。
本発明の目的を説明するための図である。
実施形態における制御部１２の機能を説明する図である。
標準正規化層と線形変換層とを示す図である。
標準正規化層と線形変換層とを示す図である。
実施形態における学習装置１の学習処理の流れを示すフローチャートである。
各々の手法におけるS
k
の値を示す図である。
実施形態における識別装置２のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、実施形態における学習装置１の機能構成を示すブロック図である。実施形態における学習装置１は、継続的な学習を可能とする、いわゆる継続学習を行う装置である。学習装置１は、所定の機械学習のモデルを所定の終了条件が満たされるまで機械学習によって更新する。
【００１０】
所定の終了条件が満たされた時点の所定の機械学習のモデルが、学習済みモデルである。そのため、学習装置１は、所定の終了条件が満たされるまで所定の機械学習のモデルを機械学習によって更新することで、学習済みモデルを取得する。
（【００１１】以降は省略されています）

関連特許