特許ウォッチ

公開番号2024080116
公報種別公開特許公報(A)
公開日2024-06-13
出願番号2022193028
出願日2022-12-01
発明の名称学習装置、方法、プログラム及び推論装置
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G06N 3/045 20230101AFI20240606BHJP(計算;計数)
要約【課題】不要な情報を含むデータを高精度に処理できる。
【解決手段】本実施形態に係る学習装置は、第1抽出部と、第2抽出部と、変換部と、計算部と、第1処理部と、更新部とを含む。第1抽出部は、パラメータに基づく処理により入力データから第1特徴量を抽出する。第2抽出部は、パラメータに基づく処理により入力データから第2特徴量を抽出する。変換部は、第1特徴量と第2特徴量との少なくとも一方を確率的に変換し、第1変換特徴量および第2変換特徴量を生成する。計算部は、第1変換特徴量および第2変換特徴量との類似度に関する第1ロスを計算する。第1処理部は、第1変換特徴量に対してパラメータに基づく処理を実行し、第1処理結果を得る。更新部は、第1ロスと、第1処理結果と正解データとから計算される第2ロスとに基づく値が最小となるように、第1抽出部および第1処理部の少なくとも一方のパラメータを更新する。
【選択図】図1
特許請求の範囲【請求項１】
１以上のパラメータに基づく処理により、入力データから第１特徴量を抽出する第１抽出部と、
前記第１抽出部とは異なる１以上のパラメータに基づく処理により、前記入力データから第２特徴量を抽出する第２抽出部と、
前記第１特徴量と前記第２特徴量との少なくとも一方を確率的に変換し、第１変換特徴量および第２変換特徴量を生成する変換部と、
前記第１変換特徴量および前記第２変換特徴量との類似度に関する第１ロスを計算する計算部と、
前記第１変換特徴量に対して、前記第１抽出部および前記第２抽出部とは異なる１以上のパラメータに基づく処理を実行し、第１処理結果を得る第１処理部と、
前記第１ロスと、前記第１処理結果と正解データとから計算される第２ロスとに基づく値が最小となるように、前記第１抽出部および前記第１処理部のうちの少なくとも一方のパラメータを更新する更新部と、
を具備する学習装置。
続きを表示（約 1,300 文字）【請求項２】
前記変換部は、乱数によって選択された前記第１特徴量および前記第２特徴量の少なくとも１つの要素を所定の値に置換することで、前記第１変換特徴量および前記第２変換特徴量を生成する、請求項１に記載の学習装置。
【請求項３】
前記変換部は、前記第１特徴量および前記第２特徴量の少なくとも一方に対して乱数に基づいて生成されたパターンを加算または乗算することで、前記第１変換特徴量および前記第２変換特徴量を生成する、請求項１に記載の学習装置。
【請求項４】
前記変換部は、前記第１特徴量と前記第２特徴量との重み付き平均により、前記第１変換特徴量または前記第２変換特徴量を生成する、請求項１に記載の学習装置。
【請求項５】
前記第１抽出部の処理後に前記変換部の処理を行う第１処理と、前記第２抽出部の処理後に前記変換部の処理を行う第２処理との少なくとも一方が複数回実行される、請求項１に記載の学習装置。
【請求項６】
前記第１抽出部および前記第２抽出部の少なくとも一方は、前記入力データに対して１以上の変換を含む前処理を実行する、請求項１に記載の学習装置。
【請求項７】
前記第２変換特徴量に対して、前記第１抽出部、前記第２抽出部および前記第１処理部とは異なる１以上のパラメータに基づく処理を実行し、第２処理結果を得る第２処理部をさらに具備し、
前記更新部は、前記第２処理結果と正解データとから計算される第３ロスに基づく値が最小となるように、前記第２抽出部および前記第２処理部のうちの少なくとも一方のパラメータを更新する、請求項１に記載の学習装置。
【請求項８】
前記更新部は、前記第２抽出部および前記第２処理部に関するパラメータの更新が終了後、前記第１抽出部および前記第１処理部に関するパラメータの更新を実施する、請求項７に記載の学習装置。
【請求項９】
前記更新部は、更新された前記第１抽出部のパラメータに基づき、前記第２抽出部のパラメータを更新する、請求項１に記載の学習装置。
【請求項１０】
１以上のパラメータに基づく第１処理により、入力データから第１特徴量を抽出し、
前記第１処理とは異なる１以上のパラメータに基づく第２処理により、前記入力データから第２特徴量を抽出し、
前記第１特徴量と前記第２特徴量との少なくとも一方を確率的に変換し、第１変換特徴量および第２変換特徴量を生成し、
前記第１変換特徴量および前記第２変換特徴量との類似度に関する第１ロスを計算し、
前記第１変換特徴量に対して、前記第１処理および前記第２処理とは異なる１以上のパラメータに基づく第３処理を実行し、第１処理結果を得、
前記第１ロスと、前記第１処理結果と正解データとから計算される第２ロスとに基づく値が最小となるように、前記第１処理および前記第３処理のうちの少なくとも一方のパラメータを更新する、学習方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、学習装置、方法、プログラム及び推論装置に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
機械学習に用いられる公開データセットは、不要な情報（例えばノイズや背景画像）を含まない理想的なデータといえるが、実データにはターゲット以外に不要な情報が含まれることが多い。なかには、短時間計測の要求から、または識別対象となるデータ自体が微弱であるため、実データに含まれる所望の情報が不要な情報によりほとんど埋まってしまうような状況、つまり所望の信号がノイズに埋もれてしまう状況も想定される。
理想的なデータで学習した学習済みモデルを、このような不要な情報を含む処理対象データの推論に利用した場合、十分な性能が得られない可能性がある。また、不要な情報を予め除去することも考えられるが、不要な情報を除去した後のデータは、ボケなどのアーチファクトが存在するため、必ずしも性能の向上に繋がらない可能性がある。また、不要な情報を含まないデータで学習したニューラルネットワークの情報を利用しながら、不要な情報を含むデータを別のニューラルネットワークで訓練する手法もあるが、不要な情報を含まないデータを得ることが困難な場合もある。
【先行技術文献】
【非特許文献】
【０００３】
Gnanasambandam, et al., “Image Classification in the Dark using Quanta Image Sensors” , ［online］，２０２０年，［２０２２年１１月２１日検索］、インターネット＜URL:https://arxiv.org/pdf/2006.02026＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、上述の課題を解決するためになされたものであり、不要な情報を含むデータを高精度に処理できる学習装置、方法、プログラム及び推論装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本実施形態に係る学習装置は、第１抽出部と、第２抽出部と、変換部と、計算部と、第１処理部と、更新部とを含む。第１抽出部は、１以上のパラメータに基づく処理により、入力データから第１特徴量を抽出する。第２抽出部は、前記第１抽出部とは異なる１以上のパラメータに基づく処理により、前記入力データから第２特徴量を抽出する。変換部は、前記第１特徴量と前記第２特徴量との少なくとも一方を確率的に変換し、第１変換特徴量および第２変換特徴量を生成する。計算部は、前記第１変換特徴量および前記第２変換特徴量との類似度に関する第１ロスを計算する。第１処理部は、前記第１変換特徴量に対して、前記第１抽出部および前記第２抽出部とは異なる１以上のパラメータに基づく処理を実行し、第１処理結果を得る。更新部は、前記第１ロスと、前記第１処理結果と正解データとから計算される第２ロスとに基づく値が最小となるように、前記第１抽出部および前記第１処理部のうちの少なくとも一方のパラメータを更新する。
【図面の簡単な説明】
【０００６】
第１実施形態に係る学習装置を示すブロック図。
第１実施形態に係る学習装置の第１訓練例を示すフローチャート。
第１実施形態に係る学習装置の第２訓練例を示すフローチャート。
第１実施形態に係る学習装置のパラメータ更新処理の詳細を示す概念図。
第１実施形態に係る学習装置の第３訓練例を示すフローチャート。
第２実施形態に係る推論装置を示すブロック図。
第２実施形態に係る推論装置の推論処理を示すフローチャート。
本実施形態に係る学習装置および推論装置のハードウェア構成の一例を示す図。
【発明を実施するための形態】
【０００７】
以下、図面を参照しながら本実施形態に係る学習装置、方法、プログラム及び推論装置について詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。
【０００８】
（第１実施形態）
第１実施形態に係る学習装置について図１のブロック図を参照して説明する。
第１実施形態に係る学習装置１０は、格納部１０１と、取得部１０２と、第１抽出部１０３と、第２抽出部１０４と、変換部１０５と、類似度計算部１０６と、第１処理部１０７と、第２処理部１０８と、精度計算部１０９と、更新部１１０とを含む。
【０００９】
格納部１０１は、機械学習モデル、入力データ、正解データなどを格納する。
取得部１０２は、格納部１０１または外部から入力データを取得する。入力データは、多次元データを想定する。多次元データは、例えば画像である。なお、入力データは、音声、センサ値などの時系列データであってもよい。入力データには、処理対象となる情報の他に不要な情報を含む。不要な情報は、例えばノイズ、背景画像、処理対象と特性が近い情報、多次元データの計測時または計測後に生じた歪みや揺らぎが挙げられる。具体的に、多次元データが画像であれば、ノイズを含む画像を入力データとして想定する。
【００１０】
第１抽出部１０３は、取得部１０２から入力データを受け取り、１以上のパラメータに基づく処理により、入力データから第１特徴量を抽出する。第１抽出部１０３は、例えば入力データが画像であれば、機械学習モデルとしてニューラルネットワークを用いて、入力データに対して処理を実行することで、第１特徴量を抽出する。また、パラメータは、例えば重み係数、バイアスである。
（【００１１】以降は省略されています）

関連特許