特許ウォッチ

公開番号2025017111
公報種別公開特許公報(A)
公開日2025-02-05
出願番号2023120001
出願日2023-07-24
発明の名称機械学習装置、方法及びプログラム
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G06N 20/00 20190101AFI20250129BHJP(計算;計数)
要約【課題】個々の対象サンプルに応じて適切なデータ拡張パラメータを設計することが可能な機械学習装置、方法及びプログラムを提供すること。
【解決手段】実施形態に係る機械学習装置は、取得部、データ拡張部及び第1訓練部を有する。取得部は、対象サンプルと対象サンプルに紐づく目標値とを含む訓練サンプルを取得する。データ拡張部は、対象サンプルに対して、第1のデータ拡張パラメータに従いデータ拡張を施して第1の拡張サンプルを生成する。第1訓練部は、対象サンプルを入力して対象サンプルに対応する第2のデータ拡張パラメータを出力するパラメータ出力関数を、対象サンプル、目標値及び第1の拡張サンプルに基づく機械学習により生成する。
【選択図】図5
特許請求の範囲【請求項１】
対象サンプルと前記対象サンプルに紐づく目標値とを含む訓練サンプルを取得する取得部と、
前記対象サンプルに対して、第１のデータ拡張パラメータに従いデータ拡張を施して第１の拡張サンプルを生成するデータ拡張部と、
前記対象サンプルを入力して前記対象サンプルに対応する第２のデータ拡張パラメータを出力するパラメータ出力関数を、前記対象サンプル、前記目標値及び前記第１の拡張サンプルに基づく機械学習により生成する第１訓練部と、
を具備する機械学習装置。
続きを表示（約 1,200 文字）【請求項２】
前記第１訓練部は、前記対象サンプルと前記第１の拡張サンプルとの類似度を小さくしつつ、前記対象サンプル及び前記第１の拡張サンプル各々から前記目標値への予測誤差を小さくするように前記パラメータ出力関数を訓練する、請求項１記載の機械学習装置。
【請求項３】
前記第２のデータ拡張パラメータに基づいて、前記対象サンプルを入力して前記対象サンプルに対応する目標値の予測値を出力する目標値予測モデルの訓練に使用する第２の拡張サンプルを生成するための第３のデータ拡張パラメータを決定する決定部を更に備える、請求項１記載の機械学習装置。
【請求項４】
前記決定部は、前記目標値のクラス各々について、前記第２のデータ拡張パラメータの度数分布に基づいて前記第３のデータ拡張パラメータを決定する、請求項３記載の機械学習装置。
【請求項５】
第２訓練部を更に備え、
前記データ拡張部は、前記第３のデータ拡張パラメータに従いデータ拡張を施して第２の拡張サンプルを生成し、
前記第２訓練部は、前記目標値及び前記第２の拡張サンプルに基づく機械学習により、前記対象サンプルを入力して前記予測値を出力する前記目標値予測モデルを生成する、
請求項３記載の機械学習装置。
【請求項６】
前記第２訓練部は、前記予測値と前記目標値とに基づく損失が小さくなるように前記目標値予測モデルを訓練する、請求項５記載の機械学習装置。
【請求項７】
前記第２訓練部は、前記第２のデータ拡張パラメータが大きい前記対象サンプルを、前記第２のデータ拡張パラメータが小さい前記対象サンプルに比して大きな値で重み付けされた前記損失が小さくなるように、前記目標値予測モデルを訓練する、請求項６記載の機械学習装置。
【請求項８】
前記第２訓練部は、外れ値に該当する前記第２のデータ拡張パラメータを有する前記対象サンプルを除いて前記目標値予測モデルを訓練する、請求項５記載の機械学習装置。
【請求項９】
前記第１のデータ拡張パラメータは、前記対象サンプルに、前記第１訓練部による訓練が未了のパラメータ出力関数を適用して得られたデータ拡張パラメータである、請求項１記載の機械学習装置。
【請求項１０】
対象サンプルと前記対象サンプルに紐づく目標値とを含む訓練サンプルを取得し、
前記対象サンプルに対して、第１のデータ拡張パラメータに従いデータ拡張を施して第１の拡張サンプルを生成し、
前記対象サンプルを入力して前記対象サンプルに対応する第２のデータ拡張パラメータを出力するパラメータ出力関数を、前記対象サンプル、前記目標値及び前記第１の拡張サンプルに基づく機械学習により生成する、
ことを具備する機械学習方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、機械学習装置、方法及びプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
対象サンプルから目標値を予測する機械学習モデル（以下、目標値予測モデルと呼ぶ）の訓練のためにデータ拡張が利用されている。データ拡張とは、例えば、対象サンプルが画像の場合、画像を回転、拡大、縮小させるなど、対象サンプルに対して「何らかの変換」を施してデータの多様性を高める手法である。データの多様性を高めることは、訓練される目標値予測モデルの汎化につながるため重要である。データ拡張は、目標値予測モデルのタスクの目標値に不変なデータ変換であることが望ましい。例えば、タスクが画像のクラス分類である場合、データ拡張は、画像クラスに不変なデータ変換であることが望ましい。
【０００３】
特許文献１は、画像の回転角度や拡大率等のデータ拡張パラメータの候補を複数個用意し、候補毎に拡張サンプルを生成する。データ拡張を施していない元サンプルによる学習済みモデルに対して各拡張サンプルのスコア（例えば、正答率など）と、元サンプルとは別のサンプルのスコアを調査し、当該別のサンプルのスコアから所定の範囲内に収まるスコアを達成するデータ拡張パラメータを採用する。
【先行技術文献】
【特許文献】
【０００４】
特開２０２０－１４０４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１は、データ拡張パラメータの候補を設計するためには、解きたいタスクやデータの性質に関する知識が必要である。また、特許文献１は、全データに共通するデータ拡張パラメータを設計する手法であり、対象サンプル毎に最適なデータ拡張パラメータを設計していない。例えば、数字画像のクラス分類問題において、「０」の画像はいくら回転してもその形は「０」のままなので回転角度を制限する必要は無い。一方で「６」と「９」の画像は１８０度回転するとそれぞれ「９」と「６」と見分けがつかなくなるため、区別できるよう回転角度を制限する必要がある。このようにデータ拡張の設計にはタスクやデータに関する知識が必要で個々のデータに適したデータ拡張が設計されるべきである。
【０００６】
さらに、特許文献１は、拡張サンプルのスコアを別サンプルでのスコアから所定の範囲内に収めるデータ拡張を採用する技術なので、そのデータ拡張を使うことでデータ拡張の本来の目的である「目標値予測モデルの汎化」を達成できるとは限らない。
【０００７】
本発明が解決しようとする課題は、個々の対象サンプルに応じて適切なデータ拡張パラメータを設計することが可能な機械学習装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００８】
実施形態に係る機械学習装置は、取得部、データ拡張部及び第１訓練部を有する。前記取得部は、対象サンプルと前記対象サンプルに紐づく目標値とを含む訓練サンプルを取得する。前記データ拡張部は、前記対象サンプルに対して、第１のデータ拡張パラメータに従いデータ拡張を施して第１の拡張サンプルを生成する。前記第１訓練部は、前記対象サンプルを入力して前記対象サンプルに対応する第２のデータ拡張パラメータを出力するパラメータ出力関数を、前記対象サンプル、前記目標値及び前記第１の拡張サンプルに基づく機械学習により生成する。
【図面の簡単な説明】
【０００９】
本実施形態に係る機械学習装置の構成例を示す図
対象サンプルと目標値との一例を示す図
パラメータ出力関数の入出力関係を示す図
目標値予測モデルの入出力関係を示す図
本実施形態に係る機械学習処理の処理手順を示す図
図５のステップＳ１～Ｓ４までのパラメータ出力関数の訓練局面を模式的に表す図
図５のステップＳ５～Ｓ８までの目標値予測モデルの訓練局面を模式的に示す図
第２のデータ拡張パラメータの一例を示す図
目標値のクラス毎のデータ拡張パラメータの頻度分布を表す図
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本実施形態に係わる機械学習装置、方法及びプログラムを説明する。
（【００１１】以降は省略されています）

関連特許