特許ウォッチ

公開番号2024148934
公報種別公開特許公報(A)
公開日2024-10-18
出願番号2023062528
出願日2023-04-07
発明の名称学習方法、学習装置、及びプログラム
出願人国立大学法人東京大学,トヨタ自動車株式会社
代理人個人
主分類G06N 20/00 20190101AFI20241010BHJP(計算;計数)
要約【課題】一部の学習データに真のラベルを付した学習データセットを用いて全ての学習データに真のラベルを付した学習データセットで機械学習した場合に近い性能の学習モデルを生成する。
【解決手段】本開示に係る学習方法は、生成対象の学習モデルの係数を算出するために用意した、真のラベルを付した正解の学習データについてのデータセット、雑音ラベルを付した学習データについてのデータセットを、それぞれソースドメイン、ターゲットドメインとして入力する。学習方法は、ソースドメインのデータセットとターゲットドメインのデータセットとが同じラベルについて所定の変換式を用いて同じ値となることを条件として、ソースドメイン及びターゲットドメインのデータセットを用いて、各ラベルについての、ソースドメインのデータセットとターゲットドメインのデータセットとの比である重みと、生成対象の学習モデルの係数とを、機械学習により算出する。
【選択図】図1
特許請求の範囲【請求項１】
生成対象の学習モデルの係数を算出するために用意した、真のラベルを付した正解の学習データについてのデータセットを、ソースドメインとして入力し、
前記生成対象の学習モデルの係数を算出するために用意した、雑音ラベルを付した学習データについてのデータセットを、ターゲットドメインとして入力し、
前記ソースドメインのデータセットと前記ターゲットドメインのデータセットとが、同じラベルについて所定の変換式を用いて同じ値となることを条件として、前記ソースドメインのデータセット及び前記ターゲットドメインのデータセットを用いて、各ラベルについての、前記ソースドメインのデータセットと前記ターゲットドメインのデータセットとの比である重みと、前記生成対象の学習モデルの係数とを、機械学習により算出する、
学習方法。
続きを表示（約 1,700 文字）【請求項２】
γをγ∈［０，１］を満たすハイパーパラメータ、Ｔ
ｊｋ
を前記ソースドメインでの（ｊ，ｋ）成分のタスク、
～
Ｔ
ｊｋ
を前記ターゲットドメインでの（ｊ，ｋ）成分のタスク、Ｐ
S
を前記ソースドメインでの真のラベルの確率分布、Ｐ
T
を前記ターゲットドメインでの雑音ラベルの確率分布、ｇを前記所定の変換式としての、前記ソースドメイン及び前記ターゲットドメインに共通の学習モデルを表現する関数、ｈを前記ソースドメインについての学習モデルを表現する関数、ｌを前記ターゲットドメインについての学習モデルを表現する関数、前記重みの（ｊ，ｋ）成分を下式のｗ
ｊｋ
とし、確率分布Ｐ
S
と確率分布Ｐ
T
とを合わせるように、前記重みと前記生成対象の学習モデルの係数とを、機械学習により算出する、
ｗ
ｊｋ
＝（１－γ）｛Ｔ
ｊｋ
－１
Ｐ
T
（ｈ（ｇ（Ｘ）））｝＋γ｛
～
Ｔ
ｊｋ
－１
Ｐ
T
（
～
Ｙ）｝
ここで、
～
Ｔ
ｊｋ
＝Ｐ
Ｓ
（ｌ（ｇ（Ｘ））＝ｊ，Ｙ＝ｋ）
請求項１に記載の学習方法。
【請求項３】
生成対象の学習モデルの係数を算出するために用意した、真のラベルを付した正解の学習データについてのデータセットを、ソースドメインとして入力し、前記生成対象の学習モデルの係数を算出するために用意した、雑音ラベルを付した学習データについてのデータセットを、ターゲットドメインとして入力する入力部と、
前記ソースドメインのデータセットと前記ターゲットドメインのデータセットとが、同じラベルについて所定の変換式を用いて同じ値となることを条件として、前記ソースドメインのデータセット及び前記ターゲットドメインのデータセットを用いて、各ラベルについての、前記ソースドメインのデータセットと前記ターゲットドメインのデータセットとの比である重みと、前記生成対象の学習モデルの係数とを、機械学習により算出する算出部と、
を備えた学習装置。
【請求項４】
前記算出部は、γをγ∈［０，１］を満たすハイパーパラメータ、Ｔ
ｊｋ
を前記ソースドメインでの（ｊ，ｋ）成分のタスク、
～
Ｔ
ｊｋ
を前記ターゲットドメインでの（ｊ，ｋ）成分のタスク、Ｐ
S
を前記ソースドメインでの真のラベルの確率分布、Ｐ
T
を前記ターゲットドメインでの雑音ラベルの確率分布、ｇを前記所定の変換式としての、前記ソースドメイン及び前記ターゲットドメインに共通の学習モデルを表現する関数、ｈを前記ソースドメインについての学習モデルを表現する関数、ｌを前記ターゲットドメインについての学習モデルを表現する関数、前記重みの（ｊ，ｋ）成分を下式のｗ
ｊｋ
とし、確率分布Ｐ
S
と確率分布Ｐ
T
とを合わせるように、前記重みと前記生成対象の学習モデルの係数とを、機械学習により算出する、
ｗ
ｊｋ
＝（１－γ）｛Ｔ
ｊｋ
－１
Ｐ
T
（ｈ（ｇ（Ｘ）））｝＋γ｛
～
Ｔ
ｊｋ
－１
Ｐ
T
（
～
Ｙ）｝
ここで、
～
Ｔ
ｊｋ
＝Ｐ
Ｓ
（ｌ（ｇ（Ｘ））＝ｊ，Ｙ＝ｋ）
請求項３に記載の学習装置。
【請求項５】
コンピュータに、請求項１又は２に記載の学習方法を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、学習方法、学習装置、及びプログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
学習モデルは、教師データにラベルを付与して生成することができる。しかしながら、ラベル付きのデータの収集には時間を要する。そこで、少数のラベル付きデータを用いて、ラベルを生成することも多い。この問題を解決するための技術の一つとして、教師なしドメイン適応（Unsupervised Domain Adaptation; UDA）がある。非特許文献１には、教師なしドメイン適応についての技術が記載されている。
【先行技術文献】
【非特許文献】
【０００３】
Tachet des Combes, R., Zhao, H., Wang, Y. X., & Gordon, G. J.、“Domain adaptation with conditional distribution matching and generalized label shift”、34th Conference on Neural Information Processing Systems (NeurIPS 2020)、２０２０年
【発明の概要】
【発明が解決しようとする課題】
【０００４】
教師なしドメイン適応では、学習データの重みが重要となるが、非特許文献１に記載の技術では重みが判定結果に依存した推論で算出されており、真の値に収束しない可能性がある。よって、一部の学習データに真のラベルを付した学習データセットを用いて全ての学習データに真のラベルを付した学習データセットで機械学習した場合に近い性能の学習モデルを生成する技術の開発が望まれる。
【０００５】
本開示は、このような問題を解決するためになされたもので、その目的は、一部の学習データに真のラベルを付した学習データセットを用いて全ての学習データに真のラベルを付した学習データセットで機械学習した場合に近い性能の学習モデルを生成することが可能な学習方法、学習装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本開示に係る学習方法は、生成対象の学習モデルの係数を算出するために用意した、真のラベルを付した正解の学習データについてのデータセットを、ソースドメインとして入力し、前記生成対象の学習モデルの係数を算出するために用意した、雑音ラベルを付した学習データについてのデータセットを、ターゲットドメインとして入力し、前記ソースドメインのデータセットと前記ターゲットドメインのデータセットとが、同じラベルについて所定の変換式を用いて同じ値となることを条件として、前記ソースドメインのデータセット及び前記ターゲットドメインのデータセットを用いて、各ラベルについての、前記ソースドメインのデータセットと前記ターゲットドメインのデータセットとの比である重みと、前記生成対象の学習モデルの係数とを、機械学習により算出する、ものである。
【０００７】
本開示に係る学習装置は、生成対象の学習モデルの係数を算出するために用意した、真のラベルを付した正解の学習データについてのデータセットを、ソースドメインとして入力し、前記生成対象の学習モデルの係数を算出するために用意した、雑音ラベルを付した学習データについてのデータセットを、ターゲットドメインとして入力する入力部と、前記ソースドメインのデータセットと前記ターゲットドメインのデータセットとが、同じラベルについて所定の変換式を用いて同じ値となることを条件として、前記ソースドメインのデータセット及び前記ターゲットドメインのデータセットを用いて、各ラベルについての、前記ソースドメインのデータセットと前記ターゲットドメインのデータセットとの比である重みと、前記生成対象の学習モデルの係数とを、機械学習により算出する算出部と、を備えたものである。
【０００８】
本開示に係るプログラムは、コンピュータに、前記学習方法を実行させるためのプログラムである。
【発明の効果】
【０００９】
本開示により、一部の学習データに真のラベルを付した学習データセットを用いて全ての学習データに真のラベルを付した学習データセットで機械学習した場合に近い性能の学習モデルを生成することが可能な学習方法、学習装置、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
実施の形態に係る学習装置の一構成例を示すブロック図である。
図１の学習装置で実施される学習方法の一例を説明するためのフロー図である。
実施の形態に係る学習方法のアルゴリズムの一例を示す図である。
図３のアルゴリズムでの実験結果と比較例に係るアルゴリズムでの実験結果を示す図である。
図３のアルゴリズムでの実験結果を示す図である。
図３のアルゴリズムでの実験結果を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許