特許ウォッチ

公開番号2024161786
公報種別公開特許公報(A)
公開日2024-11-20
出願番号2023076809
出願日2023-05-08
発明の名称学習システム、学習装置及び学習プログラム
出願人株式会社デンソー,国立大学法人静岡大学
代理人個人,個人,個人
主分類G06N 3/098 20230101AFI20241113BHJP(計算;計数)
要約【課題】連合学習において、プライバシーの保護等の特性を損なうことなく、高い推定精度を実現可能な学習システムの提供。
【解決手段】サーバ10と、サーバ10とそれぞれ通信可能に接続された複数のクライアント20と、を備える学習システム1は、複数のクライアント20がそれぞれ保有するデータ23a,23bを用いた連合学習機能を有する。クライアント20は、サーバ10が有するサーバモデル11のパラメータを用いて構成される一般モデル21と、一般モデル21及びクライアント20が保有するデータ23a,23bを用いて学習可能に構成される個別モデル22と、一般モデル21に対するクライアント20が保有するデータ23a,23bの独自性を定量化する独自性定量化部24と、独自性に応じて一般モデルの影響力を変化させて、個別モデル22を学習させるモデル学習部25と、を有する。
【選択図】図1
特許請求の範囲【請求項１】
サーバ（１０）と、前記サーバとそれぞれ通信可能に接続された複数のクライアント（２０）と、を備え、複数の前記クライアントがそれぞれ保有するデータ（２３ａ，２３ｂ）を用いた連合学習機能を有する学習システムであって、
前記サーバは、各前記クライアントから収集した情報に基づいて学習可能に構成されるサーバモデル（１１）を有し、
前記クライアントは、
前記サーバモデルのパラメータを用いて構成される一般モデル（２１）と、
前記一般モデル及び前記クライアントが保有するデータを用いて学習可能に構成される個別モデル（２２）と、
前記一般モデルに対する前記クライアントが保有するデータの独自性を定量化する独自性定量化部（２４）と、
定量化された前記独自性に応じて前記一般モデルの影響力を変化させて、前記個別モデルを学習させるモデル学習部（２５）と、を有する学習システム。
続きを表示（約 1,300 文字）【請求項２】
前記独自性定量化部は、前記クライアントが保有するデータの前記一般モデルによる説明可能性、及び前記個別モデルと前記一般モデルとの予測解離性を用いて、前記独自性を定量化する請求項１に記載の学習システム。
【請求項３】
前記説明可能性は、前記サーバモデルの予測精度に基づいて算出される請求項２に記載の学習システム。
【請求項４】
前記予測解離性は、前記個別モデルと前記一般モデルとの予測結果の差異に基づいて算出される請求項２に記載の学習システム。
【請求項５】
前記サーバ及び各前記クライアントのうち少なくとも１つは、前記独自性に関する情報を表示する表示部（２７）を、さらに有する請求項１に記載の学習システム。
【請求項６】
前記モデル学習部は、さらに、定量化された前記独自性に応じて、前記個別モデルの影響力を変化させて、前記一般モデルを学習させ、
前記サーバは、各前記クライアントにおいて学習済みの前記一般モデルのパラメータに基づいて、前記サーバモデルを学習させる請求項１に記載の学習システム。
【請求項７】
サーバ（１０）と、前記サーバとそれぞれ通信可能に接続された複数のクライアント（２０）と、を備え、複数の前記クライアントがそれぞれ保有するデータを用いた連合学習機能を有する学習システム（１）において、複数の前記クライアントのうち１つの自クライアント（２０ａ）を構成するための学習装置であって、
前記サーバに設けられたサーバモデル（１１）のパラメータを取得し、前記サーバモデルのパラメータを用いて構成される一般モデル（２１）と、
前記サーバモデルのパラメータ及び前記自クライアントが保有するデータ（２３ａ，２３ｂ）を用いて学習可能に構成される個別モデル（２２）と、
前記一般モデルに対する前記自クライアントが保有するデータの独自性を定量化する独自性定量化部（２４）と、
定量化された前記独自性に応じて前記一般モデルの影響力を変化させて、前記個別モデルを学習させるモデル学習部（２５）と、を備える学習装置。
【請求項８】
サーバ（１０）と通信可能に接続された自クライアント（２０ａ）において、前記サーバを介した他クライアント（２０ｂ）との連合学習をするために構成された学習プログラムであって、
少なくとも１つのプロセッサに、
前記サーバに設けられたサーバモデル（１１）のパラメータを取得し、前記サーバモデルのパラメータを用いて構成される一般モデル（２１）と、前記サーバモデルのパラメータ及び前記自クライアントが保有するデータ（２３ａ，２３ｂ）を用いて学習可能に構成される個別モデル（２２）と、を生成することと、
前記一般モデルに対する前記自クライアントが保有するデータの独自性を定量化することと、
定量化された前記独自性に応じて前記一般モデルの影響力を変化させて、前記個別モデルを学習させることと、を実行させるように構成される学習プログラム。

発明の詳細な説明【技術分野】
【０００１】
この明細書による開示は、複数のクライアントがそれぞれ所有する独自データを用いた連合学習をするための技術に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
特許文献１に開示の学習システムでは、連合学習において、プライバシーを保護するため、クライアントが有する固有モデルの深層学習ネットワークの一部が、共通モデルとして、複数のクライアント及びサーバで共有される。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－７８９７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のように、深層学習ネットワークの一部が共通モデルとして共有される場合、共通モデル部分を共有するための特殊な構造や管理が必要となる。また、データサイズが大きなモデル自体を共有するため、高い通信負荷が発生する。このように、特許文献１の学習システムは連合学習において煩雑さが生じ得る。そして、連合学習において、プライバシーの保護等の特性を損なうことなく、高い推定精度を実現することが求められていると同時にパラメータのみをサーバとクライアントで交換し、データを直接交換しないため各クライアントのデータの特徴の把握が困難であり、さらにデータ特徴を利用した精度改善も行えないという課題があった。
【０００５】
この明細書の開示による目的のひとつは、連合学習において、プライバシーの保護等の特性を損なうことなく、各クライアントの持つデータの特徴を取り出すこと、及び取り出した分布特徴を用いて高い推定精度を実現可能な学習システム、学習装置及び学習プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
ここに開示された態様のひとつは、サーバ（１０）と、サーバとそれぞれ通信可能に接続された複数のクライアント（２０）と、を備え、複数のクライアントがそれぞれ保有するデータ（２３ａ，２３ｂ）を用いた連合学習機能を有する学習システムであって、
サーバは、各クライアントから収集した情報に基づいて学習可能に構成されるサーバモデル（１１）を有し、
クライアントは、
サーバモデルのパラメータを用いて構成される一般モデル（２１）と、
一般モデル及びクライアントが保有するデータを用いて学習可能に構成される個別モデル（２２）と、
一般モデルに対するクライアントが保有するデータの独自性を定量化する独自性定量化部（２４）と、
定量化された独自性に応じて一般モデルの影響力を変化させて、個別モデルを学習させるモデル学習部（２５）と、を有する。
【０００７】
また、開示された態様の他のひとつは、サーバ（１０）と、サーバとそれぞれ通信可能に接続された複数のクライアント（２０）と、を備え、複数のクライアントがそれぞれ保有するデータを用いた連合学習機能を有する学習システム（１）において、複数のクライアントのうち１つの自クライアント（２０ａ）を構成するための学習装置であって、
サーバに設けられたサーバモデル（１１）のパラメータを取得し、サーバモデルのパラメータを用いて構成される一般モデル（２１）と、
サーバモデルのパラメータ及び自クライアントが保有するデータ（２３ａ，２３ｂ）を用いて学習可能に構成される個別モデル（２２）と、
一般モデルに対する自クライアントが保有するデータの独自性を定量化する独自性定量化部（２４）と、
定量化された独自性に応じて一般モデルの影響力を変化させて、個別モデルを学習させるモデル学習部（２５）と、を備える。
【０００８】
また、開示された態様の他のひとつは、サーバ（１０）と通信可能に接続された自クライアント（２０ａ）において、サーバを介した他クライアント（２０ｂ）との連合学習をするために構成された学習プログラムであって、
少なくとも１つのプロセッサに、
サーバに設けられたサーバモデル（１１）のパラメータを取得し、サーバモデルのパラメータを用いて構成される一般モデル（２１）と、サーバモデルのパラメータ及び自クライアントが保有するデータ（２３ａ，２３ｂ）を用いて学習可能に構成される個別モデル（２２）と、を生成することと、
一般モデルに対する自クライアントが保有するデータの独自性を定量化することと、
定量化された独自性に応じて一般モデルの影響力を変化させて、個別モデルを学習させることと、を実行させるように構成される。
【０００９】
これらの態様によると、クライアントにおいて、そのクライアントが保有するデータの独自性が定量化されることにより、プライバシーを配慮すべき個々のデータを直接的に共有及び解析しなくても、クライアントが保有するデータの特徴を理解することが可能となる。故に、連合学習において、プライバシーの保護等の特性を損なうことなく、高い推定精度を実現可能となる。
【００１０】
なお、特許請求の範囲等に含まれる括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許