特許ウォッチ

公開番号2024120626
公報種別公開特許公報(A)
公開日2024-09-05
出願番号2023027544
出願日2023-02-24
発明の名称学習システム、方法およびプログラム
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G06N 3/098 20230101AFI20240829BHJP(計算;計数)
要約【課題】ローカルデータを考慮した連合学習条件を適切に設定すること。
【解決手段】本実施形態に係る学習システムは、複数のローカルデバイスと、サーバとを含む。複数のローカルデバイスはそれぞれ、ローカルデータで事前にモデルを学習した場合の事前ローカル学習条件と事前ローカル学習結果とを含む事前ローカル学習情報に基づき、ローカルモデルの連合学習における学習条件を示す連合ローカル学習条件を決定するローカル決定部を含む。前記サーバは、前記事前ローカル学習情報に基づき、グローバルモデルのグローバル学習条件を決定するグローバル決定部を含む。
【選択図】図1
特許請求の範囲【請求項１】
複数のローカルデバイスと、サーバとを含む学習システムであって、
複数のローカルデバイスはそれぞれ、
ローカルデータで事前にモデルを学習した場合の事前ローカル学習条件と事前ローカル学習結果とを含む事前ローカル学習情報に基づき、ローカルモデルの連合学習における学習条件を示す連合ローカル学習条件を決定するローカル決定部と、を具備し、
前記サーバは、
前記事前ローカル学習情報に基づき、グローバルモデルのグローバル学習条件を決定するグローバル決定部を具備する、
学習システム。
続きを表示（約 1,200 文字）【請求項２】
前記サーバは、
前記グローバル学習条件に基づいて、前記複数のローカルデバイスからそれぞれ受信した前記ローカルモデルのパラメータを統合して前記グローバルモデルを更新するグローバル更新部をさらに具備し、
前記複数のローカルデバイスはそれぞれ、
更新後のグローバルモデルに関するパラメータに基づいて前記ローカルモデルを更新するローカル学習部をさらに具備する、請求項１に記載の学習システム。
【請求項３】
前記事前ローカル学習条件は、前記ローカルモデルに関する、学習率、正則化、ミニバッチサイズ、初期化手法、最適化器およびアーキテクチャ構造の選択の少なくとも１つに関する情報を含む、請求項１に記載の学習システム。
【請求項４】
前記事前ローカル学習結果は、前記事前ローカル学習条件を用いて前記ローカルモデルを学習したときの、認識率、損失、学習曲線、モデルの重みおよびプルーニング結果の少なくとも１つに関する情報を含む、請求項１に記載の学習システム。
【請求項５】
前記グローバル学習条件は、前記ローカルデバイス間でのデータ分布の違いに基づくローカルモデルの個別化層の情報を含む、請求項１に記載の学習システム。
【請求項６】
前記グローバル決定部は、前記事前ローカル学習情報に基づき、データ分布または学習の状況が類似するローカルデバイス群をグループ化し、グループ化されたローカルデバイス群に関する情報を前記グローバル学習条件として決定し、
前記サーバは、前記グローバル学習条件に基づき、前記グループ化されたローカルデバイス群ごとに前記連合学習を実施する、請求項１に記載の学習システム。
【請求項７】
前記事前ローカル学習情報は、学習エポック数を含み、
前記グローバル決定部は、前記学習エポック数に基づき、前記グローバルモデルの更新回数を設定する、請求項１に記載の学習システム。
【請求項８】
前記ローカル決定部は、前記事前ローカル学習情報と前記連合学習の学習経過とに基づいて、前記連合ローカル学習条件を修正する、請求項１に記載の学習システム。
【請求項９】
前記グローバル決定部は、前記事前ローカル学習情報と前記連合学習の学習経過とに基づいて、前記グローバル学習条件を修正する、請求項１に記載の学習システム。
【請求項１０】
複数のローカルデバイスと、サーバとを含む学習システムの学習方法であって、
ローカルデータで事前にモデルを学習した場合の事前ローカル学習条件と事前ローカル学習結果とを含む事前ローカル学習情報に基づき、ローカルモデルの連合学習における学習条件を示す連合ローカル学習条件を決定し、
前記事前ローカル学習情報に基づき、グローバルモデルのグローバル学習条件を決定する、学習方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、学習システム、方法およびプログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
複数のローカルデバイスでそれぞれ取得された訓練データに基づいて機械学習モデル（ローカルモデル）を学習し、学習したローカルモデルのパラメータをサーバに送信する。サーバでは、各ローカルモデルのパラメータを集約して統合し、サーバに存在する機械学習モデル（グローバルモデル）を更新する。更新されたグローバルモデルのパラメータを複数のローカルデバイスそれぞれに分配する。このような一連処理を繰り返す、連合学習（Federated Learning）という学習手法がある。連合学習では、複数のローカルデバイスで学習が実行されるため、計算負荷を分散できる。さらに、パラメータのみをサーバとの間でやり取りするため、訓練データ自体のやり取りがない。よって、プライバシーの機密性が高く、かつ通信コストも低いというメリットがある。
【０００３】
機械学習モデルとしてニューラルネットワークを用いる場合、学習率、正則化強度、最適化器などの学習条件（調整パラメータ）を適切に設定することが重要である。連合学習においては、ローカルモデルの学習条件とグローバルモデルの学習条件とをデバイスの数に応じて設定する必要があり、デバイスの数が増えるほど、これらの値を適切に設定することは難しい。
【先行技術文献】
【特許文献】
【０００４】
米国特許第１０４０２４６９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は、上述の課題を解決するためになされたものであり、ローカルデータを考慮した連合学習条件を適切に設定できる学習システム、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本実施形態に係る学習システムは、複数のローカルデバイスと、サーバとを含む。複数のローカルデバイスはそれぞれ、ローカルデータで事前にモデルを学習した場合の事前ローカル学習条件と事前ローカル学習結果とを含む事前ローカル学習情報に基づき、ローカルモデルの連合学習における学習条件を示す連合ローカル学習条件を決定するローカル決定部を含む。前記サーバは、前記事前ローカル学習情報に基づき、グローバルモデルのグローバル学習条件を決定するグローバル決定部を含む。
【図面の簡単な説明】
【０００７】
本実施形態に係る学習システムを示す概念図。
本実施形態に係る学習システムの学習処理を示すフローチャート。
ローカルデバイスおよびサーバのハードウェア構成の一例を示すブロック図。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら本実施形態に係る学習システム、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。
【０００９】
本実施形態に係る学習システムについて図１のブロック図を参照して説明する。
本実施形態に係る学習システムは、ローカルデバイス１０Ａ、ローカルデバイス１０Ｂおよびサーバ１１を含み、それぞれネットワークＮＷを介してデータを送受信可能に接続される。ここでは一例として、２つのローカルデバイス１０Ａおよびローカルデバイス１０Ｂを示すが、３以上のローカルデバイス１０が含まれてよい。以下では、各ローカルデバイスに共通する説明の場合は、単にローカルデバイス１０と呼ぶ。
【００１０】
各ローカルデバイス１０は、ローカル格納部１０１と、ローカル決定部１０２と、ローカル学習部１０３と、ローカル通信部１０４とを含む。
（【００１１】以降は省略されています）

関連特許