特許ウォッチ

公開番号2025112994
公報種別公開特許公報(A)
公開日2025-08-01
出願番号2024007594
出願日2024-01-22
発明の名称連合学習システム、クライアント装置、サーバー装置、連合学習方法及びプログラム
出願人株式会社東芝
代理人弁理士法人酒井国際特許事務所
主分類G06N 3/098 20230101AFI20250725BHJP(計算;計数)
要約【課題】連合学習における異常の検知を、情報セキュリティの安全性と演算コストの抑制とを両立させながら行う。
【解決手段】統合処理部は、複数のローカル学習モデルパラメータを用いて、連合学習の統合処理を実行することによって、グローバル学習モデルパラメータを生成する。サーバー差分算出部は、複数のローカル学習モデルパラメータの各々と、グローバル学習モデルパラメータとの差分を示すサーバー差分の算出処理を実行する。学習部は、グローバル学習モデルパラメータと学習データとを用いて、ローカル学習モデルの学習処理を実行する。ローカル差分算出部は、グローバル学習モデルパラメータとローカル学習モデルパラメータとの差分を示すローカル差分の算出処理を実行する。検知部は、サーバー差分とローカル差分との比較により、サーバー装置、クライアント装置または通信路のいずれかに異常があることを検知する検知処理を実行する。
【選択図】図2
特許請求の範囲【請求項１】
複数のクライアント装置と、前記複数のクライアント装置と接続される複数のサーバー装置と、を備え、
前記サーバー装置の各々は、
前記複数のクライアント装置から、複数の通信路を介して送信された複数のローカル学習モデルのローカル学習モデルパラメータを受信するサーバー受信部と、
複数の前記ローカル学習モデルパラメータを用いて、連合学習の統合処理を実行することによって、グローバル学習モデルのグローバル学習モデルパラメータを生成する統合処理部と、
複数の前記ローカル学習モデルパラメータの各々と、前記グローバル学習モデルパラメータとの差分を示すサーバー差分の算出処理を実行するサーバー差分算出部と、
前記グローバル学習モデルパラメータを、前記複数のクライアント装置の各々に送信するサーバー送信部と、を備え、
前記複数のクライアント装置の各々は、
前記サーバー装置から、前記通信路を介して送信された前記グローバル学習モデルパラメータを受信するクライアント受信部と、
前記グローバル学習モデルパラメータと、前記クライアント装置において記憶されている学習データとを用いて、前記ローカル学習モデルの学習処理を実行する学習部と、
前記サーバー装置より受信された前記グローバル学習モデルパラメータと、前記ローカル学習モデルパラメータとの差分を示すローカル差分の算出処理を実行するローカル差分算出部と、
前記ローカル学習モデルパラメータを、前記サーバー装置に送信するクライアント送信部と、を備え、
複数の前記クライアント装置、及び、複数の前記サーバー装置の少なくとも１つは、
前記サーバー差分と前記ローカル差分との比較により、前記サーバー装置、前記クライアント装置、または、前記通信路のいずれかに異常があることを検知する検知処理を実行する検知部を備え、
前記クライアント装置で前記検知処理が実行される場合、前記サーバー送信部は、前記サーバー差分を、前記検知処理が実行される前記クライアント装置に更に送信し、
前記サーバー装置で前記検知処理が実行される場合、前記クライアント送信部は、前記ローカル差分を、前記検知処理が実行される前記サーバー装置に更に送信する、
連合学習システム。
続きを表示（約 1,800 文字）【請求項２】
前記統合処理、及び、前記サーバー差分の算出処理は、複数の前記ローカル学習モデルパラメータの各々と、前記グローバル学習モデルパラメータと、を暗号化されたシェアの状態で計算する秘密計算により実行され、
前記ローカル学習モデルは、暗号化された前記グローバル学習モデルパラメータのシェアから復号されるパラメータに基づいて更新される、
請求項１に記載の連合学習システム。
【請求項３】
前記検知部は、前記サーバー差分と前記ローカル差分とが一致しない場合、前記異常を検知する、
請求項１に記載の連合学習システム。
【請求項４】
前記検知部は、前記クライアント装置に備えられ、
前記検知部は、複数の前記グローバル学習モデルパラメータのシェアから、前記グローバル学習モデルパラメータが復号されるときに用いられる複数の前記グローバル学習モデルパラメータのシェアの組み合わせを変えることによって、前記異常の個所を特定する、
請求項２又は３に記載の連合学習システム。
【請求項５】
前記クライアント装置は、
前記検知部と、
前記サーバー差分と前記ローカル差分とが一致する前記サーバー装置から受信された前記グローバル学習モデルパラメータのシェアから、前記グローバル学習モデルパラメータを復号する復号部と、を備え、
前記検知部は、ｔラウンド目の検知を実施した結果、前記サーバー差分と前記ローカル差分とが一致する前記サーバー装置の数が、記グローバル学習モデルパラメータの復号に必要なシェアの数に満たなかった場合、前記グローバル学習モデルパラメータのシェアを、ｔ－１ラウンド目の検知において、前記サーバー装置から受信された前記グローバル学習モデルパラメータのシェアに戻す、
請求項２又は３に記載の連合学習システム。
【請求項６】
前記復号部は、複数回のラウンドにおける検知が実施された結果、前記サーバー差分と前記ローカル差分とが一致しなかった回数が、回数閾値以上である前記サーバー装置から受信された前記グローバル学習モデルパラメータのシェアを、前記グローバル学習モデルパラメータの復号に使用しない、
請求項５に記載の連合学習システム。
【請求項７】
前記検知部は、前記クライアント装置に備えられ、
前記検知部は、前記サーバー差分と前記ローカル差分とが一致する前記サーバー装置の数が、記グローバル学習モデルパラメータの復号に必要なシェアの数に満たなかった場合、前記連合学習システムを停止する、
請求項２又は３に記載の連合学習システム。
【請求項８】
前記検知部は、前記サーバー装置に備えられ、
前記検知部は、前記サーバー差分と前記ローカル差分とが一致する前記クライアント装置の数が、クライアント数閾値未満の場合、前記連合学習システムを停止する、
請求項２又は３に記載の連合学習システム。
【請求項９】
前記検知部は、前記サーバー装置に備えられ、
前記統合処理部は、複数の前記ローカル学習モデルパラメータのシェアを用いて、連合学習の統合処理を実行することによって、前記グローバル学習モデルパラメータのシェアを生成し、前記検知部によって、所定の回数連続して、前記サーバー差分と前記ローカル差分とが一致しなかった前記クライアント装置から受信された前記ローカル学習モデルパラメータのシェアは、前記統合処理に使用しない、
請求項２又は３に記載の連合学習システム。
【請求項１０】
前記検知部は、前記サーバー装置に備えられ、
前記統合処理部は、複数の前記ローカル学習モデルパラメータのシェアを用いて、連合学習の統合処理を実行することによって、前記グローバル学習モデルパラメータのシェアを生成し、前記サーバー差分と前記ローカル差分とが一致しなかった回数が、所定の合計回数に達した前記クライアント装置から受信された前記ローカル学習モデルパラメータのシェアは、前記統合処理に使用しない、
請求項２又は３に記載の連合学習システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は連合学習システム、クライアント装置、サーバー装置、連合学習方法及びプログラムに関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
近年、企業などの組織では、社内業務及び提供サービス等において収集された様々なデータの量が、インターネット及びデジタル技術などの普及に伴い増加傾向にあり、収集された様々なデータがビッグデータとして取り扱われるようになっている。これらのデータは、新たな価値創出の可能性に注目が集まっている。こうした状況下で、異なる組織間でデータ共有・活用を実現する技術として連合学習と呼ばれる技術がある。
【先行技術文献】
【非特許文献】
【０００３】
ＫａｖｉｔａＫｕｍａｒｉ，ｅｔ．ａｌ．，“ＢａｙＢＦｅｄ：ＢａｙｅｓｉａｎＢａｃｋｄｏｏｒＤｅｆｅｎｓｅｆｏｒＦｅｄｅｒａｔｅｄＬｅａｒｎｉｎｇ”，ａｒＸｉｖ：２３０１．０９５０８ｖ１［ｃｓ．ＬＧ］２３Ｊａｎ２０２３
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、連合学習における異常の検知を、情報セキュリティの安全性と、演算コストの抑制とを両立させながら行うことが難しかった。
【課題を解決するための手段】
【０００５】
実施形態の連合学習システムは、複数のクライアント装置と、前記複数のクライアント装置と接続される複数のサーバー装置と、を備える。前記サーバー装置の各々は、サーバー受信部と統合処理部とサーバー差分算出部とサーバー送信部とを備える。サーバー受信部は、前記複数のクライアント装置から、複数の通信路を介して送信された複数のローカル学習モデルのローカル学習モデルパラメータを受信する。統合処理部は、複数の前記ローカル学習モデルパラメータを用いて、連合学習の統合処理を実行することによって、グローバル学習モデルのグローバル学習モデルパラメータを生成する。サーバー差分算出部は、複数の前記ローカル学習モデルパラメータの各々と、前記グローバル学習モデルパラメータとの差分を示すサーバー差分の算出処理を実行する。サーバー送信部は、前記グローバル学習モデルパラメータを、前記複数のクライアント装置の各々に送信する。複数のクライアント装置の各々は、クライアント受信部と学習部とローカル差分算出部とクライアント送信部とを備える。クライアント受信部は、前記サーバー装置から、前記通信路を介して送信された前記グローバル学習モデルパラメータを受信する。学習部は、前記グローバル学習モデルパラメータと、前記クライアント装置において記憶されている学習データとを用いて、前記ローカル学習モデルの学習処理を実行する。ローカル差分算出部は、前記サーバー装置より受信された前記グローバル学習モデルパラメータと、前記ローカル学習モデルパラメータとの差分を示すローカル差分の算出処理を実行する。クライアント送信部は、前記ローカル学習モデルパラメータを、前記サーバー装置に送信する。複数の前記クライアント装置、及び、複数の前記サーバー装置の少なくとも１つは、前記サーバー差分と前記ローカル差分との比較により、前記サーバー装置、前記クライアント装置、または、前記通信路のいずれかに異常があることを検知する検知処理を実行する検知部を備える。前記クライアント装置で前記検知処理が実行される場合、前記サーバー送信部は、前記サーバー差分を、前記検知処理が実行される前記クライアント装置に更に送信する。前記サーバー装置で前記検知処理が実行される場合、前記クライアント送信部は、前記ローカル差分を、前記検知処理が実行される前記サーバー装置に更に送信する。
【図面の簡単な説明】
【０００６】
第１実施形態の連合学習システムの装置構成の例を示す図。
第１実施形態の統合サーバー装置及びクライアント端末の機能構成の例を示す図。
第１実施形態の異常検知方法の例を示すフローチャート。
第２実施形態の異常検知方法の例を示すフローチャート。
第３実施形態の異常検知方法の例を示すフローチャート。
第４実施形態の異常検知方法の例を示すフローチャート。
第５実施形態の異常検知方法の例を示すフローチャート。
第６実施形態の異常検知方法の例を示すフローチャート。
第１乃至第６実施形態の統合サーバー装置及びクライアント端末のハードウェア構成の例を示す図。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、連合学習システム、クライアント装置、サーバー装置、連合学習方法及びプログラムの実施形態を詳細に説明する。
【０００８】
連合学習は、複数組織にまたがるデータをもとに機械学習の精度を向上させるのに有効な技術である。連合学習では、各サイトに分散保管された学習用データに対して、グローバル学習モデルが配布される。グローバル学習モデルは、各サイトで独自に保存されている学習用データを用いて更新される。そして、グローバル学習モデルは、更新前のモデルと更新後のモデルとの差分がグローバル学習モデルに返されることによって、アップデートされる。
【０００９】
すなわち、連合学習では、学習結果のデータのみが、クライアント端末から統合サーバー装置へ提供される。よって、プライバシー上考慮が必要な学習データを統合サーバー装置へ提供する必要がないことから、データの送信時および統合サーバーからの学習データの漏洩を防ぐことができるというメリットがある。さらに、モデルパラメータのみの送受信となることから、通信データ量の削減も可能とする。
【００１０】
ただし、連合学習は統合サーバー装置及びクライアント端末などが攻撃者になることも想定されているため、学習の過程で得られる情報から、学習データが推測されるなどのプライバシー上の脅威を抱えている。このような課題解決のため、非特許文献１に示すような学習モデルに対する攻撃を検知する方法が報告されているが、演算コストが高くなっている。
（【００１１】以降は省略されています）

関連特許