特許ウォッチ

公開番号2025048702
公報種別公開特許公報(A)
公開日2025-04-03
出願番号2024027641
出願日2024-02-27
発明の名称分散システムにおいて機械学習モデルを訓練するためのシステムおよび方法
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G06N 20/00 20190101AFI20250326BHJP(計算;計数)
要約【課題】分散システムにおいて機械学習モデルを効率的に訓練するための方法およびシステムを提供する。
【解決手段】分散システムにおいて、パラメータサーバは、機械学習モデルを共同で訓練するための複数のノードを備え、各ノードが、分散システム内の他のノードから、ローカルモデルのパラメータと他のノードによって維持されている更新されたバージョンの機械学習モデルのパラメータとの差を表す第1のパラメータデルタの密な配列であるローカルモデルの更新を受信することと、受信した更新および参照モデルに基づいてローカルモデルを更新することと、更新されたローカルモデルのパラメータとローカルモデルの以前のバージョンのパラメータとの差を表す第2のパラメータデルタを決定することと、他のノードへ第2のパラメータデルタの密な配列であるローカルモデルの更新を送信することと、を備える。
【選択図】図3
特許請求の範囲【請求項１】
分散システムにおいて機械学習モデルを訓練するためのコンピュータ実装の方法であって、前記分散システムが、前記機械学習モデルを共同で訓練するために複数の更新を交換する複数のノードを備え、前記複数のノードの各ノードがローカルバージョンの前記機械学習モデルを維持し、前記複数のノードのそれぞれの前記ローカルバージョンの前記機械学習モデルが、それぞれの１つまたは複数の同じパラメータ値で初期化されており、前記方法は、前記複数のノードのうちのノード上で行われ、前記方法は、
前記分散システム内の少なくとも１つの他のノードからローカルモデルへの第１の更新を受信することと、前記ローカルモデルが、前記ローカルバージョンの前記機械学習モデルを備え、前記第１の更新が、１つまたは複数の第１のパラメータデルタの密な配列を備え、前記１つまたは複数の第１のパラメータデルタが、参照モデルによって決定された順序で前記密な配列に並べられ、各第１のパラメータデルタが、前記ローカルモデルのパラメータと、少なくとも前記他のノードによって維持されている更新されたバージョンの前記機械学習モデルの対応するパラメータとの間の差を表しており、
前記受信された第１の更新および前記参照モデルに基づいて前記ローカルモデルを更新し、更新されたローカルモデルを決定することと、
１つまたは複数の第２のパラメータデルタを決定することと、各第２のパラメータデルタが、前記更新されたローカルモデルのパラメータと、前記ローカルモデルの以前のバージョンの対応するパラメータとの間の差を表しており、
前記分散システム内の前記少なくとも１つの他のノードへ第２の更新を送信することと、ここにおいて、前記第２の更新が、前記１つまたは複数の第２のパラメータデルタの密な配列を備え、前記１つまたは複数の第２のパラメータデルタが、前記参照モデルによって決定された順序で前記密な配列に並べられている、
を備える、方法。
続きを表示（約 1,800 文字）【請求項２】
前記１つまたは複数の第１のパラメータデルタが、前記参照モデルの対応する１つまたは複数のパラメータの大きさに応じて前記密な配列に並べられ、
前記１つまたは複数の第２のパラメータデルタが、前記参照モデルの対応する１つまたは複数のパラメータの大きさに応じて前記密な配列に並べられている、請求項１に記載の方法。
【請求項３】
前記複数のノードが、複数のワーカとサーバとを備え、
前記複数のワーカのそれぞれが、それぞれのローカルモデルを訓練するように設定され、前記複数のワーカが、前記ローカルモデルへの複数の第１の更新を前記サーバに返して報告し、
前記サーバが、前記複数のワーカからの前記複数の第１の更新を集約してグローバルモデルを更新し、前記グローバルモデルへの複数の更新を前記複数のワーカに返して報告するように設定され、前記サーバが、前記複数のワーカからの前記複数の第１の更新を前記参照モデルに基づいて集約するように設定される、請求項１に記載の方法。
【請求項４】
前記参照モデルが、前記グローバルモデルの前記更新されたバージョンより前のバージョンの前記グローバルモデルのコピーを備える、請求項３に記載の方法。
【請求項５】
前記ノードがワーカであり、前記方法が、
前記ローカルモデルへの前記複数の第１の更新のうちの対応する１つを前記サーバから受信することを備え、前記１つまたは複数の第１のパラメータデルタが、前記グローバルモデルの全ての更新されたパラメータの現在の状態を示し、
前記ローカルモデルを更新することが、前記ローカルモデルへの前記複数の第１の更新のうちの対応する１つを適用し、前記ローカルモデルを前記グローバルモデルに準拠させることを備える、請求項３に記載の方法。
【請求項６】
前記ノードがワーカであり、前記方法が、
前記ローカルモデルの複数のパラメータの数の縮小のレベルを決定することと、
前記複数のパラメータの数の前記決定された縮小のレベルを前記ローカルモデルに適用し、縮小されたローカルモデルを生成することと、
前記ローカルモデルの前記複数のパラメータの数の前記決定された縮小のレベルを前記参照モデルに適用することと、
訓練データに基づいて前記縮小されたローカルモデルを訓練し、前記更新されたローカルモデルを得ることと、
前記グローバルモデルを更新する際に使用する前記サーバに前記複数の第１の更新のうちの対応する更新を送信することとを備える、請求項３に記載の方法。
【請求項７】
前記ローカルモデルの前記複数のパラメータの数の前記縮小のレベルを決定することが、
前記ワーカと前記サーバとの間の通信リンクのサービスの品質を決定することと、
前記ローカルモデルの前記複数のパラメータの数の前記縮小のレベルを前記サービスの品質に基づいて決定することとを備える、請求項６に記載の方法。
【請求項８】
前記ローカルモデルの前記複数のパラメータの数の前記縮小のレベルを前記サービスの品質に基づいて調整することをさらに備える、請求項７に記載の方法。
【請求項９】
前記ローカルモデルの前記複数のパラメータの数の前記縮小のレベルを前記サービスの品質に基づいて調整することが、
前記ローカルモデルの前記複数のパラメータの数の前記縮小のレベルを前記サービスの品質の向上に応じて低下させることと、
前記ローカルモデルの前記複数のパラメータの数の前記縮小のレベルを前記サービスの品質の低下に応じて高めることとを備える、請求項８記載の方法。
【請求項１０】
前記ローカルモデルの前記複数のパラメータの数の前記縮小のレベルが低下されたときに、前記複数のパラメータの数の前記決定された縮小のレベルを前記ローカルモデルに適用することが、
１つまたは複数の追加パラメータを前記ローカルモデルに含めることを備え、前記ローカルモデルに含まれるべき前記１つまたは複数の追加パラメータが前記参照モデルに基づいて決定される、請求項９に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、分散システムにおいて機械学習モデルを訓練するための方法およびシステムに関する。詳細には、限定することはないが、本開示は、システム内のデバイス間で共有される更新のサイズを縮小させることによって連合学習を効率的に遂行する方法に関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
機械学習（ＭＬ）法は、観測されたデータに基づいてモデルを訓練することを目指す。従来のＭＬ手法では、（モノのインターネット（ＩｏＴ）ネットワーク内などの）エッジデバイスによって収集された生データが、グローバルモデルを訓練するために中央サーバへ逆に伝達される。
【０００３】
連合学習（ＦＬ：Federated Learning）および分散学習（ＤＬ：Distributed Learning）は、非集中型ＭＬフレームワークであり、単一のモデルを訓練するために、接続された複数のコンピューターデバイスを同時に使用して訓練プロセスを並列化することを目指す。エッジデバイスは、ネットワークへのエントリーポイントを提供し生データを常に収集することができる、（たとえばＩｏＴにおける）ネットワーク内のハードウェアの一部分である。いくつかのシナリオでは、ＩｏＴデバイスは、ネットワーク品質の面で制限されることがある。このような場合、一貫した訓練を可能にするために、通信がさらに制限される必要がある。
【０００４】
ディープラーニングはＭＬのサブセットであり、ニューラルネットワーク（ＮＮ）の形でＭＬモデルを訓練するために大きいデータセットが使用される。ニューラルネットワークは、人間の脳からその構造が着想されている、諸機能の連結システムである。複数のノードが相互接続されており、それぞれの接続が、シナプスを介して伝達される信号のようにデータを伝達することができる。ノード間の接続は、最適化されているパラメータである重みを持っており、その結果としてモデルを訓練する。
【発明の概要】
【０００５】
実施形態の構成は、単なる例示として作成された以下の詳細な説明から、図面と併せて、より完全に理解され認識されよう。
【図面の簡単な説明】
【０００６】
一構成による連合学習を実施するためのシステムアーキテクチャを示す図。
ワーカからの完全なローカルモデル更新と、サーバからの完全なグローバル更新とによる連合学習法を詳述するフローチャートを示す図。
一実施態様による、縮小された更新サイズでの連合学習の方法を詳述するフローチャートを示す図。
図３の方法の訓練更新ステップを詳述するフローチャートを示す図。
異なるパラメータプルーニング法についての異なる性能メトリクスのグラフを示す図。
異なるパラメータプルーニング法についての異なる性能メトリクスのグラフを示す図。
異なるパラメータプルーニング法についての異なる性能メトリクスのグラフを示す図。
異なるパラメータプルーニング法についての異なる性能メトリクスのグラフを示す図。
異なるパラメータプルーニング法についての異なる性能メトリクスのグラフを示す図。
異なるパラメータプルーニング法についての異なる性能メトリクスのグラフを示す図。
異なる連合機械学習法についての異なる性能メトリクスのグラフを示す図。
異なる連合機械学習法についての異なる性能メトリクスのグラフを示す図。
異なる連合機械学習法についての異なる性能メトリクスのグラフを示す図。
異なる連合機械学習法についての異なる性能メトリクスのグラフを示す図。
本明細書に記載の方法を実践するためのコンピューティングデバイスを示す図。
【発明を実施するための形態】
【０００７】
本明細書に記載の実施態様は、分散システム内のノード間で送信される各更新のサイズを圧縮することによって、連合学習の改善をもたらす。これは、分散システムの訓練段階中へ送信されるデータの全量を縮小させることになり得る。具体的な実施態様では、更新が送信される通信リンクのサービス品質に基づいて、各更新のサイズを調整する。これは、たとえば、サービス品質の向上に応じてより大きい更新が送信されることを可能にすることと、サービス品質の低下に応じて更新のサイズを縮小させることとによって、ネットワーク容量の使用を効率的にする。
【０００８】
本開示の一態様によれば、分散システムにおいて機械学習モデルを訓練するためのコンピュータ実装の方法が提供される。分散システムは、機械学習モデルを共同で訓練するために更新を交換する複数のノードを備える。複数のノードの各ノードは、ローカルバージョンの機械学習モデルを維持する。複数のノードのそれぞれのローカルバージョンの機械学習モデルは、それぞれの１つまたは複数の同じパラメータ値で初期化されている。この方法は、複数のノードのうちのあるノード上で行われ、方法は、分散システム内の少なくとも１つの他のノードからローカルモデルへの第１の更新を受信することと、ローカルモデルが、ローカルバージョンの機械学習モデルを備え、第１の更新が、１つまたは複数の第１のパラメータデルタの密な配列を備え、１つまたは複数の第１のパラメータデルタが、参照モデルによって決定された順序で密な配列に並べられ、各第１のパラメータデルタが、ローカルモデルのパラメータと、少なくとも他のノードによって維持されている更新されたバージョンの機械学習モデルの対応するパラメータとの間の差を表しており、更新されたローカルモデルを決定するために、受信された第１の更新および参照モデルに基づいてローカルモデルを更新することと、１つまたは複数の第２のパラメータデルタを決定することと、各第２のパラメータデルタが、更新されたローカルモデルのパラメータと、ローカルモデルの以前のバージョンの対応するパラメータとの間の差を表しており、分散システム内の少なくとも１つの他のノードへ第２の更新を送信することと、ここにおいて、第２の更新が、１つまたは複数の第２のパラメータデルタの密な配列を備え、１つまたは複数の第２のパラメータデルタが、参照モデルによって決定された順序で密な配列に並べられている、を備える。
【０００９】
１つまたは複数の第１のパラメータデルタの密な配列を備える更新を少なくとも１つの他のノードから受信することと、１つまたは複数の第２のパラメータデルタの密な配列を備える更新を少なくとも１つの他のノードへ送信することとによって、１つまたは複数の第１のパラメータデルタおよび１つまたは複数の第２のパラメータデルタは、参照モデルによって決定される順序でそれぞれの密な配列に並べられ、１つもしくは複数の完全なパラメータおよび／または１つもしくは複数の対応するパラメータ識別子を含むことが必要ではないことがある。これは、各更新のサイズが縮小されることを可能にし得る。これはまた、それぞれの更新のサイズを増加させることなく、それぞれの更新に含まれる第１のパラメータデルタおよび第２のパラメータデルタの数が増加されることを可能にし得る。
【００１０】
１つまたは複数の第１のパラメータデルタは、参照モデルの対応する１つまたは複数のパラメータの大きさに応じて、密な配列に並べられ得る。１つまたは複数の第２のパラメータデルタは、参照モデルの対応する１つまたは複数のパラメータの大きさに応じて、密な配列に並べられ得る。
（【００１１】以降は省略されています）

関連特許