特許ウォッチ

公開番号2024160818
公報種別公開特許公報(A)
公開日2024-11-15
出願番号2023076220
出願日2023-05-02
発明の名称情報処理装置、分散学習システム、学習方法、及びプログラム
出願人日本電信電話株式会社
代理人弁理士法人ITOH,個人,個人,個人
主分類G06N 3/098 20230101AFI20241108BHJP(計算;計数)
要約【課題】分散学習において通信コストを下げることを可能とする技術を提供する。
【解決手段】複数のノードにおけるノード間での情報交換によりモデルの学習を行う分散学習システムにおいて、前記複数のノードの中のあるノードとして使用される情報処理装置であって、圧縮演算子を用いて圧縮した双対変数である圧縮双対変数を隣接ノードから受信する受信部と、前記圧縮双対変数を用いて、前記モデルのモデルパラメータを更新する更新部とを備える。
【選択図】図3
特許請求の範囲【請求項１】
複数のノードにおけるノード間での情報交換によりモデルの学習を行う分散学習システムにおいて、前記複数のノードの中のあるノードとして使用される情報処理装置であって、
圧縮演算子を用いて圧縮した双対変数である圧縮双対変数を隣接ノードから受信する受信部と、
前記圧縮双対変数を用いて、前記モデルのモデルパラメータを更新する更新部と
を備える情報処理装置。
続きを表示（約 800 文字）【請求項２】
前記更新部は、前記圧縮演算子を用いて、前記隣接ノードへ送るべき双対変数を圧縮し、
前記更新部により圧縮された双対変数を前記隣接ノードへ送信する送信部
を更に備える請求項１に記載の情報処理装置。
【請求項３】
前記圧縮演算子は、圧縮対象の双対変数を表すベクトルと、各要素がある確率で１となるスパースベクトルとのアダマール積をとる演算子である
請求項１に記載の情報処理装置。
【請求項４】
前記圧縮演算子をｃｏｍｐとし、ｘ及びｙをそれぞれベクトルとし、τとωをそれぞれパラメータとしたときに、ｃｏｍｐは、
Ｅ
ω
｜｜ｃｏｍｐ（ｘ；ω）－ｘ｜｜
２
≦（１－τ）｜｜ｘ｜｜
２
、
ｃｏｍｐ（ｘ＋ｙ；ω）＝ｃｏｍｐ（ｘ；ω）＋ｃｏｍｐ（ｙ；ω）、及び
ｃｏｍｐ（－ｘ；ω）＝－ｃｏｍｐ（ｘ；ω）
を満たす
請求項１に記載の情報処理装置。
【請求項５】
請求項１ないし４のうちいずれか１項に記載の情報処理装置を複数台備える分散学習システム。
【請求項６】
複数のノードにおけるノード間での情報交換によりモデルの学習を行う分散学習システムにおいて、前記複数のノードの中のあるノードとして使用される情報処理装置が実行する学習方法であって、
圧縮演算子を用いて圧縮した双対変数である圧縮双対変数を隣接ノードから受信する受信ステップと、
前記圧縮双対変数を用いて、前記モデルのモデルパラメータを更新する更新ステップと
を備える学習方法。
【請求項７】
コンピュータを、請求項１ないし４のうちいずれか１項に記載の情報処理装置における各部として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、分散学習に関連するものである。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、ニューラルネットワーク等のモデルは画像処理や自然言語処理など様々な分野で大きな注目を集めている。モデルを学習するためには、通常、大量の学習データを収集する必要がある。
【０００３】
しかし、プライバシーの問題等のために、個人情報を含む学習データを単一のサーバ（ノード）上に収集することは困難である。このようなケースを考慮して、任意にネットワーク接続できる複数のノードにデータを分散させて蓄積し、全データを高い認識率で識別できるようなモデル（例えばニューラルネットワークのモデル）の学習を実現することが検討されている（例えば非特許文献１）。上記の学習は分散学習（Decentralized learning）と呼ばれる。
【０００４】
分散学習においては、複数のノード間でどのような合意形成をしながら学習をしたらよいかのアルゴリズムを構築することが研究の主題となっている。合意形成に至るまでに、ノード間の通信回数や通信する情報量が少ないほど、分散学習のアルゴリズムとして性能が良いと言える。
【０００５】
非特許文献１には、エッジコンセンサス学習（ECL：Edge-consensus learning）と呼ばれる分散学習の技術が開示されている。
【０００６】
ECLのメリットは、ノードに蓄積されるデータサブセットの統計的な偏り（heterogeneity）に対してロバストに学習できる点である。これは、ノード間のモデルが一致するという合意形成型の制約下でコスト最小化問題を解いていることに起因する。
【先行技術文献】
【非特許文献】
【０００７】
Niwa, K., Harada, N., Zhang, G., and Kleijn, W. B. Edge-consensus learning: Deep learning on P2P networks with nonhomogeneous data. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pp. 668-678, 2020.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
非特許文献１に開示されたECLは一次収束のアルゴリズムである。そのため、合意形成に至り、モデルの学習が完了するまでにノード間の通信回数が大きくなる。またＥＣＬでは、１回あたりの通信で、モデルのサイズとおおよそ同等のサイズの情報（具体的には双対変数）をノード間で交換する必要があり、通信量が大きい。分散学習における通信コストが計算量や実行時間の大半を占めており、実用的な分散学習のために、この通信コストを下げる必要がある。なお、このような課題はＥＣＬに限らずに、他の分散学習においても生じ得る課題である。
【０００９】
本発明は上記の点に鑑みてなされたものであり、分散学習において通信コストを下げることを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
開示の技術によれば、複数のノードにおけるノード間での情報交換によりモデルの学習を行う分散学習システムにおいて、前記複数のノードの中のあるノードとして使用される情報処理装置であって、
圧縮演算子を用いて圧縮した双対変数である圧縮双対変数を隣接ノードから受信する受信部と、
前記圧縮双対変数を用いて、前記モデルのモデルパラメータを更新する更新部と
を備える情報処理装置が提供される。
【発明の効果】
（【００１１】以降は省略されています）

関連特許