特許ウォッチ

公開番号2025158685
公報種別公開特許公報(A)
公開日2025-10-17
出願番号2024061474
出願日2024-04-05
発明の名称計算装置
出願人NTT株式会社,学校法人東洋大学
代理人弁理士法人ITOH,個人,個人,個人
主分類G06N 3/098 20230101AFI20251009BHJP(計算;計数)
要約【課題】複数のIoT機器から生成されるデータを用いて複数のサーバで機械学習モデルを協調的に学習する際に、各IoT機器がどのサーバにデータを転送すべきかを、機械学習モデルの精度を向上させるように決定する。
【解決手段】複数の装置において生成されるデータを用いて複数のサーバで協調的学習を行うことによりモデルを学習するシステムにおいて、各装置がどのサーバにデータを転送すべきかを示すパラメータを決定する計算装置が、前記協調的学習で得られるモデルによる汎化誤差が最小になるように前記パラメータを決定する制御部を備える。
【選択図】図1
特許請求の範囲【請求項１】
複数の装置において生成されるデータを用いて複数のサーバで協調的学習を行うことによりモデルを学習するシステムにおいて、各装置がどのサーバにデータを転送すべきかを示すパラメータを決定する計算装置であって、
前記協調的学習で得られるモデルによる汎化誤差が最小になるように前記パラメータを決定する制御部
を備える計算装置。
続きを表示（約 390 文字）【請求項２】
前記制御部は、複数の装置において生成されるデータを仮想的に一か所に集めて学習を行った際に得られるモデルと前記協調的学習で得られるモデルとの間の経験損失の差に基づく第１の値と、前記協調的学習で得られるモデルにおける汎化誤差と経験損失との差に基づく第２の値との和を最小にするように前記パラメータを決定する
請求項１に記載の計算装置。
【請求項３】
前記制御部は、前記第２の値を、全てのサーバに集められるデータの総量を用いて算出する
請求項２に記載の計算装置。
【請求項４】
前記制御部は、前記第１の値と前記第２の値との和に対応する関数に、各装置と各サーバとの間の通信及びリソースブロックの使用に関しての制約をペナルティとして加えた関数を最小にするように前記パラメータを決定する
請求項２に記載の計算装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ＩｏＴ（Internet of Things）機器から生成されるデータを複数のサーバで分散的に収集してそれらのサーバで機械学習モデルを協調的に学習する技術に関連するものである。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、分散的に機械学習モデルを学習する手法として、モデルパラメータを各サーバで個別に学習して定期的にモデルパラメータの同期を行うことで学習を進めるfederated learningが提案されている（非特許文献１参照）。federated learningによる学習では各サーバで収集されたデータの量やその分布が最終的に得られる学習済みモデルに影響を与える。一方で、各ＩｏＴ機器が生成するデータを定常的にサーバに送ろうとする際には無線帯域を考慮する必要がある。
【先行技術文献】
【非特許文献】
【０００３】
Y. Zhao, M. Li, L. Lai, N. Suda, D. Civin, and V. Chandra, "Federated learning with non-iid data," arXiv preprint arXiv:1806.00582, 2018.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
帯域制約をみたしつつfederated learningによって学習される機械学習モデルの精度を向上させるために、ＩｏＴ機器から生成されたデータをどのサーバに転送すべきかの転送方針を決める必要がある。しかし、適切な転送方針を決定する従来技術は存在しない。
【０００５】
本発明は上記の点に鑑みてなされたものであり、複数のＩｏＴ機器から生成されるデータを用いて複数のサーバで機械学習モデルを協調的に学習する際に、各ＩｏＴ機器がどのサーバにデータを転送すべきかを、機械学習モデルの精度を向上させるように決定するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
開示の技術によれば、複数の装置において生成されるデータを用いて複数のサーバで協調的学習を行うことによりモデルを学習するシステムにおいて、各装置がどのサーバにデータを転送すべきかを示すパラメータを決定する計算装置であって、
前記協調的学習で得られるモデルによる汎化誤差が最小になるように前記パラメータを決定する制御部
を備える計算装置が提供される。
【発明の効果】
【０００７】
開示の技術によれば、複数のＩｏＴ機器から生成されるデータを用いて複数のサーバで機械学習モデルを協調的に学習する際に、各ＩｏＴ機器がどのサーバにデータを転送すべきかを、機械学習モデルの精度を向上させるように決定することが可能となる。
【図面の簡単な説明】
【０００８】
本発明の実施の形態に係る学習システムの全体構成を示す図である。
ＩｏＴ機器１０の構成を示す図である。
サーバ２０の構成を示す図である。
サーバ２０の構成を示す図である。
計算装置３０の構成を示す図である。
学習システムの動作を説明するためのフローチャートである。
装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
【００１０】
なお、本明細書のテキスト（画像で挿入する数式以外の部分）において、集合、ベクトル、行列等を表す文字の字体として通常の字体を使用する。文脈からそれが集合、ベクトル、行列等を表すことは明らかである。また、本明細書のテキストにおいて、文字の頭上に置くことを意図したハット（＾）は文字の前に記載している。
（【００１１】以降は省略されています）

関連特許