特許ウォッチ

公開番号2024115514
公報種別公開特許公報(A)
公開日2024-08-26
出願番号2023212797
出願日2023-12-18
発明の名称クラスターに基づく連合学習予約プラットフォーム、予約システムおよび予約方法
出願人國立成功大學,NATIONAL CHENG KUNG UNIVERSITY
代理人個人
主分類G06N 20/00 20190101AFI20240819BHJP(計算;計数)
要約【課題】クラスターに基づく連合学習予約プラットフォーム、予約システム及び予約方法を提供する。
【解決手段】第1ユーザーエンドが予約情報を入力してトレーニングを行うために用いられる予約プラットフォームPは、データセットを有している第2ユーザーエンド、メインサーバー及びスレーブサーバーを含む。スレーブサーバーは、メインサーバーにより動作を指示され、メインサーバーはサービスサーバーを含み、スレーブサーバーは、バックアップホストからなり、サービスサーバーは予約情報を受信すると共にそれに基づいてバックアップホスト及び第1ユーザーエンドと通信し、バックアップホストは第2ユーザーエンドがデータセットを保存するために用いられているトレーニング端と、を備え、第1ユーザーエンドが予約情報を入力した後、第1ユーザーエンド及びバックアップホストが同期でトレーニングすることで、トレーニングの成功率を大幅に高める。
【選択図】図2
特許請求の範囲【請求項１】
第１ユーザーエンドが予約情報を入力してトレーニングするためのクラスターに基づく連合学習予約プラットフォームであって、
データセットを有している第２ユーザーエンドと、
メインサーバー及びスレーブサーバーを含むトレーニング端であって、前記スレーブサーバーは前記メインサーバーにより動作を指示され、前記メインサーバーはサービスサーバーを含み、前記スレーブサーバーはバックアップホストからなり、前記サービスサーバーは前記予約情報を受信すると共にそれに基づいて前記バックアップホスト及び前記第１ユーザーエンドとの通信を行い、前記バックアップホストは前記第２ユーザーエンドが前記データセットを保存するために用いられているトレーニング端と、を備えていることを特徴とするクラスターに基づく連合学習予約プラットフォーム。
続きを表示（約 2,800 文字）【請求項２】
前記トレーニング端は、前記第１ユーザーエンドが前記予約情報を伝送するための予約インターフェースを備え、前記サービスサーバーは前記予約情報を受信すると共にそれに基づいて前記バックアップホスト及び前記第１ユーザーエンドとの通信を行うことを特徴とする請求項１に記載のクラスターに基づく連合学習予約プラットフォーム。
【請求項３】
前記サービスサーバーは第１伝送プロトコルにより前記第１ユーザーエンドとの通信及び暗号化を行い、前記第１伝送プロトコルはHTTPS（HyperText Transfer Protocol Secure）であることを特徴とする請求項１に記載のクラスターに基づく連合学習予約プラットフォーム。
【請求項４】
前記予約インターフェースは第２伝送プロトコルにより前記サービスサーバーとの通信及び暗号化を行い、前記第２伝送プロトコルはSSH（Secure Shell Protocol）であることを特徴とする請求項２に記載のクラスターに基づく連合学習予約プラットフォーム。
【請求項５】
予約情報を入力する第１ユーザーエンドと、
データセットを有している第２ユーザーエンドと、
メインサーバーと、スレーブサーバーと、予約インターフェースと、を含むトレーニング端であって、前記スレーブサーバーは前記メインサーバーにより動作を指示され、前記メインサーバーはサービスサーバーを含み、前記スレーブサーバーはバックアップホストからなり、前記サービスサーバーは前記予約インターフェースにより前記予約情報受信すると共にそれに基づいて前記バックアップホスト及び前記第１ユーザーエンドとの通信を行い、前記バックアップホストは前記第２ユーザーエンドが前記データセットを保存するために用いられているトレーニング端と、を備えていることを特徴とするクラスターに基づく連合学習予約システム。
【請求項６】
前記サービスサーバーは前記予約情報に基づいて対応する制御情報及び第１初期トレーニングモデルを前記バックアップホスト及び前記第１ユーザーエンドに伝送することを特徴とする請求項５に記載のクラスターに基づく連合学習予約システム。
【請求項７】
前記バックアップホストは前記制御情報に基づいて前記第１初期トレーニングモデル及び前記データセットによりトレーニングを行い、第１トレーニングモデルを生成すると共に前記サービスサーバーに返信し、前記第１ユーザーエンドは前記制御情報に基づいて前記第１初期トレーニングモデルによりトレーニングを行い、第２トレーニングモデルを生成すると共に前記サービスサーバーに返信し、前記サービスサーバーは前記第１トレーニングモデルを受信すると共にそれに基づいて前記第２トレーニングモデルの演算を行い、第３トレーニングモデルを生成すると共に前記バックアップホスト及び前記第１ユーザーエンドに返信することを特徴とする請求項６に記載のクラスターに基づく連合学習予約システム。
【請求項８】
前記第１ユーザーエンドが前記予約インターフェースに前記予約情報を再度入力すると、前記サービスサーバーが前記第１トレーニングモデル、前記第２トレーニングモデル、及び前記第３トレーニングモデルによりテストを行ってテスト結果を生成し、
且つ前記テスト結果を第２初期トレーニングモデルとし、
前記サービスサーバーが前記予約情報に基づいて制御情報及び前記第２初期トレーニングモデルを前記バックアップホスト及び前記第１ユーザーエンドに伝送し、
前記バックアップホストが前記制御情報に基づいて前記第２初期トレーニングモデル及び前記データセットによりトレーニングを行い、
第４トレーニングモデルを生成すると共に前記サービスサーバーに返信し、且つ、前記第１ユーザーエンドが前記制御情報に基づいて前記第２初期トレーニングモデルによりトレーニングを行い、
第５トレーニングモデルを生成すると共に前記サービスサーバーに返信し、
前記サービスサーバーが前記第４トレーニングモデル及び前記第５トレーニングモデルに基づいて演算を行い、
第６トレーニングモデルを生成すると共に前記バックアップホスト及び前記第１ユーザーエンドに返信する、
ことを特徴とする請求項７に記載のクラスターに基づく連合学習予約システム。
【請求項９】
前記第２ユーザーエンドの数量は前記第１ユーザーエンドの数量以上であることを特徴とする請求項５に記載のクラスターに基づく連合学習予約システム。
【請求項１０】
トレーニング端のサービスサーバーが第１ユーザーエンドから予約情報を受信すると、前記サービスサーバーが前記予約情報に基づいて前記トレーニング端のバックアップホスト及び前記第１ユーザーエンドとの通信を行い、前記バックアップホストは前記サービスサーバーにより動作を指示され、且つ、前記バックアップホストが第２ユーザーエンドからデータセットを取得するステップと、
前記サービスサーバーから制御情報及び第１初期トレーニングモデルを前記バックアップホスト及び前記第１ユーザーエンドに伝送するステップと、
前記制御情報に基づいて前記バックアップホストが前記第１初期トレーニングモデル及び前記データセットによりトレーニングを行い、第１トレーニングモデルを生成すると共に前記サービスサーバーに返信するステップと、
前記制御情報に基づいて前記第１ユーザーエンドが前記第１初期トレーニングモデルによりトレーニングを行い、第２トレーニングモデルを生成すると共に前記サービスサーバーに返信するステップと、
前記サービスサーバーから前記第１トレーニングモデル及び前記第２トレーニングモデルを演算し、第３トレーニングモデルを生成すると共に前記バックアップホスト及び前記第１ユーザーエンドに返信し、且つ、前記第２ユーザーエンドは前記バックアップホストにより前記第３トレーニングモデルを取得するステップと、を含み、
前記サービスサーバーは前記第１トレーニングモデル、前記第２トレーニングモデル、及び前記第３トレーニングモデルによりテストを行ってテスト結果を生成し、且つ前記テスト結果を第２初期トレーニングモデルとし、前記サービスサーバーが前記第１ユーザーエンドから前記予約情報を再度受信すると、前記サービスサーバーから前記制御情報及び前記第２初期トレーニングモデルを前記バックアップホスト及び前記第１ユーザーエンドに伝送することを特徴とするクラスターに基づく連合学習予約方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、連合学習（Federated Learning）に関し、更に詳しくは、クラスターに基づく連合学習予約プラットフォーム、予約システムおよび予約方法（A cluster-based federated learning booking platform、 a booking system and a method thereof）に関するものである。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
連合学習（Federated Learning）は機械学習技術である。従来の集中機械学習では、トレーニング時に全ての関連データを同じ計算装置に集中させてトレーニングを行ってモデルを生成するが、これとは反対に連合学習では、複数の装置でトレーニングデータを伝送せずに機械学習モデルのトレーニングを行うことができる。連合学習は、分散システムのマルチノード演算を結合し、モデルのトレーニング作業を複数のノードに分散させている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
分散システムは主に大量のデータを処理する際に、演算量を関連するユニットに分配している。しかしながら、連合学習では、データのプライバシー保護を強化するため、トレーニングデータは単一のサーバーに集中させずに分散して演算を行い、装置がそれぞれ直接モデルのトレーニングを行う。
【０００４】
連合学習はプライバシーに関して高い利点を有しているが、装置のそれぞれの演算能力に依存するため、複数の装置で同時にトレーニングを行う場合、装置のそれぞれの演算能力に差があるために、演算能力の高い装置は、演算能力較の低い装置のトレーニング終了を待たなければ、次のトレーニングを行うことができなった。さらには、何れかの装置のトレーニングが失敗すると、全ての装置がそのトレーニングを完了することができなくなった。このため、装置の数量が増えるほどトレーニングの失敗率が明らかに高まり、他のユーザーがトレーニングに参加する意欲が低下した。
【０００５】
上述の事情に鑑みて、従来の連合学習プラットフォームのような場所も性能も異なる装置により実行する方式とは違い、本発明は場所も性能も異なる装置及び場所は異なるが性能は同じである装置により実行する方式を結合してサービスを提供する連合学習予約プラットフォームを提供し、且つクラスターを採用することで同じ場所で異なる性能の装置により実行するという特徴を実現し、トレーニングの失敗率を大幅に低下させると同時に、参加するユーザーがトレーニングをいつでもどこでも予約可能にする。
【０００６】
本発明は、上記問題点に鑑みて本発明者の鋭意研究により成されたものであり、その主目的は、クラスターに基づく連合学習予約プラットフォームを提供することにある。すなわち、ユーザーエンドが予約を行えるプラットフォームを提供し、少なくとも１つのユーザーエンドがデータセットをトレーニング端のバックアップホストに保存する。トレーニング端が他のユーザーエンドからの予約情報を受信すると、トレーニング端がバックアップホスト及び他のユーザーエンドのホストと通信を行い、スケジューリングを更に弾力的に行えるようにする。
【０００７】
本発明の他の目的は、第１ユーザーエンドと、第２ユーザーエンドと、トレーニング端と、を備えているクラスターに基づく連合学習予約システムを提供する。トレーニング端が第２ユーザーエンドのデータセットを取得した後、第１ユーザーエンドが予約情報を提出すると、トレーニング端が第１ユーザーエンドのホストとトレーニング端にバックアップされたデータセットとを同期でトレーニングを行うように制御し、トレーニング効率を大幅に高める。
【０００８】
本発明のさらなる他の目的は、クラスターに基づく連合学習予約方法を提供する。トレーニング端が予約情報を取得した後、制御情報及びトレーニングモデルを対応するユーザーエンドのホスト及びトレーニング端のバックアップホストに伝送し、それぞれトレーニングを行い、トレーニング端がそのトレーニングモデルをそれぞれ収集し、最終トレーニングモデルを生成すると共に返信することでトレーニングの成功率を高める。
【０００９】
上述した目的を達成するために、本発明の一実施態様によれば、クラスターに基づく連合学習予約プラットフォームが提供される。前記クラスターに基づく連合学習予約プラットフォームは、第１ユーザーエンドが予約情報を入力してトレーニングを行い、データセットを有している第２ユーザーエンドと、メインサーバー及びスレーブサーバーを含むトレーニング端であって、前記スレーブサーバーは前記メインサーバーにより動作を指示され、前記メインサーバーはサービスサーバーを含み、前記スレーブサーバーはバックアップホストからなり、前記サービスサーバーは前記予約情報を受信すると共にそれに基づいて前記バックアップホスト及び前記第１ユーザーエンドとの通信を行い、前記バックアップホストは前記第２ユーザーエンドが前記データセットを保存するために用いられているトレーニング端と、を備えている。
【００１０】
本発明の好適例において、前記トレーニング端は、前記第１ユーザーエンドが前記予約情報を伝送するための予約インターフェースを備え、前記サービスサーバーは前記予約情報を受信すると共にそれに基づいて前記バックアップホスト及び前記第１ユーザーエンドとの通信を行う。
（【００１１】以降は省略されています）

関連特許