特許ウォッチ

公開番号2024173659
公報種別公開特許公報(A)
公開日2024-12-12
出願番号2024036097
出願日2024-03-08
発明の名称安全なモデリング交換に基づくデータ学習システムのための機器及び方法
出願人株式会社NTTドコモ
代理人個人,個人,個人,個人,個人
主分類G06N 3/098 20230101AFI20241205BHJP(計算;計数)
要約【課題】データ学習システム(たとえば、機械学習(ML)システムなど)を構築するためのアーキテクチャ、機器、及び方法を提供する。
【解決手段】アーキテクチャは、クライアントのグループを識別して、連合学習によってグローバルモデルを構築するためのプラットフォームを含み、該プラットフォームは、グローバルモデルでのモデル定義をグループに供給し、そのグループから受信されたモデルパラメータを集約してグローバルモデルを構築することによって、グローバルモデルを構築するためのグループマネージャと、該グループマネージャに通信可能に接続されて、各クライアントの寄与に基づいて、プラットフォームに通信可能に接続された各クライアントへのインセンティブを計算してグローバルモデルを訓練するインセンティブ計算機と、含む。
【選択図】図1
特許請求の範囲【請求項１】
グローバル機械学習（ＭＬ）モデルを構築するためのアーキテクチャであって、
クライアントのグループを識別して、連合学習によってグローバルモデルを構築するためのプラットフォーム、
を備え、
前記プラットフォームが、
前記グローバルモデルでのモデル定義を前記グループに供給し、前記グループから受信されたモデルパラメータを集約して前記グローバルモデルを構築することによって、前記グローバルモデルを構築するためのグループマネージャであって、前記クライアントが、前記クライアントのそれぞれのクライアントサイトにおいてローカルデータを使用して、前記それぞれのクライアントサイトにおいてローカルＭＬモデルを訓練することによって、前記モデルパラメータが生成される、当該グループマネージャと、
前記グループマネージャに通信可能に接続されて、各クライアントの寄与に基づいて、前記プラットフォームに通信可能に接続された各クライアントへのインセンティブを計算して、前記グローバルモデルを訓練するインセンティブ計算機であって、各クライアントの寄与が、ローカルデータを用いて、前記モデルパラメータのローカルＭＬモデルを訓練する結果として生成される１つ又は複数のモデルパラメータを含む、当該インセンティブ計算機と、
を含む、
アーキテクチャ。
続きを表示（約 1,100 文字）【請求項２】
前記グローバルモデルでのモデルフォーマット及び特徴フォーマットを記憶するためのレジストリと、
前記モデル定義の一部分として、前記モデルフォーマット及び特徴フォーマットを前記グループに提供するためのサーバと、
をさらに備える、請求項１に記載のアーキテクチャ。
【請求項３】
前記グループマネージャが訓練の要求を前記クライアントに送信して、前記クライアントが前記訓練の要求に応答して前記グループに参加した後に、
前記サーバは、前記モデル定義の一部分として前記モデル及び特徴のフォーマットを前記グループに提供する、請求項２に記載のアーキテクチャ。
【請求項４】
前記サーバは、
前記ローカルＭＬモデルを訓練するときに使用するために、前記モデルフォーマット及び特徴フォーマットを前記各クライアントに提供する、請求項２に記載のアーキテクチャ。
【請求項５】
前記グループマネージャは、
前記クライアントそれぞれのローカルＭＬモデルを訓練するのに使用されるデータのクライアントデータセットのサイズ、及び、前記クライアントのローカルＭＬモデルの確度、のうち少なくとも１つに基づいて、前記クライアントからの前記モデルパラメータを集約するように動作する、請求項１に記載のアーキテクチャ。
【請求項６】
前記インセンティブ計算機は、
各クライアントの寄与の量に基づいて前記インセンティブを計算するように動作する、請求項１に記載のアーキテクチャ。
【請求項７】
前記各クライアントの寄与は、
前記クライアントそれぞれのローカルＭＬモデルを訓練するのに使用されるデータのクライアントデータセットのサイズ、及び、前記クライアントのローカルＭＬモデルの確度、のうち少なくとも１つに基づいて定まる、請求項６に記載のアーキテクチャ。
【請求項８】
前記インセンティブ計算機は、
記憶された訓練履歴及び取引履歴に基づいて前記インセンティブを計算する、請求項６に記載のアーキテクチャ。
【請求項９】
前記クライアントによって訓練される前記ローカルＭＬモデルは、同一の特徴セットを有する、請求項１に記載のアーキテクチャ。
【請求項１０】
前記プラットフォームは、
前記グローバルモデルの１人又は複数人のユーザからの要求に応えて、前記グループを識別してグローバルモデルを構築するように動作する、請求項１に記載のアーキテクチャ。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
[0001]本出願は、２０２３年５月３１日出願の「ＡＰＰＡＲＡＴＵＳＡＮＤＭＥＴＨＯＤＦＯＲＤＡＴＡＬＥＡＲＮＩＮＧＳＹＳＴＥＭＢＡＳＥＤＯＮＡＳＥＣＵＲＥＤＭＯＤＥＬＩＮＧＥＸＣＨＡＮＧＥ」と題する米国特許仮出願第６３／４７０，１０８号の非仮出願であって、その仮出願の利益を主張するものであり、これを参考としてそっくりそのまま援用する。
続きを表示（約 3,400 文字）【０００２】
[0002]本開示の実施形態は、機械学習（ＭＬ）に関し、より詳細には、本明細書に開示される実施形態は、ＭＬモデルの訓練及び交換に関する。
【背景技術】
【０００３】
[0003]今日では、機械学習（ＭＬ）モデルがさらに普及してきている。機械学習モデルは、予測すること、及び作業の自動化に役立つ。これらのＭＬモデルは、入力データ及びそのデータへの応答の既知のセットを取得し、各ＭＬモデルを訓練して、新規のデータへの応答の予測を生成することによって作成される。すなわち、ＭＬモデルは、このモデルを訓練して、データに基づく予測又は決定を実行するためのプロセスを経る。
【０００４】
[0004]ＭＬの訓練は入力データに依存するので、ＭＬモデルを訓練するのに利用可能なデータが多いほど、ＭＬモデルは、予測をより正確に実行することができるようになる可能性が高くなる。しかし、ＭＬモデルを訓練する際に有用となるすべての入力データを得るのは難しい場合が多い。この難しさは、データの特定のセットが、そのセットを有する人にとって価値があるので、特定のデータを他者と共有することに気が進まないことに起因する場合があり、又はそのようなデータを共有することは、その内容が原因で制限される場合がある。たとえば、団体によっては、データプライバシーの制限に起因して、特定のデータを法的に共有することができない場合もある。したがって、ＭＬモデルの現在の訓練は、訓練データの可用性によって制約される場合がある。
【発明の概要】
【０００５】
[0005]データ学習システム（たとえば、機械学習（ＭＬ）システムなど）を構築するためのアーキテクチャ、機器、及び方法。いくつかの実施形態では、グローバル機械学習（ＭＬ）モデルを構築するためのアーキテクチャは、クライアントのグループを識別して、連合学習によってグローバルモデルを構築するためのプラットフォームを含む。いくつかの実施形態では、このプラットフォームは、グローバルモデルでのモデル定義をグループに供給し、そのグループから受信されたモデルパラメータを集約してグローバルモデルを構築することによって、グローバルモデルを構築するためのグループマネージャであって、クライアントが、そのそれぞれのクライアントサイトにおいてローカルデータを使用して、それぞれのクライアントサイトにおいてローカルＭＬモデルを訓練することによって、モデルパラメータが生成される、グループマネージャと、このグループマネージャに通信可能に接続されて、前記各クライアントの寄与に基づいて、プラットフォームに通信可能に接続された各クライアントへのインセンティブを計算して、グローバルモデルを訓練するインセンティブ計算機であって、各クライアントの寄与が、ローカルデータを用いて、モデルパラメータのローカルＭＬモデルを訓練する結果として生成される１つ又は複数のモデルパラメータを含む、インセンティブ計算機とを含む。
【０００６】
[0006]記載された実施形態及びその利点は、添付図面とともになされる以下の説明を参照することによって、最もよく理解することができる。これらの図面は、記載された実施形態の精神及び範囲から逸脱することなく、記載されたこの実施形態に当業者が加えてもよい、形態及び詳細のいかなる変更をも決して制限するものではない。
【図面の簡単な説明】
【０００７】
水平連合学習（ＨＦＬ）のフレームワークの、いくつかの実施形態を示す図である。
データ学習システムのアーキテクチャの、いくつかの実施形態を示す図である。
連合学習（ＦＬ）ハブの、いくつかの実施形態を示す図である。
データ学習アーキテクチャによって実行されるプロセスの、いくつかの実施形態のデータ流れ図である。
データ学習アーキテクチャによって実行されるプロセスの、いくつかの実施形態のデータ流れ図である。
データ学習アーキテクチャによって実行されるプロセスの、いくつかの実施形態のデータ流れ図である。
データ学習アーキテクチャによって実行されるプロセスの、いくつかの実施形態のデータ流れ図である。
データ学習アーキテクチャによって実行されるプロセスの、いくつかの実施形態のデータ流れ図である。
グループと、ローカルＭＬモデルの訓練を実行するＦＬクライアントとの間でインセンティブを生成するためのプロセスの、いくつかの実施形態を示す図である。
グループと、ローカルＭＬモデルの訓練を実行するＦＬクライアントとの間でインセンティブを生成するためのプロセスの、いくつかの実施形態を示す図である。
グループと、ローカルＭＬモデルの訓練を実行するＦＬクライアントとの間でインセンティブを生成するためのプロセスの、いくつかの実施形態を示す図である。
グループと、ローカルＭＬモデルの訓練を実行するＦＬクライアントとの間でインセンティブを生成するためのプロセスの、いくつかの実施形態を示す図である。
グループと、ローカルＭＬモデルの訓練を実行するＦＬクライアントとの間でインセンティブを生成するためのプロセスの、いくつかの実施形態を示す図である。
ＦＬハブと、１つ又は複数のＦＬモデルユーザ及びＦＬモデルクライアントとの間の構成を示す図である。
ローカルＭＬモデルの訓練を実行するＦＬクライアントと、グローバルモデルを作成及び更新するＦＬハブとの間の階層関係の、いくつかの実施形態を示す図である。
機械学習モデルを訓練するのに使用される、例示の機械学習アーキテクチャを表す図である。
畳み込みニューラルネットワーク（ＣＮＮ）を使用して入力画像を処理する、例示のモデルのいくつかの実施形態を表す図である。
コンピューティング装置のいくつかの実施形態のブロック図を示す図である。
【発明を実施するための形態】
【０００８】
[0007]以下の説明では、本開示をより完全に説明するために、数多くの詳細について述べる。しかし、これらの具体的な詳細がなくても本開示を実施してもよいことが、当業者には明らかになろう。他の例では、本開示を曖昧にすることを避けるために、よく知られた構造体及び装置を、詳細に示すのではなくて、ブロック図の形で示す。
【０００９】
[0008]本明細書に開示される実施形態は、機械学習（ＭＬ）モデルを作成するためのプラットフォーム、及びその機械学習モデルを使用する方法を含む。いくつかの実施形態では、このプラットフォームは、ユーザが、連合学習技法を使用して、ＭＬモデルをともに結合及び構築できるようにする。すなわち、いくつかの実施形態では、このプラットフォームは、連合学習を活用してＭＬモデルを構築する。いくつかの実施形態では、プラットフォームのユーザには、開発者及び／又はデータサイエンティストが含まれる。
【００１０】
[0009]いくつかの実施形態では、プラットフォームは、ユーザが、任意のグループメンバがグローバルＭＬモデルの構築に寄与することのできるグループを作成できるようにする。グローバルモデルを構築することへのこれらの寄与は、クライアントがローカルの生データを使用して、ローカルサイトの下でローカルＭＬモデルを訓練することによって作成される。いくつかの実施形態では、ローカルデータをプラットフォームと共有する必要はない。すなわち、寄与者は、自分自身のバージョンのＭＬモデルの訓練を実行し、次いで、その訓練の結果をプラットフォームと共有することによって、グローバルモデルを構築することに寄与することができる。いくつかの実施形態では、プラットフォームは、グローバルＭＬモデルを構築することに向けてユーザがおこなった寄与の量に基づいてインセンティブを生成する。これらのインセンティブは、モデル構築プロセスへの寄与に動機づけする。
（【００１１】以降は省略されています）

関連特許