特許ウォッチ

公開番号2025011056
公報種別公開特許公報(A)
公開日2025-01-23
出願番号2024109329
出願日2024-07-08
発明の名称決定変数の計算方法
出願人三顧股ふん有限公司
代理人個人,個人
主分類G06N 3/098 20230101AFI20250116BHJP(計算;計数)
要約【課題】連合学習のメンバーが、連合学習により共有のモデルを共同で訓練しなくても、決定変数を逆推定する効果を達成可能な決定変数を算出するための決定変数の計算方法を提供する。
【解決手段】逆推定要求者が、連合学習の一部のメンバーから提供される訓練済み予測モデルによって、目標結果に応じて所望の決定変数を逆推定により算出可能である決定変数の計算方法は、当該方法に関わる各訓練済み予測モデルに目標結果を提供して入力パラメータを逆推定させること、各訓練済み予測モデルと目標結果との差から損失関数を形成すること、逆推定した全ての入力パラメータを総合入力パラメータに統合するとともに、全ての損失関数を総合損失関数に統合すること及び総合入力パラメータ及び総合損失関数により最適化問題を構築してその解を求めることを含み、最適化問題から求めた解が所望の決定変数となる。
【選択図】図1
特許請求の範囲【請求項１】
決定変数を算出するための決定変数の計算方法であって、
複数の訓練済み予測モデルを提供し、前記訓練済み予測モデルは、機械学習方法によって複数のローカルデータセットをそれぞれ機械学習することで得られるステップと、
目標結果を提供し、前記訓練済み予測モデルによって、前記目標結果につき複数の入力パラメータをそれぞれ逆推定するステップと、
前記訓練済み予測モデルに対応する複数の損失関数をそれぞれ設定し、前記損失関数に第１重み値をそれぞれ付与したあと合計することで総合損失関数を生成し、各前記損失関数は、各前記訓練済み予測モデルを表す目的関数の関数値と前記目標結果との差分値の絶対値、２乗、或いは、差分値に対して単調増加特性を有する関数と定義されるステップと、
前記入力パラメータに第２重み値をそれぞれ付与したあと合計することで総合入力パラメータを生成し、前記総合入力パラメータ及び前記総合損失関数により最適化問題を構築するステップと、
前記最適化問題の解を求めることで、各前記入力パラメータの前記第２重み値を取得して、前記総合入力パラメータを前記決定変数として算出するステップ、を含む決定変数の計算方法。
続きを表示（約 3,200 文字）【請求項２】
前記最適化問題の解を求めるステップは、更に、
各前記第２重み値に対する前記総合損失関数の導関数をそれぞれ計算するステップと、
前記導関数を組み合わせて方向を形成するステップと、
前記総合入力パラメータについて、前記方向に沿って刻み幅を増加させたあと前記訓練済み予測モデルに入力して、前記総合損失関数の関数値が減少するか否かを判断するステップ、を含む請求項１に記載の決定変数の計算方法。
【請求項３】
前記訓練済み予測モデルは、それぞれ、連合学習の複数のメンバーから提供される請求項１に記載の決定変数の計算方法。
【請求項４】
前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、
前記メンバーのうちの第１メンバーが、前記ローカルデータセットのうちの対応する第１ローカルデータセットの全てのサンプルと前記目標結果を比較するステップと、
前記目標結果と一致する前記第１ローカルデータセット内のサンプルを、前記入力パラメータを逆推定するための参照サンプルとするステップ、を含む請求項３に記載の決定変数の計算方法。
【請求項５】
前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、
前記メンバーのうちの第２メンバーが、前記ローカルデータセットのうちの対応する第２ローカルデータセットの全てのサンプルと前記目標結果を比較して複数のアンカーサンプルを取得し、前記アンカーサンプルにより多次元部分空間を形成するステップと、
前記多次元部分空間内で初期サンプルを決定するステップと、
前記多次元部分空間内で前記初期サンプルの方向を取得し、前記初期サンプルについて、前記方向に沿って刻み幅を増加させることで中継サンプルを形成し、前記中継サンプルを前記第２メンバーから提供された第２訓練済み予測モデルに入力することで、生成される予測結果が前記目標結果と近似するか否かを確認するステップと、
前記方向の決定及び前記刻み幅の増加を行った前記中継サンプルを前記第２訓練済み予測モデルに入力する動作を、前記第２訓練済み予測モデルにより生成される予測結果が前記目標結果と一致するまで実行し続け、最後の前記中継サンプルを前記第２訓練済み予測モデルに対応する前記入力パラメータとするステップ、を含む請求項３に記載の決定変数の計算方法。
【請求項６】
前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、
前記メンバーのうちの第３メンバーが、対応する第３訓練済み予測モデルの入力端子に接続されるダミー層を設定してパラメータ予測モデルを形成し、前記ダミー層が前記パラメータ予測モデルの入力端子となるステップと、
前記パラメータ予測モデルの出力を前記目標結果に設定し、前記パラメータ予測モデルに対し、少なくとも１つのオールワンベクトルを含む訓練データセットを入力して前記パラメータ予測モデルを訓練し、前記第３訓練済み予測モデルを訓練した機械学習方法におけるオプティマイザによって前記ダミー層と前記第３訓練済み予測モデルとの間の複数のアーク重み値を調整し、前記アーク重み値を前記第３訓練済み予測モデルに対応する前記入力パラメータとするステップ、を含む請求項３に記載の決定変数の計算方法。
【請求項７】
前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、
前記メンバーのうちの第４メンバーが、前記ローカルデータセットのうちの対応する第４ローカルデータセットの全てのサンプルと前記目標結果を比較して複数のアンカーサンプルを取得し、前記アンカーサンプルにより多次元部分空間を形成するステップと、
前記多次元部分空間内で初期サンプルを決定するステップと、
前記第４メンバーが第４訓練済み予測モデルを生成するために用いたオプティマイザによって、前記第４訓練済み予測モデルの目的関数につき最小化演算を行うことで勾配を取得するとともに、前記勾配の反対方向を前記初期サンプルの方向とするステップと、
前記初期サンプルについて、前記方向に沿って刻み幅を増加させることで中継サンプルを形成し、前記中継サンプルを前記第４訓練済み予測モデルに入力することで、生成される予測結果が前記目標結果と近似するか否かを確認するステップと、
前記方向の決定及び前記刻み幅の増加を行った前記中継サンプルを前記第４訓練済み予測モデルに入力する動作を、前記第４訓練済み予測モデルにより生成される予測結果が前記目標結果と一致するまで実行し続け、最後の前記中継サンプルを前記第４訓練済み予測モデルに対応する前記入力パラメータとするステップ、を含む請求項３に記載の決定変数の計算方法。
【請求項８】
前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、
複数の確認済み決定変数を提供し、前記確認済み決定変数の第１ベクトルを計算するステップと、
前記確認済み決定変数に基づいて、前記第４ローカルデータセットの全てのサンプルにおけるサンプルパラメータから対応する複数の対応サンプルパラメータをそれぞれ取得し、前記対応サンプルパラメータの第２ベクトルを計算するステップと、
前記第１ベクトルと前記第２ベクトルを比較するとともに、前記第４ローカルデータセットの全てのサンプルが前記第４訓練済み予測モデルにおいて生成する予測結果と前記目標結果を比較することで参照サンプルを取得し、前記参照サンプルの前記第２ベクトルは前記第１ベクトルと近似又は一致しており、前記参照サンプルの前記予測結果は前記目標結果と近似又は一致しているステップと、
前記参照サンプルを前記初期サンプルとするステップ、を含む請求項７に記載の決定変数の計算方法。
【請求項９】
更に、
テストサンプルを提供し、前記テストサンプルは、確認済みの複数のテスト入力パラメータ及びテスト目標結果を含むステップと、
前記テスト入力パラメータを複数の訓練済み予測モデル候補に入力し、出力結果が前記テスト目標結果と一致する前記訓練済み予測モデル候補を前記訓練済み予測モデルとするステップ、を含む請求項１に記載の決定変数の計算方法。
【請求項１０】
更に、
第１テストサンプルを提供し、前記第１テストサンプルは、確認済みの複数の第１テスト入力パラメータ及び第１テスト目標結果を含むステップと、
前記第１テスト入力パラメータを複数の訓練済み予測モデル候補に入力し、出力結果が前記第１テスト目標結果と一致する前記訓練済み予測モデル候補を複数の第１訓練済み予測モデル候補とするステップと、
第２テストサンプルを提供し、前記第２テストサンプルは、確認済みの複数の第２テスト入力パラメータ及び第２テスト目標結果を含むステップと、
前記第１訓練済み予測モデル候補に前記第２テスト目標結果をそれぞれ提供して、前記第１訓練済み予測モデル候補に複数の第１入力パラメータ候補を逆推定させて、前記第１入力パラメータ候補が前記第２テスト入力パラメータと一致又は近似するか、前記第１入力パラメータ候補が有効性検証プロセスを満たす前記第１訓練済み予測モデル候補を前記訓練済み予測モデルとするステップ、を含む請求項１に記載の決定変数の計算方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、決定変数の計算方法に関し、特に、連合学習のメンバーから提供される複数の訓練済み人工知能予測モデルを用いて、目標結果に合致する決定変数を逆推定する計算方法に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
医用工学技術の進歩に伴って、現在、疾病の臨床治療における再生医療の応用はいっそう多様化しており、その研究及び応用はますます各界からの注目を浴びている。現在、再生医療は、主に、器官の修復、免疫細胞治療及び幹細胞療法に応用されている。細胞治療とは、人体の細胞を体外で培養又は加工する手順を経たあと、培養したそれらの細胞を個々の体内に移植して使用するものである。従って、細胞を如何に効果的に培養するかは再生医療における極めて重要な要素となる。従来の研究より、各人の体内の細胞は独自の特徴を有しており、それぞれの状況に応じて治療に適した細胞をカスタイマイズする必要があるため、細胞プロセスの複雑度及び難度が増すことが分かっている。一方、大量の細胞データ及びバイオプロセスデータが存在する場合には、機械学習により、それぞれの細胞培養の条件やプロセスパラメータの効果を評価する予測モデルを生成可能である。よって、機械学習を用いれば、細胞プロセスをカスタイマイズする際の複雑度及び難度を低下させられる。しかしながら、これらの細胞データ及びバイオプロセスデータの大部分は、例えば、様々な病院又は実験室における患者の細胞データといった非常にデリケートで秘匿性の高い個人データに属する。従来の集約型機械学習方法を用いる場合には、全てのバイオプロセスデータを中央サーバに集約して分析及び訓練を行う必要があるため、法規やプライバシー保護及び商業的見地等の制約から実施不可能な場合がある。また、医用工学に限らず、データが非常にデリケートで秘匿性のあるどのような技術分野においても、集約型機械学習方法は同様の問題に直面し得る。
【０００３】
連合学習（ｆｅｄｅｒａｔｅｄｌｅａｒｎｉｎｇ）とは、協調学習（ｃｏｌｌａｂｏｒａｔｉｖｅｌｅａｒｎｉｎｇ）とも称される機械学習技術の一種であり、具体的には、ローカルデータサンプルを有する複数の分散型エッジデバイス又はサーバでアルゴリズムを訓練するものである。このような方法は、従来の集約型機械学習技術とは著しく異なっている。従来の集約型機械学習技術では、全てのローカルデータセットを１つのサーバにアップロードして機械学習の訓練を実施する。一方、連合学習は複数のメンバーで構成される。各メンバーは、それぞれが、自身の保有するデータセットにつき機械学習の訓練を実施して各々の訓練済み予測モデルを生成し、訓練済み予測モデルパラメータを中央サーバにアップロードする。中央サーバは、全ての訓練済み予測モデルパラメータに重みを付与して集約し、連合モデルを形成する。また、この連合モデルは、各メンバーに再配布して使用することが可能である。中央サーバは、訓練済み予測モデルパラメータを集約するだけであり、各メンバーのデータセットについて機械学習における分析や処理を直接行うことはない。よって、各メンバーのデータセット内における非常にデリケートで秘匿性の高いデータサンプルや情報が外部に流出することはなく、データの秘匿性が保護される。
【０００４】
上記の連合集約アルゴリズムによって形成される連合モデルは、入力される決定変数に対して予測結果を生成可能なだけでなく、反対に、目標とする結果に対して入力すべき決定変数を逆推定することも可能である。しかしながら、共同で訓練して共有される一体モデルにつき逆推定機能を開発する場合と比べ、連合学習方法に参加するメンバーは、それぞれがローカルデータセットで訓練した予測モデルを用いて逆推定機能を個別に開発することは可能なものの、逆推定の効果がそれほど理想的とはならない場合がある。そのほか、連合メンバー以外のユニットが、良好な予測効果又は逆推定効果を有するメンバーと連携したい場合に、共同で開発された連合モデルの効果のテストのみから、どの連合メンバーの予測モデルが当該ユニットのニーズを最も満たすモデルなのかを知ることはできない。
【０００５】
また、連合学習では、各メンバーのデータセット内における非常にデリケートで秘匿性の高いデータサンプルが外部に流出することはないが、中央サーバと各メンバーとがモデルパラメータをやり取りする必要はある。そのため、共同で開発された連合モデルにより逆推定を行って決定変数を取得する方式は、プロセスの複雑度が高いだけでなく、各メンバー間で直接的又は間接的にモデルパラメータをやり取りする必要もある。
【０００６】
そこで、連合モデルにより決定変数を逆推定する際の複雑度及びモデルの秘匿性の問題を解決するために、連合学習のメンバーが、連合学習アルゴリズムにより共有の予測モデルを共同で算出しなくても、決定変数を逆推定可能な方法を開発する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記に鑑みて、本発明は、以上で述べた従来の課題を解決するために、決定変数の計算方法を提供する。
【課題を解決するための手段】
【０００８】
本発明の具体的実施例によれば、決定変数の計算方法は、複数の訓練済み予測モデルを提供し、当該訓練済み予測モデルは、機械学習方法によって複数のローカルデータセットをそれぞれ機械学習することで得られるステップと、目標結果を提供し、前記訓練済み予測モデルによって、前記目標結果につき複数の入力パラメータをそれぞれ逆推定するステップと、前記訓練済み予測モデルに対応する複数の損失関数をそれぞれ設定し、当該損失関数に第１重み値をそれぞれ付与したあと合計することで総合損失関数を生成し、各前記損失関数は、各前記訓練済み予測モデルを表す目的関数の関数値と前記目標結果との差分値の絶対値、２乗、或いは、差分値に対して単調増加特性を有する関数と定義されるステップと、前記入力パラメータに第２重み値をそれぞれ付与したあと合計することで総合入力パラメータを生成し、前記総合入力パラメータ及び前記総合損失関数により最適化問題を構築するステップと、前記最適化問題の解を求めることで、各前記入力パラメータの前記第２重み値を取得して、前記総合入力パラメータを前記決定変数として算出するステップ、を含む。
【０００９】
決定変数の計算方法は、更に、各前記第２重み値に対する前記総合損失関数の導関数をそれぞれ計算するステップと、前記導関数を組み合わせて方向を形成するステップと、前記総合入力パラメータについて、前記方向に沿って刻み幅を増加させたあと前記訓練済み予測モデルに入力して、前記総合損失関数の関数値が減少するか否かを判断するステップ、を含む。
【００１０】
前記訓練済み予測モデルは、それぞれ、連合学習の複数のメンバーから提供される。
（【００１１】以降は省略されています）

関連特許