特許ウォッチ

公開番号2025011053
公報種別公開特許公報(A)
公開日2025-01-23
出願番号2024109318
出願日2024-07-08
発明の名称決定変数の計算方法
出願人三顧股ふん有限公司
代理人個人,個人
主分類G06N 3/0985 20230101AFI20250116BHJP(計算;計数)
要約【課題】一般的な機械学習のプラットフォームを利用して、所期の結果を達成する最適な入力パラメータを有効に探索可能な決定変数の計算方法を提供する。
【解決手段】方法は、訓練済みのニューラルネットワーク予測モデルの入力端子に、訓練済み予測モデルの入力端子と同数の人工ニューロンを含むダミー層を増設し、ダミーの各ニューロンと、それに対応する元のモデルの入力端子のニューロンとの間に新たなリンクを構築し、各人工ニューロンの入力値を1に設定する。活性化関数のバイアス値が0であり、活性化関数の入力が1の場合、出力は1となる。そして、新たなリンクの重みの初期値を選別及び設定し、範囲又はその他の相互間の制約条件を有する重み値を決定変数と見なし、訓練済み予測モデルのパラメータを凍結し、新たなリンクの重み値のみを調整するとともに、一般的な機械学習のプラットフォームに内蔵されるオプティマイザによって最適解を求める。
【選択図】図2
特許請求の範囲【請求項１】
訓練済み予測モデルを提供し、前記訓練済み予測モデルは機械学習方法によって機械学習することで得られ、前記訓練済み予測モデルは入力層及び出力層を含み、前記訓練済み予測モデルは、前記入力層を通じて複数の入力パラメータを入力し、前記出力層により前記入力パラメータに対応する予測結果を生成するために用いられるステップと、
前記訓練済み予測モデルの前記予測結果に対応する目標結果を設定するとともに、前記入力パラメータのうちの少なくとも１つの確認済み入力パラメータを提供するステップと、
前記訓練済み予測モデルの前記入力層に接続されるダミー層を増設し、前記ダミー層は、前記入力層の各入力端子にそれぞれ接続される複数の人工ニューロンを含み、前記訓練済み予測モデルと前記ダミー層によってパラメータ予測モデルが形成され、前記訓練済み予測モデルの前記予測結果が前記パラメータ予測モデルの出力となるステップと、
各前記人工ニューロンの活性化関数のバイアス値を０に設定し、前記活性化関数の入力値が１の場合、前記活性化関数の出力値は１となるステップと、
前記少なくとも１つの確認済み入力パラメータに基づき、前記少なくとも１つの確認済み入力パラメータに対応する前記人工ニューロンのうちの少なくとも１つの第１人工ニューロンの少なくとも１つの第１重み値をそれぞれ設定するステップと、
前記目標結果に対応する前記パラメータ予測モデルの出力を設定し、少なくとも１つのオールワンベクトルを含む訓練データセットを前記パラメータ予測モデルの前記ダミー層の前記人工ニューロンに入力することで前記パラメータ予測モデルを訓練し、前記訓練済み予測モデルを生成した前記機械学習方法におけるオプティマイザによって、前記目標結果及び前記少なくとも１つの第１重み値に基づき、前記少なくとも１つの第１人工ニューロン以外の前記人工ニューロンの第２重み値をそれぞれ調整するとともに、前記第２重み値を前記入力パラメータのうちの複数の未確認入力パラメータとするステップ、を含む決定変数の計算方法。
続きを表示（約 3,100 文字）【請求項２】
前記オプティマイザは、更に、適応的モーメント推定（ＡｄａｐｔｉｖｅＭｏｍｅｎｔＥｓｔｉｍａｔｉｏｎ，Ａｄａｍ）最適化、確率的勾配降下法（ＳｔｏｃｈａｓｔｉｃＧｒａｄｉｅｎｔＤｅｓｃｅｎｔ，ＳＧＤ）、モメンタム（Ｍｏｍｅｎｔｕｍ）、Ｎｅｓｔｅｒｏｖ加速勾配法（ＮｅｓｔｅｒｏｖＡｃｃｅｌｅｒａｔｅｄＧｒａｄｉｅｎｔ，ＮＡＧ）、適応型勾配アルゴリズム（ＡｄａｐｔｉｖｅＧｒａｄｉｅｎｔＡｌｇｏｒｉｔｈｍ，ＡｄａＧｒａｄ）、Ｎａｄａｍ（Ｎｅｓｔｅｒｏｖ－ａｃｃｅｌｅｒａｔｅｄＡｄａｐｔｉｖｅＭｏｍｅｎｔＥｓｔｉｍａｔｉｏｎ）、ＲＭＳｐｒｏｐ（ＲｏｏｔＭｅａｎＳｑｕａｒｅＰｒｏｐａｇａｔｉｏｎ）、Ａｄａｄｅｌｔａ（ＡｄａｐｔｉｖｅＤｅｌｔａ）、ＡｄａｍＷ（ＡｄａｍｗｉｔｈＷｅｉｇｈｔＤｅｃａｙ）、ＡＭＳＧｒａｄ（ＡｄａｐｔｉｖｅＭｏｍｅｎｔＥｓｔｉｍａｔｉｏｎｗｉｔｈＬｏｎｇ－ｔｅｒｍＭｅｍｏｒｙ）、ＡｄａＢｅｌｉｅｆ（ＡｄａｐｔｉｖｅＢｅｌｉｅｆ）、ＬＡＲＳ（Ｌａｙｅｒ－ｗｉｓｅＡｄａｐｔｉｖｅＲａｔｅＳｃａｌｉｎｇ）、自己適応Ｈｅｓｓｉａｎ（ＡｄａＨｅｓｓｉａｎ）、ＲＡｄａｍ（ＲｅｃｔｉｆｉｅｄＡｄａｍ）、先読み（Ｌｏｏｋａｈｅａｄ）、ＭａｄＧｒａｄ（Ｍｏｍｅｎｔｕｍｉｚｅｄ，Ａｄａｐｔｉｖｅ，ａｎｄＤｅｃｅｎｔｒａｌｉｚｅｄＧｒａｄｉｅｎｔＤｅｓｃｅｎｔ）、Ｙｏｇｉオプティマイザ（Ｙｏｇｉ）及びＡｄａｍＭａｘ（ＡｄａｐｔｉｖｅＭｏｍｅｎｔＥｓｔｉｍａｔｉｏｎｗｉｔｈＭａｘｉｍｕｍ）のうちのいずれかから選択される請求項１に記載の決定変数の計算方法。
【請求項３】
前記訓練済み予測モデルは、前記機械学習方法によってデータセットを機械学習することで得られる請求項１に記載の決定変数の計算方法。
【請求項４】
前記訓練済み予測モデルは複数のモデルパラメータを含み、これらのモデルパラメータはいずれも固定されている請求項１に記載の決定変数の計算方法。
【請求項５】
前記訓練済み予測モデルは、人工ニューラルネットワーク（ＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＡＮＮ）、畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＣＮＮｓ）、回帰型ニューラルネットワーク（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＲＮＮｓ）、再帰型ニューラルネットワーク（ＲｅｃｕｒｓｉｖｅＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＲｅｃＮＮ）及び複素ニューラルネットワーク（ＣｏｍｐｌｅｘＮｅｕｒａｌＮｅｔｗｏｒｋｓ）のいずれかによって前記データセットを機械学習することで得られる請求項１に記載の決定変数の計算方法。
【請求項６】
複数の決定変数を計算するために用いられ、
訓練済み予測モデルを提供し、前記訓練済み予測モデルは機械学習方法によって機械学習することで得られ、前記訓練済み予測モデルは入力層及び出力層を含み、前記訓練済み予測モデルは、前記入力層を通じて複数の入力パラメータを入力し、前記出力層により前記入力パラメータに対応する予測結果を生成するために用いられるステップと、
前記訓練済み予測モデルの前記予測結果に対応する目標結果を設定するステップと、
前記訓練済み予測モデルの前記入力層に接続されるダミー層を増設し、前記ダミー層は、前記入力層の各入力端子にそれぞれ接続される複数の人工ニューロンを含み、前記訓練済み予測モデルと前記ダミー層によってパラメータ予測モデルが形成され、前記訓練済み予測モデルの前記予測結果が前記パラメータ予測モデルの出力となるステップと、
各前記人工ニューロンの活性化関数のバイアス値を０に設定し、前記活性化関数の入力値が１の場合、前記活性化関数の出力値は１となるステップと、
前記目標結果に対応する前記パラメータ予測モデルの出力を設定し、少なくとも１つのオールワンベクトルを含む訓練データセットを前記パラメータ予測モデルの前記ダミー層の前記人工ニューロンに入力することで前記パラメータ予測モデルを訓練し、前記訓練済み予測モデルを生成した前記機械学習方法におけるオプティマイザによって、前記目標結果に基づき各前記人工ニューロンの基準重み値を調整するとともに、当該基準重み値を前記決定変数とするステップ、を含む決定変数の計算方法。
【請求項７】
前記オプティマイザは、更に、適応的モーメント推定（ＡｄａｐｔｉｖｅＭｏｍｅｎｔＥｓｔｉｍａｔｉｏｎ，Ａｄａｍ）最適化、確率的勾配降下法（ＳｔｏｃｈａｓｔｉｃＧｒａｄｉｅｎｔＤｅｓｃｅｎｔ，ＳＧＤ）、モメンタム（Ｍｏｍｅｎｔｕｍ）、Ｎｅｓｔｅｒｏｖ加速勾配法（ＮｅｓｔｅｒｏｖＡｃｃｅｌｅｒａｔｅｄＧｒａｄｉｅｎｔ，ＮＡＧ）、適応型勾配アルゴリズム（ＡｄａｐｔｉｖｅＧｒａｄｉｅｎｔＡｌｇｏｒｉｔｈｍ，ＡｄａＧｒａｄ）、Ｎａｄａｍ（Ｎｅｓｔｅｒｏｖ－ａｃｃｅｌｅｒａｔｅｄＡｄａｐｔｉｖｅＭｏｍｅｎｔＥｓｔｉｍａｔｉｏｎ）、ＲＭＳｐｒｏｐ（ＲｏｏｔＭｅａｎＳｑｕａｒｅＰｒｏｐａｇａｔｉｏｎ）、Ａｄａｄｅｌｔａ（ＡｄａｐｔｉｖｅＤｅｌｔａ）、ＡｄａｍＷ（ＡｄａｍｗｉｔｈＷｅｉｇｈｔＤｅｃａｙ）、ＡＭＳＧｒａｄ（ＡｄａｐｔｉｖｅＭｏｍｅｎｔＥｓｔｉｍａｔｉｏｎｗｉｔｈＬｏｎｇ－ｔｅｒｍＭｅｍｏｒｙ）、ＡｄａＢｅｌｉｅｆ（ＡｄａｐｔｉｖｅＢｅｌｉｅｆ）、ＬＡＲＳ（Ｌａｙｅｒ－ｗｉｓｅＡｄａｐｔｉｖｅＲａｔｅＳｃａｌｉｎｇ）、自己適応Ｈｅｓｓｉａｎ（ＡｄａＨｅｓｓｉａｎ）、ＲＡｄａｍ（ＲｅｃｔｉｆｉｅｄＡｄａｍ）、先読み（Ｌｏｏｋａｈｅａｄ）、ＭａｄＧｒａｄ（Ｍｏｍｅｎｔｕｍｉｚｅｄ，Ａｄａｐｔｉｖｅ，ａｎｄＤｅｃｅｎｔｒａｌｉｚｅｄＧｒａｄｉｅｎｔＤｅｓｃｅｎｔ）、Ｙｏｇｉオプティマイザ（Ｙｏｇｉ）及びＡｄａｍＭａｘ（ＡｄａｐｔｉｖｅＭｏｍｅｎｔＥｓｔｉｍａｔｉｏｎｗｉｔｈＭａｘｉｍｕｍ）のうちのいずれかから選択される請求項６に記載の決定変数の計算方法。
【請求項８】
前記訓練済み予測モデルは、前記機械学習方法によってデータセットを機械学習することで得られる請求項６に記載の決定変数の計算方法。
【請求項９】
前記訓練済み予測モデルは複数のモデルパラメータを含み、これらのモデルパラメータはいずれも固定されている請求項６に記載の決定変数の計算方法。
【請求項１０】
前記訓練済み予測モデルは、人工ニューラルネットワーク（ＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＡＮＮ）、畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＣＮＮｓ）、回帰型ニューラルネットワーク（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＲＮＮｓ）、再帰型ニューラルネットワーク（ＲｅｃｕｒｓｉｖｅＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＲｅｃＮＮ）及び複素ニューラルネットワーク（ＣｏｍｐｌｅｘＮｅｕｒａｌＮｅｔｗｏｒｋｓ）のいずれかによって前記データセットを機械学習することで得られる請求項６に記載の決定変数の計算方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、決定変数の計算方法に関し、特に、人工知能ニューラルネットワークエンジンのトレーニングプラットフォームに内蔵されたオプティマイザを利用して、決定変数及びプロセスパラメータを逆推定する決定変数の計算方法に関する。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
医用工学技術の進歩に伴って、ヘルスケア分野に多大な影響が生じているだけでなく、臨床への再生医療の応用も増加している。再生医療とは、主として、損傷した組織や器官を細胞の再生能力を利用して修復する医療技術であり、応用範囲が非常に広い。また、組織工学や分子生物学等の医療技術を組み合わせることで、例えば、糖尿病、神経疾患、心血管疾患及び癌等のかつては治療困難とされていた疾病の改善及び治療が可能になることが期待されている。現在、再生医療は、主として、組織工学及び再生治療、器官の移植及び再生、組織の再生及び修復、癌の治療、神経再生、免疫細胞治療及び幹細胞療法に応用されている。中でも、再生医療における細胞治療の研究及び応用は各界からますます注目を浴びている。細胞治療とは、人体の細胞を体外で培養又は加工する手順を経たあと、それらの細胞を個々の体内に移植して使用するものである。
【０００３】
細胞治療は、個別化治療、拒絶反応の回避、臓器移植の代替及び組織機能の回復といった優位性を有している。現在、多くの国の政府が各国内における細胞治療の応用を徐々に解禁していることから、国内外の多くの学者が相次いで細胞治療の研究に参入している。その結果、例えば、自家線維芽細胞による皮膚欠損の治療、自家軟骨細胞による膝関節軟骨欠損の治療、自家骨髄間葉系幹細胞による脊髄損傷の治療など、多くの疾病の治療において、細胞治療は著しい研究の進歩を遂げている。従来の研究によれば、各人体が有する細胞はいずれも独自の特徴を有しているため、疾病や症状の違いに応じて、事案ごとに適用される細胞製剤の種類も異なる。よって、個々の状況に応じて治療に適した細胞をカスタマイズする必要があることから、プロセス内での細胞の複雑度及び困難度が増してしまう。また、細胞治療の製品の品質は、治療の安全性及び有効性に直接的な影響を及ぼす。そのため、細胞培養プロセスでは、細胞の成長状態を厳格にコントロールするとともに、細胞成長の培養パラメータ及び環境パラメータを即時にモニタリングして、培養過程における細胞の汚染又は品質の悪化を回避する必要がある。しかしながら、異なる事案間で細胞の多様性（ｖａｒｉａｂｉｌｉｔｙ）は極めて高くなるため、異なる事案に適用される細胞製剤の最適な培養パラメータ及び環境パラメータは完全には同じとならない。また、細胞製剤ごとに、プロセス内で各決定変数（即ち、プロセスパラメータ）を調整して所期の結果を達成する必要があるため、固定の決定変数で各細胞製剤の生産を行うことはできない。
【０００４】
従来技術では、機械学習によって大量のサンプルのデータセットについて訓練を行い、予測モデルを取得する。そして、機械学習のオプティマイザで予測モデルのパラメータを調整することで、目的関数を最小化又は最大化する。これにより、予測モデルの精度を向上させるとともに、予測モデルの収束過程を加速させて、機械学習及び収束に要する時間と計算コストを更に減少させる。加えて、この予測モデルは、各種決定変数を入力して細胞培養の予測結果を生成することが可能なため、ユーザは、設計する細胞培養プロセスの効果を事前にシミュレーションできる。
【０００５】
しかしながら、機械学習で訓練される上記の予測モデルでは、ユーザの所期の結果から細胞培養プロセスの決定変数を逆推定することはできない。換言すると、プロセスを設計する際に、ユーザは、異なる決定変数を大量に試す必要があるため、培養プロセスの設計及び改良に大量の労力と資源が費やされる。そのほか、細胞培養のプロセスでパラメータの予測が必要なだけでなく、ニューラルネットワークの訓練に関するその他の機械学習モデルでも、決定変数及びプロセスパラメータの逆推定は必要とされる。
【０００６】
そこで、予測結果に合致するプロセスの決定変数を逆推定可能とすることで、プロセスを更に最適化する方法を開発する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記に鑑みて、本発明は、以上で述べた従来の課題を解決するために、決定変数の計算方法を提供する。
【課題を解決するための手段】
【０００８】
本発明は、決定変数の計算方法を提供する。当該方法は、訓練済み予測モデルを提供し、前記訓練済み予測モデルは機械学習方法によって機械学習することで得られ、前記訓練済み予測モデルは入力層及び出力層を含み、前記訓練済み予測モデルは、前記入力層を通じて複数の入力パラメータを入力し、前記出力層により入力パラメータに対応する予測結果を生成するために用いられるステップと、前記訓練済み予測モデルの前記予測結果に対応する目標結果を設定するとともに、入力パラメータのうちの少なくとも１つの確認済み入力パラメータを提供するステップと、前記訓練済み予測モデルの前記入力層に接続されるダミー層を増設し、前記ダミー層は、前記入力層の各入力端子にそれぞれ接続される複数の人工ニューロンを含み、前記訓練済み予測モデルと前記ダミー層によってパラメータ予測モデルが形成され、前記訓練済み予測モデルの前記予測結果が前記パラメータ予測モデルの出力となるステップと、各人工ニューロンの活性化関数のバイアス値を０に設定し、活性化関数の入力値が１の場合、活性化関数の出力値は１となるステップと、前記少なくとも１つの確認済み入力パラメータに基づき、少なくとも１つの確認済み入力パラメータに対応する人工ニューロンのうちの少なくとも１つの第１人工ニューロンの少なくとも１つの第１重み値をそれぞれ設定するステップと、前記目標結果に対応する前記パラメータ予測モデルの出力を設定し、少なくとも１つのオールワンベクトルを含む訓練データセットを前記パラメータ予測モデルの前記ダミー層の人工ニューロンに入力することで前記パラメータ予測モデルを訓練し、前記訓練済み予測モデルを生成した前記機械学習方法におけるオプティマイザによって、前記目標結果及び前記少なくとも１つの第１重み値に基づき、前記少なくとも１つの第１人工ニューロン以外の人工ニューロンの第２重み値をそれぞれ調整するとともに、第２重み値を入力パラメータのうちの複数の未確認入力パラメータとするステップ、を含む。
【０００９】
オプティマイザは、更に、適応的モーメント推定（ＡｄａｐｔｉｖｅＭｏｍｅｎｔＥｓｔｉｍａｔｉｏｎ，Ａｄａｍ）最適化、確率的勾配降下法（ＳｔｏｃｈａｓｔｉｃＧｒａｄｉｅｎｔＤｅｓｃｅｎｔ，ＳＧＤ）、モメンタム（Ｍｏｍｅｎｔｕｍ）、Ｎｅｓｔｅｒｏｖ加速勾配法（ＮｅｓｔｅｒｏｖＡｃｃｅｌｅｒａｔｅｄＧｒａｄｉｅｎｔ，ＮＡＧ）、適応型勾配アルゴリズム（ＡｄａｐｔｉｖｅＧｒａｄｉｅｎｔＡｌｇｏｒｉｔｈｍ，ＡｄａＧｒａｄ）、Ｎａｄａｍ（Ｎｅｓｔｅｒｏｖ－ａｃｃｅｌｅｒａｔｅｄＡｄａｐｔｉｖｅＭｏｍｅｎｔＥｓｔｉｍａｔｉｏｎ）、ＲＭＳｐｒｏｐ（ＲｏｏｔＭｅａｎＳｑｕａｒｅＰｒｏｐａｇａｔｉｏｎ）、Ａｄａｄｅｌｔａ（ＡｄａｐｔｉｖｅＤｅｌｔａ）、ＡｄａｍＷ（ＡｄａｍｗｉｔｈＷｅｉｇｈｔＤｅｃａｙ）、ＡＭＳＧｒａｄ（ＡｄａｐｔｉｖｅＭｏｍｅｎｔＥｓｔｉｍａｔｉｏｎｗｉｔｈＬｏｎｇ－ｔｅｒｍＭｅｍｏｒｙ）、ＡｄａＢｅｌｉｅｆ（ＡｄａｐｔｉｖｅＢｅｌｉｅｆ）、ＬＡＲＳ（Ｌａｙｅｒ－ｗｉｓｅＡｄａｐｔｉｖｅＲａｔｅＳｃａｌｉｎｇ）、自己適応Ｈｅｓｓｉａｎ（ＡｄａＨｅｓｓｉａｎ）、ＲＡｄａｍ（ＲｅｃｔｉｆｉｅｄＡｄａｍ）、先読み（Ｌｏｏｋａｈｅａｄ）、ＭａｄＧｒａｄ（Ｍｏｍｅｎｔｕｍｉｚｅｄ，Ａｄａｐｔｉｖｅ，ａｎｄＤｅｃｅｎｔｒａｌｉｚｅｄＧｒａｄｉｅｎｔＤｅｓｃｅｎｔ）、Ｙｏｇｉオプティマイザ（Ｙｏｇｉ）及びＡｄａｍＭａｘ（ＡｄａｐｔｉｖｅＭｏｍｅｎｔＥｓｔｉｍａｔｉｏｎｗｉｔｈＭａｘｉｍｕｍ）のうちのいずれかから選択される。
【００１０】
訓練済み予測モデルは、前記機械学習方法によってデータセットを機械学習することで得られる。
（【００１１】以降は省略されています）

関連特許