公開番号2025103441 公報種別公開特許公報(A) 公開日2025-07-09 出願番号2023220838 出願日2023-12-27 発明の名称計算機システム、モデルの学習方法、及び情報処理方法 出願人株式会社日立製作所 代理人藤央弁理士法人 主分類G06N 3/096 20230101AFI20250702BHJP(計算;計数) 要約【課題】大規模データベースを用いて生成された予測モデルを活用して、情報量が少ないデータを扱う予測モデルを生成する転移学習を実現する。 【解決手段】計算機システムは、第1学習データセットを用いた機械学習によって、ベースとなる第1モデルを生成し、第1モデル及び第2学習データセットを用いた転移学習によって第2モデルを生成する。転移学習では、第2学習データセットを構成する学習データに含まれる第2モデルの予測対象に対応する項目の分布特性に応じて当該学習データの学習への影響を調整する第2損失関数を含む第3損失関数と、第1モデル及び第2モデルの出力の差分を評価する第4損失関数を含む第5損失関数と、の少なくともいずれかを用いて第2モデルが生成される。 【選択図】図2 特許請求の範囲【請求項１】 プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続される接続インタフェースを有する計算機を備える計算機システムであって、 前記記憶装置に格納される第１学習データセットを用いた機械学習によって、ベースとなる第１モデルを生成し、 前記第１モデル及び前記記憶装置に格納される第２学習データセットを用いた転移学習によって第２モデルを生成し、 前記転移学習では、前記第２学習データセットを構成する学習データに含まれる前記第２モデルの予測対象に対応する項目の分布特性に応じて当該学習データの学習への影響を調整する第２損失関数を含む第３損失関数と、前記第１モデル及び前記第２モデルの出力の差分を評価する第４損失関数を含む第５損失関数と、の少なくともいずれかを用いて前記第２モデルが生成されることを特徴とする計算機システム。 続きを表示（約 2,000 文字）【請求項２】 請求項１に記載の計算機システムであって、 前記第２損失関数は、前記第２学習データセットを構成する学習データに含まれる前記第２モデルの予測対象に対応する項目の値が所定の範囲に含まれない前記学習データによる前記第２モデルの更新を抑えるための関数であることを特徴とする計算機システム。 【請求項３】 請求項１に記載の計算機システムであって、 前記第１モデル及び前記第２モデルは、入力層、複数の中間層、及び出力層を含むネットワークであって、 前記第４損失関数は、前記第１モデル及び前記第２モデルの前記入力層及び前記複数の中間層の少なくとも一つの層の出力の差分を評価する損失関数と、前記第１モデル及び前記第２モデルの前記出力層の出力の差分を評価する損失関数と、含むことを特徴とする計算機システム。 【請求項４】 請求項１に記載の計算機システムであって、 前記第３損失関数及び前記第５損失関数は係数を含み、 前記計算機システムは、前記転移学習の進捗状況に応じて、前記第３損失関数又は前記第５損失関数に含まれる前記係数を変更しながら前記転移学習を実行することを特徴とする計算機システム。 【請求項５】 請求項１に記載の計算機システムであって、 前記第２モデルは、患者の疾患又は病態に関する予測を行うモデルであることを特徴とする計算機システム。 【請求項６】 請求項１に記載の計算機システムであって、 前記第１学習データセットに含まれる学習のデータは、細胞株の遺伝子情報と、薬剤応答を含み、 前記第１モデルは、前記細胞株の遺伝子情報から前記薬剤応答を出力し、 前記第２学習データセットに含まれる学習データは、患者の薬剤応答を示す臨床データであり、 前記第２モデルは、患者の遺伝子変異情報を入力として受け付け、前記患者における薬剤応答に関する予測を行うモデルであることを特徴とする計算機システム。 【請求項７】 計算機システムが実行するモデルの学習方法であって、 前記計算機システムは、プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続される接続インタフェースを有する計算機を有し、 前記モデルの学習方法は、 前記プロセッサが、前記記憶装置に格納される第１学習データセットを用いた機械学習を実行することによって第１モデルを生成し、前記第１モデルを前記記憶装置に格納する第１のステップと、 前記プロセッサが、前記記憶装置に格納される前記第１モデル及び第２学習データセットを用いた転移学習を実行することによって第２モデルを生成し、前記第２モデルを前記記憶装置に格納する第２のステップと、を含み 前記第２のステップは、前記プロセッサが、前記第２学習データセットを構成する学習データに含まれる前記第２モデルの予測対象に対応する項目の分布特性に応じて当該学習データの学習への影響を調整する第２損失関数を含む第３損失関数と、前記第１モデル及び前記第２モデルの出力の差分を評価する第４損失関数を含む第５損失関数と、の少なくともいずれかを用いて前記第２モデルを生成するステップを含むことを特徴とするモデルの学習方法。 【請求項８】 請求項７に記載のモデルの学習方法であって、 前記第２損失関数は、前記第２学習データセットを構成する学習データに含まれる、前記第２モデルの予測対象に対応する項目の値が所定の範囲に含まれない前記学習データによる前記第２モデルの更新を抑えるための関数であることを特徴とするモデルの学習方法。 【請求項９】 請求項７に記載のモデルの学習方法であって、 前記第１モデル及び前記第２モデルは、入力層、複数の中間層、及び出力層を含むネットワークであって、 前記第４損失関数は、前記第１モデル及び前記第２モデルの前記入力層及び前記複数の中間層の少なくとも一つの層の出力の差分を評価する損失関数と、前記第１モデル及び前記第２モデルの前記出力層の出力の差分を評価する損失関数と、含むことを特徴とするモデルの学習方法。 【請求項１０】 請求項７に記載のモデルの学習方法であって、 前記第３損失関数及び前記第５損失関数は係数を含み、 前記第２のステップは、前記プロセッサが、前記転移学習の進捗状況に応じて、前記第３損失関数又は前記第５損失関数に含まれる前記係数を変更しながら前記転移学習を実行するステップを含むことを特徴とするモデルの学習方法。 （【請求項１１】以降は省略されています） 発明の詳細な説明【技術分野】 【０００１】 本発明は、大規模公開データベースを用いて生成された予測モデルを活用して、情報量が少ないデータ（例えば実臨床データ）を扱う予測モデルの精度を高める転移学習に関する。 続きを表示（約 2,600 文字）【背景技術】 【０００２】 次世代シーケンシング（ＮＧＳ：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｓｅｑｕｅｎｃｉｎｇ）に代表される遺伝子測定技術の進展により、ハイスループットスクリーニングが可能となり、近年、遺伝子配列データなどの大規模レジストリが急速に蓄積されている。例えば、ＴＣＧＡ（Ｔｈｅ Ｃａｎｃｅｒ Ｇｅｎｏｍｅ Ａｔｌａｓ、ＮＣＩ：Ｎａｔｉｏｎａｌ Ｃａｎｃｅｒ Ｉｎｓｔｉｔｕｔｅ）などの医療機関主催によるマスタークリニカルトライアル含む多くの治験データ、公開細胞株データ（ＣＣＬＥ：Ｃａｎｃｅｒ Ｃｅｌｌ Ｌｉｎｅ Ｅｎｃｙｃｌｏｐｅｄｉａ、ＧＤＳＣ：Ｇｅｎｏｍｉｃｓ ｏｆ Ｄｒｕｇ Ｓｅｎｓｉｔｉｖｉｔｙ ｉｎ Ｃａｎｃｅｒなど）、患者腫瘍移植モデル（ＰＤＸ：ｐａｔｉｅｎｔ-ｄｅｒｉｖｅｄ ｘｅｎｏｇｒａｆｔｓ）データなどである。 【０００３】 これらのいわゆる医用ビッグデータを用いた分析研究も非常に盛んであり、例えば、公開細胞株データを用いた薬物感受性予測モデルの研究もその一つである。しかし、現在の予測モデルの精度、加えてそこから得られた結果の解釈方法は、十分な臨床予測力を有していない。これは、一般的に使用されている細胞株や異種移植片が、ヒトの反応を効果的に模倣／予測できないモデルであることが原因であるとされている（非特許文献１を参照）。 【０００４】 一方で、細胞株データは、数として約１０００、薬剤は約３００、薬効実験数は２４万ほどの膨大な実症例データであり（非特許文献２を参照）、有益な活用方法が望まれている。 【０００５】 公開細胞株データでの検証精度の課題に対して、ＰＤＸの活用による薬物応答プロファイリングが進んでいるが、ＰＤＸの作成にはコストと時間がかかるという問題がある。 【０００６】 非特許文献２では、公開細胞株データで学習した予測モデルをｉｎ－ｖｉｖｏ腫瘍及びｅｘ－ｖｉｖｏ患者由来異種移植片（ＰＤＸ）データへ転移学習し、転帰を予測するモデルを構築している。薬剤ごとの予測とがんごとの予測において、転移学習を使用しない場合（平均）と比較して、それぞれ４９．８％、４７．８％ＡＵＲＯＣを改善した、と報告されている。 【先行技術文献】 【非特許文献】 【０００７】 Jennifer L Wilding, Walter F Bodmer, “Cancer cell lines for drug discovery and development”, Cancer Res. 2014 May 1;74(9):2377-84. doi: 10.1158/0008-5472.CAN-13-2971. Yi-Ching Tang, Reid T. Powell & Assaf Gottlieb, 「Molecular pathways enhance drug response prediction using transfer learning from cell lines to tumors and patient-derived xenografts」, Scientifc Reports(2022) 12:16109. Zhuang, F., Qi, Z., Duan, K., Xi, D., Zhu, Y., Zhu, H., Xiong, H., and He, Q. (2020) A Comprehensive Survey on Transfer Learning. Proceedings of the IEEE 109 (1), 43-76. Motiian, S., Piccirilli, M., Adjeroh, D. A., and Doretto, G.: Unified deep supervised domain adaptation and generalization, in Proceedings of the IEEE International Conference on Computer Vision, pp. 5715-5725 (2017) G. Hinton, O. Vinyals, and J. Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015. Ji-Hoon Bae Junho Yim, Donggyu Joo and Junmo Kim. A gift from knowledge distillation: Fast optimization, network minimization and transfer learning. CVPR, 2017. Maaten, L. V. D. and Hinton, G. “Visualizing Data using t-SNE.” Journal of Machine Learning Research (2008), pp. 1-48. 【発明の概要】 【発明が解決しようとする課題】 【０００８】 例えば、実臨床における医療データは、一般的に、入力するパラメータ（説明変数、特徴量）（Ｐ）に対して、サンプル数（Ｎ）が極端に低いため（Ｐ＞＞Ｎ）、機械学習を用いた予測モデルは十分な予測精度を達成できないか、過学習を起こす可能性が高い。そこで、例えば、公開細胞株データに代表される大規模データベースを活用した高精度な予測モデルの臨床適用が望まれている。 【０００９】 非特許文献２で用いられている転移学習の手法としては、最終層のｆｉｎｅ－ｔｕｎｉｎｇする一般的な転移学習手法を利用している。また、公開細胞株データは、対象疾患によって区別をせず、全ての細胞株データを教師データとして用いた予測モデルを生成している。 【００１０】 本発明は、転移学習により予測が高い予測モデルを生成するシステム及び方法を実現することを目的とする。 【課題を解決するための手段】 （【００１１】以降は省略されています） この特許をJ-PlatPatで参照する
特許ウォッチ
