特許ウォッチ

公開番号2024168780
公報種別公開特許公報(A)
公開日2024-12-05
出願番号2023085717
出願日2023-05-24
発明の名称自己教師あり学習プログラム、方法、及び装置
出願人富士通株式会社
代理人弁理士法人太陽国際特許事務所
主分類G06N 3/0895 20230101AFI20241128BHJP(計算;計数)
要約【課題】自己教師あり学習により訓練されるニューラルネットワークの予測精度を向上させる。
【解決手段】自己教師あり学習装置は、第1の分子に含まれる原子のうちの所定割合の原子それぞれについて、予め定めた複数種類の原子群に含まれるいずれかの原子に置換した第2の分子を示すデータを生成し、第2の分子を示すデータを、分子構造に関する予測を行う機械学習モデルに入力して予測結果を取得し、第1の分子に対応する正解データと、予測結果との比較結果に基づいて、機械学習モデルのパラメータを更新する。
【選択図】図6
特許請求の範囲【請求項１】
第１の分子に含まれる原子のうちの所定割合の原子それぞれについて、予め定めた複数種類の原子群に含まれるいずれかの原子に置換した第２の分子を示すデータを生成し、
前記第２の分子を示すデータを、分子構造に関する予測を行う機械学習モデルに入力して予測結果を取得し、
前記第１の分子に対応する正解データと、前記予測結果との比較結果に基づいて、前記機械学習モデルのパラメータを更新する、
ことを含む処理をコンピュータに実行させるための自己教師あり学習プログラム。
続きを表示（約 1,400 文字）【請求項２】
前記予測結果は、前記第２の分子に含まれる原子のうち、少なくとも前記第１の分子に含まれる原子から置換された原子が、前記第１の分子に含まれる原子の各々から置換されているか否かを示す情報であり、
前記正解データは、前記第１の分子を示すデータと前記第２の分子を示すデータとの差分を示すデータである、
請求項１に記載の自己教師あり学習プログラム。
【請求項３】
前記予測結果は、前記第２の分子に含まれる原子のうち、少なくとも前記第１の分子に含まれる原子から置換された原子が、前記原子群に含まれるいずれの原子であるかを示す情報であり、
前記正解データは、前記第１の分子を示すデータである、
請求項１に記載の自己教師あり学習プログラム。
【請求項４】
前記予測結果は、前記第２の分子に含まれる全ての原子についての情報を含む請求項２又は請求項３に記載の自己教師あり学習プログラム。
【請求項５】
前記所定割合が０の場合、前記第２の分子を示すデータは、前記第１の分子を示すデータであり、
前記予測結果は、前記第２の分子に含まれる全ての原子についての情報を含む、
請求項１に記載の自己教師あり学習プログラム。
【請求項６】
前記機械学習モデルは、前記第２の分子を示すデータから前記第２の分子の分子構造を示す特徴量を抽出する第１の部分と、前記第１の部分で抽出された特徴量に基づいて、特定のタスクに応じた予測結果を出力する第２の部分とを含み、訓練された機械学習モデルの前記第１の部分は、転移学習に利用される請求項１～請求項３のいずれか１項に記載の自己教師あり学習プログラム。
【請求項７】
前記第２の部分は、前記第２の分子に含まれる原子の各々についての前記第１の部分の出力にそれぞれ対応した異なる出力部を含み、
前記予測結果を取得する処理は、前記第２の分子に含まれる原子の各々についての予測結果を一度に取得することを含む、
請求項６に記載の自己教師あり学習プログラム。
【請求項８】
第１の分子に含まれる原子のうちの所定割合の原子それぞれについて、予め定めた複数種類の原子群に含まれるいずれかの原子に置換した第２の分子を示すデータを生成し、
前記第２の分子を示すデータを、分子構造に関する予測を行う機械学習モデルに入力して予測結果を取得し、
前記第１の分子に対応する正解データと、前記予測結果との比較結果に基づいて、前記機械学習モデルのパラメータを更新する、
ことを含む処理をコンピュータが実行する自己教師あり学習方法。
【請求項９】
第１の分子に含まれる原子のうちの所定割合の原子それぞれについて、予め定めた複数種類の原子群に含まれるいずれかの原子に置換した第２の分子を示すデータを生成する生成部と、
前記第２の分子を示すデータを、分子構造に関する予測を行う機械学習モデルに入力して予測結果を取得する取得部と、
前記第１の分子に対応する正解データと、前記予測結果との比較結果に基づいて、前記機械学習モデルのパラメータを更新する更新部と、
を含む自己教師あり学習装置。

発明の詳細な説明【技術分野】
【０００１】
開示の技術は、自己教師あり学習プログラム、自己教師あり学習方法、及び自己教師あり学習装置に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
従来、分子の構造データに基づいて、その分子のエネルギーを予測するニューラルネットワークが提案されている。このニューラルネットワークは、「構造」と「エネルギー」とからなるラベル付きデータを用いて教師あり学習により訓練される。この「エネルギー」は、例えば、密度汎関数理論（ＤＦＴ：Density Functional Theory）と呼ばれる数値計算手法で計算される。ＤＦＴによる分子のエネルギーの計算時間は非常に長く、１つの構造のエネルギーの計算に、半日から３日かかる場合もある。そのため、教師あり学習のためのラベル付きデータを大量に集めることが困難である。
【０００３】
そこで、ラベルなしデータから、タスクの正解（ラベル）を生成し、生成したラベルを用いて教師あり学習を行う自己教師あり学習と呼ばれる手法が存在する。例えば、文章の一部の単語をマスクして、マスクした単語をニューラルネットワークに予測させることで、自己教師あり学習を行う。分子のエネルギーの予測を行うニューラルネットに向けた自己教師あり学習の手法も提案されている。この手法では、分子を構成する原子及び原子間の結合の一部がマスクされる。
【先行技術文献】
【特許文献】
【０００４】
特表２０２１－５１８０２４号公報
【非特許文献】
【０００５】
Kristof T. Sch▲u▼tt, Oliver T. Unke, Michael Gastegger, "Equivariant Message Passing for the Prediction of Tensorial Properties and Molecular Spectra," PMLR, 2021.
Johannes Gasteiger, Muhammed Shuaibi, Anuroop Sriram, Stephan Gunnemann, Zachary Ulissi, C. Lawrence Zitnick, Abhishek Das, "GemNet-OC: Developing Graph Neural Networks for Large and Diverse Molecular Simulation Datasets," Transactions on Machine Learning Research, 2022.
Zaixi Zhang, Qi Liu, Shengyu Zhang, Chang-Yu Hsieh, Liang Shi, Chee-Kong Lee, "Graph Self-Supervised Learning for Optoelectronic Properties of Organic Semiconductors," ICML, 2022.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術では、実際の原子としては存在しない「マスク」という情報をニューラルネットワークが学習してしまうことになり、無駄な学習が行われ、ニューラルネットワークの予測精度が低下する場合があるという問題がある。
【０００７】
一つの側面として、開示の技術は、自己教師あり学習により訓練されるニューラルネットワークの予測精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
一つの態様として、開示の技術は、第１の分子に含まれる原子のうちの所定割合の原子それぞれについて、予め定めた複数種類の原子群に含まれるいずれかの原子に置換した第２の分子を示すデータを生成する。また、開示の技術は、前記第２の分子を示すデータを、分子構造に関する予測を行う機械学習モデルに入力して予測結果を取得する。そして、開示の技術は、前記第１の分子に対応する正解データと、前記予測結果との比較結果に基づいて、前記機械学習モデルのパラメータを更新する。
【発明の効果】
【０００９】
一つの側面として、自己教師あり学習により訓練されるニューラルネットワークの予測精度を向上させることができる、という効果を有する。
【図面の簡単な説明】
【００１０】
分子のエネルギー予測のＮＮについて説明するための図である。
転移学習について説明するための図である。
分子のエネルギー予測のためのＮＮに向けた自己教師あり学習を説明するための図である。
分子のエネルギー予測のためのＮＮに向けた自己教師あり学習の課題を説明するための図である。
自己教師あり学習装置の機能ブロック図である。
第１実施形態における自己教師あり学習装置の処理を説明するための図である。
自己教師あり学習装置として機能するコンピュータの概略構成を示すブロック図である。
自己教師あり学習処理の一例を示すフローチャートである。
第２実施形態における自己教師あり学習装置の処理を説明するための図である。
ＮＮの構成の一例を説明するための図である。
本手法の効果についての検証結果を示す図である。
本手法の効果についての検証結果を示す図である。
本手法の効果についての検証結果を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許