特許ウォッチ

公開番号2025027437
公報種別公開特許公報(A)
公開日2025-02-27
出願番号2024129698
出願日2024-08-06
発明の名称グラフ表現
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06N 3/04 20230101AFI20250219BHJP(計算;計数)
要約【課題】本発明は、グラフから表現を抽出することに関する。
【解決手段】コンピュータ実施方法は、トレーニングプロセスを実行するステップを含み、前記トレーニングプロセスは、生徒グラフニューラルネットワーク(GNN)を使用して、トレーニンググラフのペアから第1表現のペアを各々抽出するステップと、前記第1表現間の不一致を計算するステップと、少なくとも1つの教師GNNを使用して、前記トレーニンググラフのペアから第2表現のペアを各々抽出するステップと、前記第2表現間の知覚距離を計算するステップと、前記第2表現間の前記知覚距離に少なくとも部分的に基づく目標不一致と前記第1表現間の不一致を比較するステップと、前記比較に基づいて前記生徒GNNの少なくとも1つの重みを調整するステップと、を含む。
【選択図】図4

特許請求の範囲【請求項１】
コンピュータ実施方法であって、トレーニングプロセスを実行するステップを含み、前記トレーニングプロセスは、
生徒グラフニューラルネットワーク（GNN）を使用して、トレーニンググラフのペアから第１表現のペアを各々抽出するステップと、
前記第１表現間の不一致を計算するステップと、
少なくとも１つの教師GNNを使用して、前記トレーニンググラフのペアから第２表現のペアを各々抽出するステップと、
前記第２表現間の知覚距離を計算するステップと、
前記第２表現間の前記知覚距離に少なくとも部分的に基づく目標不一致と前記第１表現間の不一致を比較するステップと、
前記比較に基づいて前記生徒GNNの少なくとも１つの重みを調整するステップと、
を含む、コンピュータ実装方法。
続きを表示（約 1,800 文字）【請求項２】
前記トレーニングプロセスは、
複数の教師GNNの各々を使用して、前記トレーニンググラフのペアから第２表現のペアを各々抽出するステップと、
前記第２表現の各ペアについて、該ペアの前記第２表現間の知覚距離を計算するステップと、
複数の前記知覚距離の平均を計算するステップと、
を含み、
前記目標不一致は、複数の前記知覚距離の平均に少なくとも部分的に基づく、請求項１に記載のコンピュータ実装方法。
【請求項３】
前記トレーニングプロセスは、前記少なくとも１つの教師GNNを使用して前記第２表現のペアを抽出する前に、前記少なくとも１つの教師GNNをトレーニングするステップを更に含む、請求項１又は２に記載のコンピュータ実装方法。
【請求項４】
前記第２表現間の知覚距離を計算するステップは、前記第２表現間のユークリッド距離を計算すステップを含む、請求項１又は２に記載のコンピュータ実装方法。
【請求項５】
前記目標不一致は、関心のある前記トレーニンググラフのペアの間の差に部分的に基づいている、請求項１又は２に記載のコンピュータ実装方法。
【請求項６】
前記目標不一致は、タスクに従う前記第１表現間のタスクベース目標不一致に基づくタスクベース項を含む、及び／又は、
前記トレーニングプロセスは、前記第１表現のうちの少なくとも１つを、タスクに基づく目標表現と比較し、前記比較に基づいて前記生徒GNNの少なくとも１つの重みを調整するステップを更に含む、請求項１又は２に記載のコンピュータ実装方法。
【請求項７】
前記トレーニングプロセスの後に、生徒グラフを使用してタスクを実行するステップを含む、請求項１又は２に記載のコンピュータ実装方法。
【請求項８】
前記タスクは、以下：
分子を表すグラフからグラフ表現を抽出するステップ、
ユーザと製品間の相互作用を表すグラフからグラフ表現を抽出するステップ、
疾患の症例の場所を表すグラフからグラフ表現を抽出するステップ、
トラフィックパターンを表すグラフからグラフ表現を抽出するステップ、
電子メール及びメッセージを表すグラフからグラフ表現を抽出するステップ、
のいずれかを含む、請求項６に記載のコンピュータ実装方法。
【請求項９】
コンピュータプログラムであって、コンピュータ上で実行されると、前記コンピュータにトレーニングプロセスを実行するステップを含む方法を実行させ、前記トレーニングプロセスは、
生徒グラフニューラルネットワーク（GNN）を使用して、トレーニンググラフのペアから第１表現のペアを各々抽出するステップと、
前記第１表現間の不一致を計算するステップと、
少なくとも１つの教師GNNを使用して、前記トレーニンググラフのペアから第２表現のペアを各々抽出するステップと、
前記第２表現間の知覚距離を計算するステップと、
前記第２表現間の前記知覚距離に少なくとも部分的に基づく目標不一致と前記第１表現間の不一致を比較するステップと、
前記比較に基づいて前記生徒GNNの少なくとも１つの重みを調整するステップと、
を含む、コンピュータプログラム。
【請求項１０】
情報処理機器であって、メモリと前記メモリに結合されたプロセッサとを含み、前記プロセッサはトレーニングプロセスを実行するよう構成され、前記トレーニングプロセスは、
生徒グラフニューラルネットワーク（GNN）を使用して、トレーニンググラフのペアから第１表現のペアを各々抽出するステップと、
前記第１表現間の不一致を計算するステップと、
少なくとも１つの教師GNNを使用して、前記トレーニンググラフのペアから第２表現のペアを各々抽出するステップと、
前記第２表現間の知覚距離を計算するステップと、
前記第２表現間の前記知覚距離に少なくとも部分的に基づく目標不一致と前記第１表現間の不一致を比較するステップと、
前記比較に基づいて前記生徒GNNの少なくとも１つの重みを調整するステップと、
を含む、情報処理機器。

発明の詳細な説明【技術分野】
【０００１】
本発明は、グラフから表現を抽出することに関するものであり、特に、コンピュータ実装方法、コンピュータプログラム及び情報プログラミング機器に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
グラフィカル入力（すなわちグラフ）に注釈を付けることは、しばしば高価で時間がかかり、大規模では現実的に不可能な場合がある。グラフに注釈を付ける／ラベルを付ける代わりに、ラベルの付いていないグラフから情報表現を抽出することが有用な場合がある。例えば、ラベルの付いていないグラフから情報表現を抽出することは、グラフを含むタスクについてシステムをトレーニングするためにラベル付きデータが必要であるという問題に対する安価で時間を節約する解決策になり得る。
【０００３】
ニューラルネットワークは、自己教師あり学習手法を使用して表現を学習するために一般的に使用される。例えば、グラフニューラルネットワークは、グラフから表現を学習するために使用することができる。このような表現は、様々な現実世界の領域における下流のタスクに使用される場合がある。例えば、以下の非網羅的なリストのいずれかである。（１）医学領域では、（a）創薬のため、（b）病気の発生を検出するため、（２）化学領域では、未知の化合物の化学的性質を予測するため、（３）ソーシャルネットワークでは、（a）ユーザのプライバシーを制御するため、（b）スパムメールを検出するため、及び（４）ナビゲーションシステムでは、現在のトラフィックパターンに基づいて効率的なルートを見つけるため。
【０００４】
上記に照らして、グラフから表現を効果的に抽出することが望まれる。
【発明の概要】
【０００５】
第１態様の実施形態によると、コンピュータ実施方法であって、トレーニングプロセスを実行するステップを含み、前記トレーニングプロセスは、
生徒／第１グラフニューラルネットワーク（GNN）を使用して、トレーニンググラフのペアから第１表現のペアを各々抽出するステップと、
（第１表現のペアの）前記第１表現間の不一致／差を計算／測定／決定するステップと、
少なくとも１つの（トレーニング済み）教師／第２GNNを使用して、前記トレーニンググラフのペアから第２表現のペアを各々抽出するステップと、
（第２表現のペアの）前記第２表現間の知覚距離を計算するステップと、
前記第２表現間の前記知覚距離に少なくとも部分的に基づく目標不一致／差と前記第１表現間の不一致／差を比較するステップと、
（前記不一致／差と前記目標不一致／差との）前記比較に基づいて（前記不一致／差を前記目標不一致／差にする又は近づけるよう）前記生徒／第１GNNの少なくとも１つの重みを調整する（ことにより前記生徒GNNをトレーニングする）ステップと、
を含む、コンピュータ実装方法が本願明細書において開示される。
【０００６】
任意の態様／実施形態に関連する特徴は、他の任意の態様／実施形態に適用することができる。
【図面の簡単な説明】
【０００７】
例として、以下の添付の図面を参照する。
比較方法を示す図である。
比較方法を示す図である。
比較方法を示す図である。
トレーニングプロセスを示す図である。
トレーニングプロセスを示す図である。
トレーニングプロセスを示す図である。
トレーニングプロセスを示す図である。
トレーニングプロセスを示す図である。
トレーニングプロセスを示す図である。
発明を理解するのに有用な図である。
結果の表である。
例示的な実装を示す図である。
例示的な実装を示す図である。
例示的な実装を示す図である。
機器を示す図である。
【発明を実施するための形態】
【０００８】
図１は、第１比較方法を示す。第１比較方法は、グラフから表現を抽出するようグラフニューラルネットワーク（graph neural network（GNN））をトレーニングするための予測又は予測ベースの方法である。第１比較方法を「１．予測的事前トレーニング」に示す。属性マスクは、入力グラフで実行される。言い換えると、少なくとも１つのノード及び／又は少なくとも１つのエッジが入力グラフから「マスクされる」又は削除される。次に、マスクされた属性を予測するためにGNNが使用される。GNNは、予測された属性と実際にマスクされた属性の差に基づいて更新される。このように、GNNがトレーニングされる。「２．推論フェーズ」に示すのは、入力グラフからグラフ表現を抽出するためのトレーニング後のGNNの後の使用である。
【０００９】
第１比較方法の問題は、この方法でトレーニングされたGNNがグラフのグローバル構造を正しく予測できない傾向があることである。
【００１０】
図２は、第２比較方法を示す。第２比較方法は、グラフから表現を抽出するようグラフニューラルネットワーク（graph neural network（GNN））をトレーニングするための対照学習ベースの方法である。第２比較方法では、入力グラフを拡張する（例えば、ノードの削除、エッジの削除／変換による）。GNNは、入力グラフの２つの拡張（図示されるように、共通パラメータを有するGNNの２つのインスタンスを使用することができる）から表現を抽出するために使用される。次に、GNNは、抽出された２つの表現間の一致を最大化するように調整される。
（【００１１】以降は省略されています）

関連特許