特許ウォッチ

公開番号2025156027
公報種別公開特許公報(A)
公開日2025-10-14
出願番号2025041987
出願日2025-03-17
発明の名称凝縮グラフ分布(CGD)に基づいたグラフ連続学習
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06N 3/04 20230101AFI20251002BHJP(計算;計数)
要約【課題】凝縮グラフ分布(CGD)に基づいたグラフ連続学習のための方法等を提供する。
【解決手段】方法は、第2グラフのシーケンスを含むグラフ学習タスクに続いて、第1タスクと関連付けられた第1グラフを受け取ることを含む。グラフ学習タスクと関連付けられた凝縮グラフ分布(CGD)の組からサンプルグラフの組が選択される。1つ以上の補助グラフニューラルネットワーク(GNN)モデル、第1グラフ、及びサンプルグラフの組に基づいて、CGDの組と関連付けられた統計値の組が更新される。第1タスクと関連付けられた第1CGDが学習される。第1CGD及びCGDの組から複数のサンプルグラフが再選択される。プライマリGNNモデルの下流予測タスクと関連付けられた予測誤差に対応する第1損失が決定される。プライマリGNNモデルによって、第1損失に基づいて、下流予測タスクと関連付けられた予測結果が生成される。
【選択図】図13

特許請求の範囲【請求項１】
プロセッサが実行する方法であって、
第２グラフのシーケンスを含む入来するグラフ学習タスクに続いて、第１タスクと関連付けられた第１グラフを受け取ることと、
前記入来するグラフ学習タスクと関連付けられた凝縮グラフ分布（ＣＧＤ）の組からサンプルグラフの組を選択することと、
１つ以上の補助グラフニューラルネットワーク（ＧＮＮ）モデル、前記第１グラフ、及び前記サンプルグラフの組に基づいて、前記ＣＧＤの組と関連付けられた統計値の組を更新することと、
前記統計値の組に基づいて、前記第１タスクと関連付けられた第１ＣＧＤを学習することと、
前記第１ＣＧＤ及び前記ＣＧＤの組から複数のサンプルグラフを再選択することと、
前記第１グラフ、前記複数のサンプルグラフ、及びプライマリＧＮＮモデルに基づいて第１損失を決定することであり、前記第１損失は、前記プライマリＧＮＮモデルの下流予測タスクと関連付けられた予測誤差に対応し、前記プライマリＧＮＮモデルは、前記第１損失に基づいて前記下流予測タスクについての予測結果を生成するよう構成される、ことと、
前記プライマリＧＮＮモデルに基づいて、前記下流予測タスクと関連付けられた前記予測結果を含む第１情報のレンダリングを制御することと
を有する方法。
続きを表示（約 2,100 文字）【請求項２】
前記第１グラフに基づいて、確率的メモリバッファから、前記入来するグラフ学習タスクと関連付けられた前記ＣＧＤの組を抽出し、前記ＣＧＤの組からの前記サンプルグラフの組の選択が前記確率的メモリバッファからの前記ＣＧＤの組の抽出に基づくことと、
前記第１タスクと関連付けられた前記第１ＣＧＤを前記確率的メモリバッファに格納し、前記複数のサンプルグラフが前記確率的メモリバッファから再選択されることと
を更に有する、請求項１に記載の方法。
【請求項３】
前記第１グラフと前記サンプルグラフの組との間の特徴マッチングに基づいて、前記１つ以上の補助ＧＮＮモデルと関連付けられた第２損失を決定することを更に有し、
前記ＣＧＤの組と関連付けられた前記統計値の組の更新は、前記第２損失に更に基づく、
請求項１に記載の方法。
【請求項４】
前記入来するグラフ学習タスクのタイムラインにおいて前記第１タスクに先行する第２タスクと関連付けられた事前訓練済みＧＮＮモデルに基づいて前記プライマリＧＮＮモデルを初期化することを更に有し、
前記プライマリＧＮＮモデルは、前記プライマリＧＮＮモデルの初期化に更に基づいて前記予測結果を生成するよう構成される、
請求項１に記載の方法。
【請求項５】
前記１つ以上の補助ＧＮＮモデルは、共有パラメータと関連付けられた第１のＧＮＮモデルの組に対応し、
前記統計値の組の更新は、前記第１グラフ及び前記サンプルグラフの組からの対応するグラフに対する前記第１のＧＮＮモデルの組からのＧＮＮモデルの適用に更に基づく、
請求項１に記載の方法。
【請求項６】
第１タスク識別子（ＩＤ）と関連付けられた第１テストグラフを受け取ることと、
前記第１タスクＩＤに基づいて、前記第１ＣＧＤ及び前記ＣＧＤの組から第１のサンプルグラフのグループを選択することと、
前記プライマリＧＮＮモデル、前記第１テストグラフ、及び前記第１のサンプルグラフのグループに基づいて、第１のノード埋め込みの組を生成することと、
前記第１のノード埋め込みの組に基づいて、前記第１タスクＩＤと関連付けられた第１のタスク特有の予測を生成することと、
前記第１のタスク特有の予測を含む第２情報のレンダリングを制御することと
を更に有する、請求項１に記載の方法。
【請求項７】
前記第１のサンプルグラフのグループに基づいて、前記プライマリＧＮＮモデルと関連付けられた第３損失を決定することと、
前記第３損失に基づいて、前記プライマリＧＮＮモデルからファインチューニング済みＧＮＮモデルを生成することと、
前記ファインチューニング済みＧＮＮモデル及び前記第１テストグラフに基づいて、第２のノード埋め込みの組を生成することと、
前記第２のノード埋め込みの組に基づいて、前記第１テストグラフから下流タスク予測を生成することと、
前記下流タスク予測を含む第３情報のレンダリングを制御することと
を更に有する、請求項６に記載の方法。
【請求項８】
前記第１のタスク特有の予測及び前記下流タスク予測の夫々は、前記プライマリＧＮＮモデルと関連付けられたタスク増分推論に対応する、
請求項７に記載の方法。
【請求項９】
匿名タスクＩＤと関連付けられた第２テストグラフを受け取ることと、
前記入来するグラフ学習タスクと関連付けられた過去タスクＩＤの組に基づいて、前記第１ＣＧＤ及び前記ＣＧＤの組から複数から第２のサンプルグラフのグループを選択することと、
前記プライマリＧＮＮモデル及び前記第２テストグラフに基づいて、第３のノード埋め込みの組を生成することと、
前記プライマリＧＮＮモデル及び前記第２のサンプルグラフのグループに基づいて、第４のノード埋め込みの組を生成することと、
前記第３のノード埋め込みの組と前記第４のノード埋め込みの組とを比較することと、
前記比較に基づいて前記第２のサンプルグラフのグループから類似グラフの組を決定することであり、前記類似グラフの組は、第１埋め込みを含む第１類似グラフと、第２埋め込みを含む第２類似グラフとを含み、前記第１埋め込みと前記第２埋め込みとの間の類似度スコアは所定の閾値よりも高い、ことと、
前記類似グラフの組と関連付けられたラベルの組を決定することと、
前記ラベルの組の多数決に基づいて、前記第２テストグラフについての第２のタスク特有の予測を決定することと、
前記第２のタスク特有の予測を含む第４情報のレンダリングを制御することと
を更に有する、請求項１に記載の方法。
【請求項１０】
前記第２のタスク特有の予測は、前記プライマリＧＮＮモデルと関連付けられた、ドメイン増分推論又はクラス増分推論のうちの少なくとも一方に対応する、
請求項９に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示で議論されている実施形態は、凝縮グラフ分布（condensed graph distribution，ＣＧＤ）に基づいたグラフ連続学習（graph continual learning）に関係がある。
続きを表示（約 4,400 文字）【背景技術】
【０００２】
人工知能（artificial intelligence，ＡＩ）の分野の進歩は、グラフデータに適用され得る機械学習技術の発展をもたらしてきた。グラフを用いて表現され得るデータの例には、ソーシャルネットワークデータ、電子商取引データ、金融取引データ、ゲノム配列データ、化合物データ、などがある。そのようなデータを表すグラフは、様々なグラフＡＩモデルを用いて予測を導出するために解析され得る。特定の応用範囲では、時間発展型グラフ（time evolving graph）がグラフＡＩモデルによって予測のために受け取られることがある。通常、そのような時間発展型グラフに予測モデルが適用される場合には、パフォーマンスの低下を避けるために、新たに入来する訓練サンプルとともに、それまでのグラフが記憶及び／又は処理され得る。しかし、そのようなシナリオでは、大きいメモリストレージが必要になり、プロセスの実装コストが高くなる可能性がある。別の特定のシナリオでは、グラフのグループの訓練中にグラフＡＩモデルと関連付けられた重みの更新を制限するために、レギュラライザが使用されることがある。そのようなシナリオでは、以前のパターンの破滅的忘却が起こる可能性があり、以前の予測タスクに対してパフォーマンスの悪化が観測される可能性がある。更に、モデル成長技術がグラフデータに適用される場合、時間発展型グラフと関連付けられたタスクの数が増えるにつれて、モデルパラメータの線形的な成長が起こり、そのため、この技術を拡張するのが困難になる可能性がある。
【０００３】
本開示で請求される対象は、上述されたような環境でのみ動作する実施形態、又は上述されたような如何なる欠点も解決する実施形態に限られない。むしろ、この背景は、本開示で記載されているいくつかの実施形態が実施される可能性がある技術範囲の一例を説明するためにのみ与えられている。
【発明の概要】
【０００４】
実施形態の側面に従って、方法は動作の組を含むことができ、動作の組には、第２グラフのシーケンスを含む入来するグラフ学習タスクに続いて、第１タスクと関連付けられた第１グラフを受け取ることが含まれ得る。動作の組には、入来するグラフ学習タスクと関連付けられた凝縮グラフ分布（ＣＧＤ）の組からサンプルグラフの組を選択することが更に含まれ得る。動作の組には、１つ以上の補助グラフニューラルネットワーク（graph neural network，ＧＮＮ）モデル、第１グラフ、及びサンプルグラフの組に基づいて、ＣＧＤの組と関連付けられた統計値の組を更新することが更に含まれ得る。動作の組には、統計値の組に基づいて、第１タスクと関連付けられた第１ＣＧＤを学習するが更に含まれ得る。動作の組には、第１ＣＧＤ及びＣＧＤの組から複数のサンプルグラフを再選択することが更に含まれ得る。動作の組には、第１グラフ、複数のサンプルグラフ、及びプライマリＧＮＮモデルに基づいて第１損失を決定することが更に含まれ得る。第１損失は、プライマリＧＮＮモデルの下流予測タスクと関連付けられた予測誤差に対応する。プライマリＧＮＮモデルは、第１損失に基づいて下流予測タスクについての予測結果を生成するよう構成され得る。動作の組には、プライマリＧＮＮモデルに基づいて、下流予測タスクと関連付けられた予測結果を含む第１情報のレンダリングを制御することが更に含まれ得る。
【０００５】
実施形態の目的及び利点は、少なくとも、特許請求の範囲で特に指し示されている要素、特徴、及び組み合わせによって、実現及び達成される。
【０００６】
上記の概要及び下記の詳細な説明は両方とも例として与えられており、説明的なものであり、請求されている本開示を制限するものではない。
【０００７】
例となる実施形態は、添付の図面を使用して、更なる特定及び詳細をもって説明される。
【図面の簡単な説明】
【０００８】
凝縮グラフ分布（ＣＧＤ）に基づいたグラフ継続学習に関係があるネットワーク環境の例を表す図である。
凝縮グラフ分布（ＣＧＤ）に基づいたグラフ継続学習のための例示的な電子デバイスを表すブロック図である。
グラフ継続学習と関連付けられた下流予測タスクのためのプライマリグラフニューラルネットワーク（ＧＮＮ）の訓練用の例示的な実行パイプラインを表す図である。
タスク増分設定におけるプライマリグラフニューラルネットワーク（ＧＮＮ）からの推論（例えば、ノードラベル推論）の決定用の例示的な実行パイプラインを表す図である。
ドメイン増分設定又はクラス増分設定の一方におけるプライマリグラフニューラルネットワーク（ＧＮＮ）からの推論（例えば、ノードラベル推論）の決定用の例示的な実行パイプラインを表す図である。
入力された時間発展型グラフと凝縮グラフ分布（ＣＧＤ）からサンプリングされたグラフとの間の第２損失の決定のための例示的なシナリオを表す図である。
タスク用のグラフニューラルネットワーク（ＧＮＮ）モデルの訓練に基づいたタスク特有予測の決定のための例示的なシナリオを表す図である。
タスク増分設定におけるプライマリグラフニューラルネットワーク（ＧＮＮ）からの推論（例えば、ノードラベル推論）の決定のための例示的なシナリオを表す図である。
ドメイン増分設定又はクラス増分設定の一方におけるプライマリグラフニューラルネットワーク（ＧＮＮ）からの推論（例えば、ノードラベル推論）の決定のための例示的なシナリオを表す図である。
新たに入来するグラフの凝縮グラフ分布（ＣＧＤ）の生成方法の例のフローチャートを表す図である。
グラフニューラルネットワーク（ＧＮＮ）更新の方法の例のフローチャートを表す図である。
タスク増分設定におけるプライマリグラフニューラルネットワーク（ＧＮＮ）からの推論（例えば、ノードラベル推論）の決定方法の例のフローチャートを表す図である。
ドメイン増分設定又はクラス増分設定の一方におけるプライマリグラフニューラルネットワーク（ＧＮＮ）からの推論（例えば、ノードラベル推論）の決定方法の例のフローチャートを表す図である。
図１の電子デバイスを使用したソーシャルネットワーク内の悪意のある活動の検出の例示的なシナリオを表す図である。
図１の電子デバイスを使用したレコメンドシステムの実装の例示的なシナリオを表す図である。
凝縮グラフ分布（ＣＧＤ）に基づいたグラフ継続学習の方法の例のフローチャートを表す図である。以上、図は全て、本開示で記載されている少なくとも１つの実施形態に従う。
【発明を実施するための形態】
【０００９】
本開示で記載されているいくつかの実施形態は、凝縮グラフ分布（ＣＧＤ）に基づいたグラフ継続学習のための方法及びシステムに関係がある。本開示の１つ以上の実施形態に従って、グラフ継続学習の技術分野は、コンピューティングシステム（例えば、電子デバイス）がグラフ継続学習のために凝縮グラフ分布（ＣＧＤ）及び確率的メモリバッファを使用し得るようにコンピューティングシステムを構成することによって、改善され得る。コンピューティングシステムは、第２グラフのシーケンスを含む入来するグラフ学習タスクに続いて、第１タスクと関連付けられた第１グラフを受け取り得る。コンピューティングシステムは更に、入来するグラフ学習タスクと関連付けられたＣＧＤの組からサンプルグラフの組を選択し得る。コンピューティングシステムは更に、１つ以上の補助グラフニューラルネットワーク（ＧＮＮ）モデル、第１グラフ、及びサンプルグラフの組に基づいて、ＣＧＤの組と関連付けられた統計値の組を更新し得る。コンピューティングシステムは更に、統計値の組の更新に基づいて、第１タスクと関連付けられた第１ＣＧＤを学習し得る。コンピューティングシステムは更に、第１ＣＧＤ及びＣＧＤの組から複数のサンプルグラフを再選択し得る。コンピューティングシステムは、第１グラフ、複数のサンプルグラフ、及びプライマリＧＮＮモデルに基づいて第１損失を決定し得る。第１損失は、プライマリＧＮＮモデルの下流予測タスクと関連付けられた予測誤差に対応する。例えば、第1損失は、プライマリＧＮＮモデルの出力（例えば、第1グラフの埋め込みと複数のサンプルグラフの夫々の埋め込みとの間の差の尺度）と関連付けられた二乗誤差損失に基づいて、決定され得る。プライマリＧＮＮモデルは、決定された第１損失に基づいて、下流予測タスクと関連付けられた予測結果を生成するよう構成され得る。コンピューティングシステムは更に、プライマリＧＮＮモデルに基づいて、下流予測タスクと関連付けられた生成された予測結果を含む第１情報のレンダリングを制御し得る。
【００１０】
様々な応用範囲のデータがグラフ形式で表現され得る。このようなグラフからは、基礎となるデータに関連する有用な洞察や予測が得られる可能性がある。例えば、予測を生成するために、グラフＡＩモデルがグラフデータに適用されることがある。ソーシャルメディアネットワークなどの特定の応用範囲におけるグラフデータは、時間発展的かつ動的であることがある。そのような時間発展型グラフからの予測の生成は簡単なプロセスでない可能性がある。そのような時間発展型グラフの場合、１つの技術は、以前のグラフ学習タスク（つまり、以前に受信したグラフ）からのサンプルを保存するための追加メモリを使用し、新しく受信したグラフの到着時に再生できるようにすることである。しかし、そのような場合には、追加メモリを実装するために大きいストレージオーバーヘッドが必要になる。そのような時間発展型グラフに適用され得る別の典型的な技術は、グラフＡＩモデルの重みの更新を制限するためにレギュラライザを使用することである。レギュラライザに基づいたアプローチは破滅的忘却の問題を抱えており、以前の過去タスクに対するパフォーマンスが著しく低下する可能性がある。モデル成長技術などの別のアプローチは、新たに到着したタスクのためのパラメータを分離し得る。しかし、モデル成長技術は、タスクの数が増えるにつれて拡張が困難になる。
（【００１１】以降は省略されています）

関連特許