特許ウォッチ

公開番号2024140247
公報種別公開特許公報(A)
公開日2024-10-10
出願番号2023051297
出願日2023-03-28
発明の名称データ拡張生成装置、データ拡張生成方法及びデータ拡張生成プログラム
出願人KDDI株式会社
代理人個人,個人
主分類G06N 3/04 20230101AFI20241003BHJP(計算;計数)
要約【課題】バックドア攻撃に頑健なデータ拡張を生成できる装置を提供すること。
【解決手段】データ拡張生成装置1は、第1のグラフの入力を受け付ける入力部11と、第1のグラフを辺拡散した第2のグラフを取得する辺拡散部12と、第1及び第2のグラフのグローバル表現を取得するグローバル表現取得部13と、第1及び第2のグラフのデータ拡張を取得する拡張処理部14と、第1及び第2のグラフのデータ拡張のローカル及びグローバル表現を取得するローカル表現取得部15と、第1及び第2のグラフ間の類似度を計算する類似度計算部16と、類似度に基づく損失を計算する損失計算部17と、損失の勾配を計算しニューラルネットワークを更新する学習処理部18と、新たなグラフに対して、第1及び第2のグラフのデータ拡張のローカル表現及びグローバル表現を出力する出力部19と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
第１のグラフの集合の入力を受け付ける入力部と、
前記第１のグラフの隣接行列に対して辺拡散を実施した第２のグラフの集合を取得する辺拡散部と、
前記第１のグラフ及び前記第２のグラフを、それぞれニューラルネットワークで構成された第１のエンコーダに入力し、前記第１のグラフのグローバル表現及び前記第２のグラフのグローバル表現を取得するグローバル表現取得部と、
前記第１のグラフ及び当該第１のグラフのグローバル表現、並びに前記第２のグラフ及び当該第２のグラフのグローバル表現を、それぞれニューラルネットワークで構成されたオーグメンタに入力し、前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を取得する拡張処理部と、
前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を、それぞれニューラルネットワークで構成された第２のエンコーダに入力し、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を取得するローカル表現取得部と、
前記第１のグラフのデータ拡張のローカル表現と、前記第２のグラフのデータ拡張のグローバル表現との類似度、及び前記第２のグラフのデータ拡張のローカル表現と、前記第１のグラフのデータ拡張のグローバル表現との類似度を計算する類似度計算部と、
同一のグラフに基づく表現間の類似度が大きいほど、及び異なるグラフに基づく表現間の類似度が小さいほど、値が小さくなるように設計された第１の損失を計算する損失計算部と、
前記第１の損失の勾配を計算し、前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダにおけるニューラルネットワークのパラメータを更新する学習処理部と、
学習済みの前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダを用いて、新たなグラフを前記第１のグラフとした場合の、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を出力する出力部と、を備えるデータ拡張生成装置。
続きを表示（約 1,200 文字）【請求項２】
前記第１のグラフのクラス情報を利用可能な場合に、
前記損失計算部は、同じクラスの表現間の類似度が大きいほど、及び異なるクラスの表現間の類似度が小さいほど、値が小さくなるように設計された第２の損失をさらに計算し、
前記学習処理部は、前記第２の損失の勾配を計算し、前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダにおけるニューラルネットワークのパラメータを更新する請求項１に記載のデータ拡張生成装置。
【請求項３】
第１のグラフの集合の入力を受け付ける入力ステップと、
前記第１のグラフの隣接行列に対して辺拡散を実施した第２のグラフの集合を取得する辺拡散ステップと、
前記第１のグラフ及び前記第２のグラフを、それぞれニューラルネットワークで構成された第１のエンコーダに入力し、前記第１のグラフのグローバル表現及び前記第２のグラフのグローバル表現を取得するグローバル表現取得ステップと、
前記第１のグラフ及び当該第１のグラフのグローバル表現、並びに前記第２のグラフ及び当該第２のグラフのグローバル表現を、それぞれニューラルネットワークで構成されたオーグメンタに入力し、前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を取得する拡張処理ステップと、
前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を、それぞれニューラルネットワークで構成された第２のエンコーダに入力し、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を取得するローカル表現取得ステップと、
前記第１のグラフのデータ拡張のローカル表現と、前記第２のグラフのデータ拡張のグローバル表現との類似度、及び前記第２のグラフのデータ拡張のローカル表現と、前記第１のグラフのデータ拡張のグローバル表現との類似度を計算する類似度計算ステップと、
同一のグラフに基づく表現間の類似度が大きいほど、及び異なるグラフに基づく表現間の類似度が小さいほど、値が小さくなるように設計された第１の損失を計算する損失計算ステップと、
前記第１の損失の勾配を計算し、前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダにおけるニューラルネットワークのパラメータを更新する学習処理ステップと、
学習済みの前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダを用いて、新たなグラフを前記第１のグラフとした場合の、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を出力する出力ステップと、をコンピュータが実行するデータ拡張生成方法。
【請求項４】
請求項１又は請求項２に記載のデータ拡張生成装置としてコンピュータを機能させるためのデータ拡張生成プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、グラフニューラルネットワーク（ＧＮＮ：ＧｒａｐｈＮｅｕｒａｌＮｅｔｗｏｒｋ）に対するバックドア攻撃への対策手法に関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
ＧＮＮは、グラフ構造のデータを高い精度で分類するために重要な技術であるが、近年、ＧＮＮに対するバックドア攻撃が可能であることが指摘されている。ＧＮＮに対するバックドア攻撃は、攻撃者がトリガと呼ばれる部分グラフを付与したグラフデータ（毒データ）を訓練データに混入させ、毒データ入りの訓練データをＧＮＮに学習させることで、推論時にトリガが付与されたデータのみを攻撃者の目標クラスに誤分類させることを目的とする攻撃である。
【０００３】
ＧＮＮに対する主なバックドア攻撃としては、非特許文献１で示された全てのグラフに対して同一のトリガを使用する固定トリガを用いたラベルフリップ攻撃（毒データを訓練データに混入させる際に、ラベルを標的クラスに変更する攻撃）に基づく手法と、非特許文献２で示されたグラフ毎にトリガを最適化する適応型トリガを用いたラベルフリップ攻撃に基づく手法がある。
【０００４】
ＧＮＮに対するバックドア攻撃の対策手法はほとんど知られていないが、非特許文献３では、固定トリガに基づくバックドア攻撃に対して、ＡＩの説明可能性（ＸＡＩ：ＥｘｐｌａｉｎａｂｌｅＡＩ）におけるｆｉｄｅｌｉｔｙ（忠実度）及びｉｎｆｉｄｅｌｉｔｙ（非忠実度）という指標に基づいた毒グラフの特定及びトリガの除去を行うアルゴリズムが提案された。
【０００５】
また、グラフ対照学習（ＧＣＬ：ＧｒａｐｈＣｏｎｔｒａｓｔｉｖｅＬｅａｒｎｉｎｇ）とは、グラフを拡張することによって、拡張されたグラフ（データ拡張）の有用性とモデルの性能を向上させることを目的としたグラフ学習の一手法である。通常のグラフを訓練した場合と比べて、データ拡張を訓練した場合にモデルがより高い分類精度を獲得する事例が非特許文献４のＭＶＧＲＬ及び非特許文献５のＬＧ２ＡＲ等で報告されている。
【先行技術文献】
【非特許文献】
【０００６】
Zaixi Zhang et al. "Backdoor Attacks to Graph Neural Networks". In: Proceedings of the 26th ACM Symposium on Access Control Models and Technologies. SACMAT '21. 2021, pp. 15-26.
Zhaohan Xi et al. "Graph Backdoor". In: 30th USENIX Security Symposium (USENIX Security 21). 2021, pp. 1523-1540.
Bingchen Jiang and Zhao Li. "Defending Against Backdoor Attack on Graph Nerual Network by Explainability". 2022.
Kaveh Hassani and Amir Hosein Khasahmadi. "Contrastive Multi-View Representation Learning on Graphs". In: Proceedings of the 37th International Conference on Machine Learning. ICML '20. 2020.
Kaveh Hassani and Amir Hosein Khasahmadi. "Learning graph augmentations to learn graph representations". In: arXiv preprint arXiv:2201.09830 (2022).
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の手法（非特許文献１）は、固定トリガを用いたバックドア攻撃の対策であり、適応型トリガを用いたより高度なバックドア攻撃に対する防御の有効性は示されていない。また、毒グラフと判定されたグラフからトリガと判定された部分グラフを取り除くため、誤判定及び誤除去によって、毒が含まれていないクリーンなグラフの分類精度が低下する場合があることが実験的に示されている。
【０００８】
本発明は、バックドア攻撃に頑健なデータ拡張を生成できるデータ拡張生成装置、データ拡張生成方法及びデータ拡張生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係るデータ拡張生成装置は、第１のグラフの集合の入力を受け付ける入力部と、前記第１のグラフの隣接行列に対して辺拡散を実施した第２のグラフの集合を取得する辺拡散部と、前記第１のグラフ及び前記第２のグラフを、それぞれニューラルネットワークで構成された第１のエンコーダに入力し、前記第１のグラフのグローバル表現及び前記第２のグラフのグローバル表現を取得するグローバル表現取得部と、前記第１のグラフ及び当該第１のグラフのグローバル表現、並びに前記第２のグラフ及び当該第２のグラフのグローバル表現を、それぞれニューラルネットワークで構成されたオーグメンタに入力し、前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を取得する拡張処理部と、前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を、それぞれニューラルネットワークで構成された第２のエンコーダに入力し、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を取得するローカル表現取得部と、前記第１のグラフのデータ拡張のローカル表現と、前記第２のグラフのデータ拡張のグローバル表現との類似度、及び前記第２のグラフのデータ拡張のローカル表現と、前記第１のグラフのデータ拡張のグローバル表現との類似度を計算する類似度計算部と、同一のグラフに基づく表現間の類似度が大きいほど、及び異なるグラフに基づく表現間の類似度が小さいほど、値が小さくなるように設計された第１の損失を計算する損失計算部と、前記第１の損失の勾配を計算し、前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダにおけるニューラルネットワークのパラメータを更新する学習処理部と、学習済みの前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダを用いて、新たなグラフを前記第１のグラフとした場合の、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を出力する出力部と、を備える。
【００１０】
前記第１のグラフのクラス情報を利用可能な場合に、前記損失計算部は、同じクラスの表現間の類似度が大きいほど、及び異なるクラスの表現間の類似度が小さいほど、値が小さくなるように設計された第２の損失をさらに計算し、前記学習処理部は、前記第２の損失の勾配を計算し、前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダにおけるニューラルネットワークのパラメータを更新してもよい。
（【００１１】以降は省略されています）

関連特許