特許ウォッチ

公開番号2024021917
公報種別公開特許公報(A)
公開日2024-02-16
出願番号2022125118
出願日2022-08-04
発明の名称検証方法、検証装置及びプログラム
出願人日本電信電話株式会社,国立大学法人京都大学
代理人個人,個人,個人
主分類G06N 3/045 20230101AFI20240208BHJP(計算;計数)
要約【課題】グラフ畳み込みニューラルネットワークが入力の微小変化に対して頑健であるか否かを検証できる技術を提供すること。
【解決手段】本開示の一態様による検証方法は、グラフ畳み込みニューラルネットワークと順伝播型ニューラルネットワークとを組み合わせたモデルと、グラフと、前記グラフに含まれる各頂点に対応する特徴ベクトルの集合とを入力する入力手順と、前記モデルと、前記グラフと、前記特徴ベクトルの集合とを用いて、前記モデルが入力の微小変化に対して頑健であるか否かを検証するための問題を混合整数計画問題として定式化する定式化手順と、前記混合整数計画問題の解を求める求解手順と、前記解を求めた結果を用いて、前記モデルが入力の微小変化に対して頑健であるか否かを検証する検証手順と、をコンピュータが実行する。
【選択図】図2
特許請求の範囲【請求項１】
グラフ畳み込みニューラルネットワークと順伝播型ニューラルネットワークとを組み合わせたモデルと、グラフと、前記グラフに含まれる各頂点に対応する特徴ベクトルの集合とを入力する入力手順と、
前記モデルと、前記グラフと、前記特徴ベクトルの集合とを用いて、前記モデルが入力の微小変化に対して頑健であるか否かを検証するための問題を混合整数計画問題として定式化する定式化手順と、
前記混合整数計画問題の解を求める求解手順と、
前記解を求めた結果を用いて、前記モデルが入力の微小変化に対して頑健であるか否かを検証する検証手順と、
をコンピュータが実行する検証方法。
続きを表示（約 1,000 文字）【請求項２】
前記グラフに含まれる頂点数をｎ、前記グラフ畳み込みニューラルネットワークの最終層に対応する状態ベクトルの次元数をＫとしたとき、前記グラフ畳み込みニューラルネットワークは、前記グラフと前記特徴ベクトルの集合を入力として、ｎ×Ｋ次元のベクトルを出力し、
前記順伝播型ニューラルネットワークは、ｎ×Ｋ次元のベクトルを入力として、予め決められた範囲の離散値を取るラベルを出力する、請求項１に記載の検証方法。
【請求項３】
前記グラフ畳み込みニューラルネットワークの各層の活性化関数はＲｅＬＵ関数である、請求項２に記載の検証方法。
【請求項４】
前記求解手順は、
数理計画問題ソルバにより、前記混合整数計画問題の解を求める、請求項１乃至３の何れか一項に記載の検証方法。
【請求項５】
グラフ畳み込みニューラルネットワークと順伝播型ニューラルネットワークとを組み合わせたモデルと、グラフと、前記グラフに含まれる各頂点に対応する特徴ベクトルの集合とを入力するように構成されている入力部と、
前記モデルと、前記グラフと、前記特徴ベクトルの集合とを用いて、前記モデルが入力の微小変化に対して頑健であるか否かを検証するための問題を混合整数計画問題として定式化するように構成されている定式化部と、
前記混合整数計画問題の解を求めるように構成されている求解部と、
前記解を求めた結果を用いて、前記モデルが入力の微小変化に対して頑健であるか否かを検証するように構成されている検証部と、
を有する検証装置。
【請求項６】
グラフ畳み込みニューラルネットワークと順伝播型ニューラルネットワークとを組み合わせたモデルと、グラフと、前記グラフに含まれる各頂点に対応する特徴ベクトルの集合とを入力する入力手順と、
前記モデルと、前記グラフと、前記特徴ベクトルの集合とを用いて、前記モデルが入力の微小変化に対して頑健であるか否かを検証するための問題を混合整数計画問題として定式化する定式化手順と、
前記混合整数計画問題の解を求める求解手順と、
前記解を求めた結果を用いて、前記モデルが入力の微小変化に対して頑健であるか否かを検証する検証手順と、
をコンピュータに実行させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、検証方法、検証装置及びプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
ニューラルネットワークは様々な機械学習の推論タスクで高い性能を発揮できることが知られている一方で、入力に対して微小な変動を付与すると推論結果が大きく変化する場合があることが知られている。微小な変化に対して推論結果が変化する可能性が高い機械学習モデルは、期待と異なる挙動を示すことになるため安定性がなく、また入力に対して微小な変動を付与することで推論結果が制御されてしまうためセキュリティリスクが存在するという課題がある。このため、ニューラルネットワークが入力の微小変化に対して頑健（ロバスト）であるか否かを検証する手法が提案されている（非特許文献１）。
【０００３】
ところで、グラフに関する推論を行うためのニューラルネットワークとして、グラフ畳み込みニューラルネットワーク（ＧＣＮ：Graph Convolutional Networks）が知られている（非特許文献２）。ＧＣＮは、グラフを入力として受け取り、そのグラフの性質に関する推論を行うために用いられる。このため、グラフを扱う問題においても入力の微小変化に対するＧＣＮの頑健さ（ロバスト性）は重要であると考えられる。なお、グラフは頂点の集合Ｖと２頂点を結ぶ辺の集合Ｅとの対によってＧ＝（Ｖ，Ｅ）と定義され、化合物の分子構造やソーシャルネットワーク、道路網等といったものを表現することができる。
【先行技術文献】
【非特許文献】
【０００４】
Vincent Tjeng, Kai Xiao, Russ Tedrake, "Evaluating Robustness of Neural Networks with Mixed Integer Programming", arXiv preprint arXiv:1711.07356 (2017).
Thomas N. Kipf, Max Welling, "Semi-Supervised Classification with Graph Convolutional Networks", arXiv preprint arXiv:1609.02907 (2016).
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来、ＧＣＮが入力の微小変化に対して頑健であるか否かを検証するための手法は存在しなかった。
【０００６】
本開示は、上記の点に鑑みてなされたもので、グラフ畳み込みニューラルネットワークが入力の微小変化に対して頑健であるか否かを検証できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の一態様による検証方法は、グラフ畳み込みニューラルネットワークと順伝播型ニューラルネットワークとを組み合わせたモデルと、グラフと、前記グラフに含まれる各頂点に対応する特徴ベクトルの集合とを入力する入力手順と、前記モデルと、前記グラフと、前記特徴ベクトルの集合とを用いて、前記モデルが入力の微小変化に対して頑健であるか否かを検証するための問題を混合整数計画問題として定式化する定式化手順と、前記混合整数計画問題の解を求める求解手順と、前記解を求めた結果を用いて、前記モデルが入力の微小変化に対して頑健であるか否かを検証する検証手順と、をコンピュータが実行する。
【発明の効果】
【０００８】
グラフ畳み込みニューラルネットワークが入力の微小変化に対して頑健であるか否かを検証できる技術が提供される。
【図面の簡単な説明】
【０００９】
本実施形態に係る検証装置のハードウェア構成の一例を示す図である。
本実施形態に係る検証装置の機能構成の一例を示す図である。
本実施形態に係る検証処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態について説明する。以下の実施形態では、グラフ畳み込みニューラルネットワーク（以下、ＧＣＮとも略記する。）が入力の微小変化に対して頑健であるか否かを検証することができる検証装置１０について説明する。
（【００１１】以降は省略されています）

関連特許