特許ウォッチ

公開番号2025176762
公報種別公開特許公報(A)
公開日2025-12-05
出願番号2024083047
出願日2024-05-22
発明の名称構造秘匿ニューラルネットワークモデル生成装置
出願人日本電気株式会社
代理人個人,個人
主分類G06N 3/09 20230101AFI20251128BHJP(計算;計数)
要約【課題】生成したニューラルネットワーク構造を秘匿できるようにする。
【解決手段】サブネット構築手段は、学習済スーパーネット情報内のアーキテクチャパラメータに基づいて、ブロック毎に1つの候補構造を特定する情報であるアーキテクチャ情報と、アーキテクチャ情報によって定まるサブネット情報とを生成する。サブネット追加学習手段は、学習データセットを用いた学習で、サブネット情報内のパラメタを更新することによって、追加学習済サブネット情報を生成する。構造秘匿モデル情報生成手段は、学習済スーパーネット情報に含まれている所定モジュールおよびアーキテクチャパラメタを除外した上で、学習済スーパーネット情報に含まれているパラメタのうち、サブネット情報に該当する部分のパラメタを、追加学習済サブネット情報に含まれるパラメタで置換することによって、構造秘匿モデル情報を生成する。
【選択図】図12
特許請求の範囲【請求項１】
入力として与えられる候補構造情報に基づいて、スーパーネット情報を生成するスーパーネットモデル構築手段と、
入力として与えられる学習データセットを用いた学習で、前記スーパーネット情報に含まれる所定モジュール以外のモジュールのパラメタと、前記所定モジュールの全てのパラメタの組であるアーキテクチャパラメタとを更新することによって、学習済スーパーネット情報を生成するスーパーネット学習手段と、
前記学習済スーパーネット情報内の前記アーキテクチャパラメータに基づいて、ブロック毎に１つの候補構造を特定する情報であるアーキテクチャ情報と、前記アーキテクチャ情報によって定まるサブネット情報とを生成し、前記アーキテクチャ情報を出力するサブネット構築手段と、
前記学習データセットを用いた学習で、前記サブネット情報内のパラメタを更新することによって、追加学習済サブネット情報を生成するサブネット追加学習手段と、
前記学習済スーパーネット情報に含まれている前記所定モジュールおよび前記アーキテクチャパラメタを除外した上で、前記学習済スーパーネット情報に含まれているパラメタのうち、前記サブネット情報に該当する部分のパラメタを、前記追加学習済サブネット情報に含まれるパラメタで置換することによって、構造秘匿モデル情報を生成し、前記構造秘匿モデル情報を出力する構造秘匿モデル情報生成手段とを備える
ことを特徴とする構造秘匿ニューラルネットワークモデル生成装置。
続きを表示（約 2,300 文字）【請求項２】
前記所定モジュール以外のモジュールのパラメタは、畳み込み演算における重みとバイアスである
請求項１に記載の構造秘匿ニューラルネットワークモデル生成装置。
【請求項３】
入力として与えられる候補構造情報に基づいて、スーパーネット情報を生成するスーパーネットモデル構築手段と、
入力として与えられる学習データセットを用いた学習で、前記スーパーネット情報に含まれる所定モジュール以外のモジュールのパラメタと、前記所定モジュールの全てのパラメタの組であるアーキテクチャパラメタとを更新することによって、学習済スーパーネット情報を生成するスーパーネット学習手段と、
前記学習済スーパーネット情報から前記所定モジュールおよび前記アーキテクチャパラメタを除外した情報と、前記アーキテクチャパラメータとを分けて出力する出力手段とを備える
ことを特徴とする構造秘匿ニューラルネットワークモデル生成装置。
【請求項４】
コンピュータが、
入力として与えられる候補構造情報に基づいて、スーパーネット情報を生成し、
入力として与えられる学習データセットを用いた学習で、前記スーパーネット情報に含まれる所定モジュール以外のモジュールのパラメタと、前記所定モジュールの全てのパラメタの組であるアーキテクチャパラメタとを更新することによって、学習済スーパーネット情報を生成し、
前記学習済スーパーネット情報内の前記アーキテクチャパラメータに基づいて、ブロック毎に１つの候補構造を特定する情報であるアーキテクチャ情報と、前記アーキテクチャ情報によって定まるサブネット情報とを生成し、前記アーキテクチャ情報を出力し、
前記学習データセットを用いた学習で、前記サブネット情報内のパラメタを更新することによって、追加学習済サブネット情報を生成し、
前記学習済スーパーネット情報に含まれている前記所定モジュールおよび前記アーキテクチャパラメタを除外した上で、前記学習済スーパーネット情報に含まれているパラメタのうち、前記サブネット情報に該当する部分のパラメタを、前記追加学習済サブネット情報に含まれるパラメタで置換することによって、構造秘匿モデル情報を生成し、前記構造秘匿モデル情報を出力する
ことを特徴とする構造秘匿ニューラルネットワークモデル生成方法。
【請求項５】
コンピュータが、
入力として与えられる候補構造情報に基づいて、スーパーネット情報を生成し、
入力として与えられる学習データセットを用いた学習で、前記スーパーネット情報に含まれる所定モジュール以外のモジュールのパラメタと、前記所定モジュールの全てのパラメタの組であるアーキテクチャパラメタとを更新することによって、学習済スーパーネット情報を生成し、
前記学習済スーパーネット情報から前記所定モジュールおよび前記アーキテクチャパラメタを除外した情報と、前記アーキテクチャパラメータとを分けて出力する
ことを特徴とする構造秘匿ニューラルネットワークモデル生成方法。
【請求項６】
コンピュータに、
入力として与えられる候補構造情報に基づいて、スーパーネット情報を生成するスーパーネットモデル構築処理、
入力として与えられる学習データセットを用いた学習で、前記スーパーネット情報に含まれる所定モジュール以外のモジュールのパラメタと、前記所定モジュールの全てのパラメタの組であるアーキテクチャパラメタとを更新することによって、学習済スーパーネット情報を生成するスーパーネット学習処理、
前記学習済スーパーネット情報内の前記アーキテクチャパラメータに基づいて、ブロック毎に１つの候補構造を特定する情報であるアーキテクチャ情報と、前記アーキテクチャ情報によって定まるサブネット情報とを生成し、前記アーキテクチャ情報を出力するサブネット構築処理、
前記学習データセットを用いた学習で、前記サブネット情報内のパラメタを更新することによって、追加学習済サブネット情報を生成するサブネット追加学習処理、および、
前記学習済スーパーネット情報に含まれている前記所定モジュールおよび前記アーキテクチャパラメタを除外した上で、前記学習済スーパーネット情報に含まれているパラメタのうち、前記サブネット情報に該当する部分のパラメタを、前記追加学習済サブネット情報に含まれるパラメタで置換することによって、構造秘匿モデル情報を生成し、前記構造秘匿モデル情報を出力する構造秘匿モデル情報生成処理
を実行させるための構造秘匿ニューラルネットワークモデル生成プログラム。
【請求項７】
コンピュータに、
入力として与えられる候補構造情報に基づいて、スーパーネット情報を生成するスーパーネットモデル構築処理、
入力として与えられる学習データセットを用いた学習で、前記スーパーネット情報に含まれる所定モジュール以外のモジュールのパラメタと、前記所定モジュールの全てのパラメタの組であるアーキテクチャパラメタとを更新することによって、学習済スーパーネット情報を生成するスーパーネット学習処理、および、
前記学習済スーパーネット情報から前記所定モジュールおよび前記アーキテクチャパラメタを除外した情報と、前記アーキテクチャパラメータとを分けて出力する出力処理
を実行させるための構造秘匿ニューラルネットワークモデル生成プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、構造秘匿ニューラルネットワークモデル生成装置、構造秘匿ニューラルネットワークモデル生成方法、および、構造秘匿ニューラルネットワークモデル生成プログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
非特許文献１には、複数の候補構造を含んだonce-for-allネットワークを用いたニューラルネットワーク構造の探索方法が開示されている。
【０００３】
非特許文献２には、複数の候補構造を含んだスーパーネットの初期重みを適切に設定することで効率的にニューラルネットワーク構造の探索を行う方法が開示されている。
【先行技術文献】
【非特許文献】
【０００４】
Han Cai, et al., “ONCE-FOR-ALL: TRAIN ONE NETWORK AND SPECIALIZE IT FOR EFFICIENT DEPLOYMENT”, [online], [2024年4月15日検索], インターネット<URL :https://arxiv.org/abs/1908.09791>
Jiemin Fang, et al., “FAST NEURAL NETWORK ADAPTATION VIA PARAMETER REMAPPING AND ARCHITECTURE SEARCH”, [online], [2024年4月15日検索], インターネット<URL :https://arxiv.org/abs/2001.02525>
【発明の概要】
【発明が解決しようとする課題】
【０００５】
高い認識精度を保ちつつ、高速に実行可能なニューラルネットワークを実現するためには、ニューラルネットワーク構造の決定が重要である。
【０００６】
一般に、熟練の研究者がニューラルネットワーク構造の改良を行っている。近年では、最適なニューラルネットワーク構造を探索するＮＡＳ（Neural Architecture Search）の研究が進み、入力となる学習データに対し、認識精度や実行速度に優れたニューラルネットワーク構造を自動的に探索する方法が提案されている。
【０００７】
また、近年では、One-shot NASと呼ばれる、比較的効率的にニューラルネットワーク構造の探索を行う方法が提案されている。
【０００８】
しかし、自動的かつ比較的効率的にニューラルネットワーク構造を探索できるようになっても、探索には一定の時間やコストが必要である。例えば、非特許文献２によると、ニューラルネットワーク構造の探索に、１台のＧＰＵ（Graphics Processing Unit）を２１．６日間連続して稼働させるコストが必要である。
【０００９】
また、探索結果（探索されたニューラルネットワーク構造）の品質は、探索時に用いる学習データの品質に影響される。一般的に、学習データは、特定の応用分野に習熟した技術者が長い時間をかけて収集、選別したノウハウの塊であり、競争力の源泉となり得る。このため、探索結果として得られるニューラルネットワーク構造は、第三者に容易に使われないように、秘匿する必要がある。
【００１０】
例えば、探索結果として得られたニューラルネットワーク構造を製品に組み込み、現場にデプロイしたとしても、ニューラルネットワーク構造が第三者に盗まれて流用されると、競争力が低下し、ビジネス上の損害を受ける。
（【００１１】以降は省略されています）

関連特許