特許ウォッチ

公開番号2025080845
公報種別公開特許公報(A)
公開日2025-05-27
出願番号2023194179
出願日2023-11-15
発明の名称プルーニング方法、プルーニング装置、機械学習方法、および、学習済みモデル
出願人株式会社デンソーテン
代理人弁理士法人佐野特許事務所
主分類G06N 3/082 20230101AFI20250520BHJP(計算;計数)
要約【課題】プルーニングに伴うモデルの性能劣化を抑制することができる技術を提供する。
【解決手段】例示的な本発明のプルーニング方法は、畳み込み層を含むニューラルネットワークのプルーニング方法であって、前記畳み込み層のフィルターに対してチャネル単位で除去対象を決定し、前記除去対象となったチャネルに含まれる複数のカーネルの中から重要度の高いカーネルを抽出し、抽出した前記カーネルと、前記フィルターのうち前記除去対象となることなく残されたチャネルに含まれるカーネルとを用いて前記フィルターを再構築する。
【選択図】図7
特許請求の範囲【請求項１】
畳み込み層を含むニューラルネットワークのプルーニング方法であって、
前記畳み込み層のフィルターに対してチャネル単位で除去対象を決定し、
前記除去対象となったチャネルに含まれる複数のカーネルの中から重要度の高いカーネルを抽出し、
抽出した前記カーネルと、前記フィルターのうち前記除去対象となることなく残されたチャネルに含まれるカーネルとを用いて前記フィルターを再構築する、
プルーニング方法。
続きを表示（約 1,500 文字）【請求項２】
前記畳み込み層が、前記ニューラルネットワークに複数含まれ、
前記畳み込み層ごとに、前記カーネルの抽出、および、前記フィルターの再構築が行われる、請求項１に記載のプルーニング方法。
【請求項３】
前記除去対象の決定は、入力チャネルを単位として除去する第１プルーニング手法を用いて行われ、
前記畳み込み層ごとの、前記カーネルの抽出、および、前記フィルターの再構築は、前記ニューラルネットワークの出力側の層から入力側の層に向けて順番に行われる、請求項２に記載のプルーニング方法。
【請求項４】
前記フィルターの再構築には、抽出した前記カーネルを出力チャネルごとに同数となるように振り分ける処理が含まれる、請求項３に記載のプルーニング方法。
【請求項５】
前記除去対象の決定は、出力チャネルを単位として除去する第２プルーニング手法を用いて行われ、
前記畳み込み層ごとの、前記カーネルの抽出、および、前記フィルターの再構築は、前記ニューラルネットワークの入力側の層から出力側の層に向けて順番に行われる、請求項２に記載のプルーニング方法。
【請求項６】
前記フィルターの再構築には、抽出した前記カーネルを入力チャネルの方向に並べて前記出力チャネルを構築する処理が含まれる、請求項５に記載のプルーニング方法。
【請求項７】
前記除去対象となったチャネルに含まれる前記複数のカーネルの中から重要度が上位一定割合となるカーネルを、前記重要度が高いカーネルとして抽出し、
抽出した前記カーネルのうちの少なくとも一部を用いて、前記再構築後の前記フィルターは形成される、請求項１から６のいずれか１項に記載のプルーニング方法。
【請求項８】
畳み込み層を含むニューラルネットワークに対するプルーニングを行う装置であって、
前記畳み込み層のフィルターに対してチャネル単位で除去対象を決定し、
前記除去対象となったチャネルに含まれる複数のカーネルの中から重要度の高いカーネルを抽出し、
抽出した前記カーネルと、前記フィルターのうち前記除去対象となることなく残されたチャネルに含まれるカーネルとを用いて前記フィルターを再構築する、
プルーニング装置。
【請求項９】
複数の畳み込み層を含むニューラルネットワークの機械学習方法であって、
未学習の前記ニューラルネットワークの学習を行い、
前記学習後のニューラルネットワークにおけるフィルターに対してチャネル単位で除去対象を決定し、
前記畳み込み層ごとに、前記フィルターのうち前記除去対象となることなく残されたチャネルに含まれるカーネルと、前記除去対象となったチャネルに含まれる重要度の高いカーネルとを用いて前記フィルターの再構築を行い、
前記フィルターの再構築後に得られたニューラルネットワークの再学習を行って学習済みモデルを生成する、
機械学習方法。
【請求項１０】
学習後の畳み込みニューラルネットワークにおけるフィルターに対してチャネル単位で除去対象を決定し、
前記フィルターのうち前記除去対象となることなく残されたチャネルに含まれるカーネルと、前記除去対象となったチャネルに含まれる重要度の高いカーネルとを用いて前記フィルターの再構築を行い、
前記フィルターの再構築後に得られたニューラルネットワークを再学習して構成した、
学習済みモデル。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ニューラルネットワークに対してプルーニングを行う技術に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
従来、画像分類や物体検出などの画像認識等に、ディープラーニングにより学習が行われたニューラルネットワーク（学習済みモデル）が用いられる。ニューラルネットワークは、その構成を複雑にすることで、推論精度が高くなる等、高い性能が得られる傾向がある。ただし、ニューラルネットワークの構成が複雑化すると、計算機によるニューラルネットワークの実行時において、演算回数およびメモリサイズの増加が問題となる。
【０００３】
演算回数の削減（すなわち高速化）、および、メモリサイズの削減（すなわちモデルの軽量化）を図る手法として、プルーニング（枝刈り）が知られる。プルーニングの手法としては、色々な手法が従来提案されている。例えば、特許文献１には、プルーニングの手法として、チャネルの除去を行うことが開示される。
【先行技術文献】
【特許文献】
【０００４】
特開２０２１－４７８５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
重みデータをチャネル単位で除去するプルーニングを行うと、チャネルごとに複数含まれるカーネルを纏めて除去することになる。チャネル全体として見れば重要度が低いためにプルーニングの対象となったチャネルには、個々に見れば重要度が高いカーネルが含まれる可能性がある。すなわち、チャネル単位でプルーニングを行うと、重要度の高いカーネルを除去してしまう可能性がある。その結果、プルーニング後に得られる学習済みモデルの性能を低下させる可能性がある。
【０００６】
本発明は、上記の点に鑑み、プルーニングに伴うモデルの性能劣化を抑制することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
例示的な本発明のプルーニング方法は、畳み込み層を含むニューラルネットワークのプルーニング方法であって、前記畳み込み層のフィルターに対してチャネル単位で除去対象を決定し、前記除去対象となったチャネルに含まれる複数のカーネルの中から重要度の高いカーネルを抽出し、抽出した前記カーネルと、前記フィルターのうち前記除去対象となることなく残されたチャネルに含まれるカーネルとを用いて前記フィルターを再構築する。
【発明の効果】
【０００８】
例示的な本発明によれば、プルーニングに伴うモデルの性能劣化を抑制することができる。
【図面の簡単な説明】
【０００９】
機械学習システムの概略の構成を示すブロック図
畳み込みニューラルネットワークの概略の構成を説明するための図
フィルターをチャネル単位で除去する手法の一例について説明するための図
フィルターをチャネル単位で除去する手法の他の例について説明するための図
機械学習方法の概要を示すフローチャート
第１実施例に係るプルーニング方法の流れを示すフローチャート
第Ｘ層のフィルターの状態を各段階に分けて示す模式図
第Ｘ層と第（Ｘ－１）層とのフィルターの関係を示す図
第２実施例に係るプルーニング方法の流れを示すフローチャート
第１層のフィルターの状態を各段階に分けて示す模式図
第１層と第２層とのフィルターの関係を示す図
【発明を実施するための形態】
【００１０】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。
（【００１１】以降は省略されています）

関連特許