特許ウォッチ

公開番号2024042612
公報種別公開特許公報(A)
公開日2024-03-28
出願番号2022147448
出願日2022-09-15
発明の名称情報処理装置、情報処理方法及びプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06N 3/04 20230101AFI20240321BHJP(計算;計数)
要約【課題】精度劣化を抑制しつつ学習済みモデルを軽量化できる。
【解決手段】畳み込みニューラルネットワークの畳み込み層に含まれるフィルタ同士の類似度に基づいて、前記畳み込みニューラルネットワークの畳み込み層のフィルタの冗長度を算出する算出手段と、前記冗長度に基づいて、前記畳み込みニューラルネットワークのフィルタを削減する制御手段と、評価用データに基づいて前記フィルタを削除した畳み込みニューラルネットワークの性能を評価する評価手段と、前記フィルタを削除した畳み込みニューラルネットワークに対する目標性能を設定する第1の設定手段と、を有し、前記制御手段は、前記フィルタを削除した畳み込みニューラルネットワークの性能と前記目標性能に応じて前記畳み込みニューラルネットワークのフィルタを削減する。
【選択図】図3
特許請求の範囲【請求項１】
畳み込みニューラルネットワークの畳み込み層に含まれるフィルタ同士の類似度に基づいて、前記畳み込みニューラルネットワークの畳み込み層のフィルタの冗長度を算出する算出手段と、
前記冗長度に基づいて、前記畳み込みニューラルネットワークのフィルタを削減する制御手段と、
評価用データに基づいて前記フィルタを削除した畳み込みニューラルネットワークの性能を評価する評価手段と、
前記フィルタを削除した畳み込みニューラルネットワークに対する目標性能を設定する第１の設定手段と、を有し、
前記制御手段は、前記フィルタを削除した畳み込みニューラルネットワークの性能と前記目標性能に応じて前記畳み込みニューラルネットワークのフィルタを削減する情報処理装置。
続きを表示（約 1,500 文字）【請求項２】
前記冗長度は、前記畳み込みニューラルネットワークの畳み込み層に含まれるフィルタ同士の類似度、または前記フィルタを適用した出力マップ同士の類似度に基づいて算出されることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記畳み込みニューラルネットワークに対する最大削減率を、前記畳み込みニューラルネットワークの畳み込み層のフィルタに基づいて算出された前記畳み込み層の冗長度と、畳み込み層の現在の削減率と、畳み込み層の目標削減率、前記フィルタを削除した畳み込みニューラルネットワークの性能と、に基づいて設定する第２の設定手段と、を更に有し、
を有し、
前記制御手段は、前記フィルタを削除した畳み込みニューラルネットワークの性能が前記目標性能に達していない場合、前記最大削減率と、前記フィルタの冗長度に基づいて、前記畳み込みニューラルネットワークからフィルタを削減することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記第１の設定手段は、ユーザ入力に基づいて、前記フィルタを削除した畳み込みニューラルネットワークに対する目標性能を設定することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記第２の設定手段は、ユーザ入力に基づいて、畳み込み層の前記目標削減率を設定することを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記制御手段は、
前記畳み込み層の出力マップを生成するための全てのフィルタを削除する場合に、前記畳み込み層の後段の畳み込み層において前記出力マップとの畳み込み演算を行う全てのフィルタも削除することと、
畳み込み層の入力マップとの畳み込み演算を行う全てのフィルタを削除する場合に、前記畳み込み層の前段の畳み込み層において前記入力マップを生成するための全てのフィルタも削除すること
を特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記評価手段は、前記フィルタを削除した畳み込みニューラルネットワークと、前記評価用データに基づいて、前記フィルタを削除した畳み込みニューラルネットワークのパラメータ数、演算回数、認識精度のうち少なくとも１つ以上の組み合わせである性能を評価すること
を特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記制御手段は、前記畳み込みニューラルネットワークに含まれるフィルタの中で、前記冗長度が最大のフィルタを削除する処理を１回以上繰り返すことで、前記畳み込みニューラルネットワークに含まれる１以上のフィルタを削除すること
を特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記制御手段は、前記畳み込み層の冗長度が最大の畳み込み層に含まれるフィルタの中で、前記冗長度が最大のフィルタを削除する処理を１回以上繰り返すことで、前記畳み込みニューラルネットワークに含まれる１以上のフィルタを削除すること
を特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記制御手段は、前記畳み込み層の現在の削減率が最小の畳み込み層に含まれるフィルタの中で、前記冗長度が最大のフィルタを削除する処理を１回以上繰り返すことで、前記畳み込みニューラルネットワークに含まれる１以上のフィルタを削除すること
を特徴とする請求項３に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明はニューラルネットワークの学習に関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
近年、畳み込みニューラルネットワーク（以下ＣＮＮ）を用いた機械学習手法が、画像認識の分野において、優れた性能を示している。ＣＮＮの適用先は、従来はＧＰＵを搭載したサーバーが主流であったが、近年は、スマートフォンや組み込み機器などのエッジデバイスに、適用先が拡大している。
【０００３】
しかし、ＣＮＮは認識精度の向上に伴い、パラメータ数と演算回数が増加する傾向がある。そのため、認識精度の高いＣＮＮをスマートフォンや組み込み機器などのエッジデバイスに実装するためには、ＣＮＮを軽量化する必要がある。
【０００４】
ＣＮＮの軽量化のために、枝刈りという技術が開示されている。枝刈りは、学習済みのＣＮＮの畳み込み層のフィルタについて、認識精度に対する影響度を示す重要度スコアを算出し、重要度スコアに応じてフィルタを削除する技術である。非特許文献１では、ＣＮＮのフィルタの大きさを元に重要度スコアを算出する。特許文献１では、ＣＮＮの畳み込み層のフィルタをクラスタリングし、クラスタ内のフィルタを、クラスタの代表フィルタで置き換えることを開示している。
【先行技術文献】
【特許文献】
【０００５】
特開２０２０－８７２８８号公報
【非特許文献】
【０００６】
Ｌｉ，Ｈａｏ，ｅｔａｌ． “ＰｒｕｎｉｎｇＦｉｌｔｅｒｓｆｏｒＥｆｆｉｃｉｅｎｔＣｏｎｖＮｅｔｓ．” ＩＣＬＲ２０１７：ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＬｅａｒｎｉｎｇＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ２０１７
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら特許文献１及び非特許文献１は、フィルタの削減によって認識精度がどの程度劣化するかという情報を取得できないため、フィルタの過剰な削減による認識精度の劣化を抑制することができない。
【０００８】
本発明は上述した問題を解決するためになされたものであり、精度劣化を抑制しつつ学習済みＣＮＮモデルを軽量化することを特徴とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための一手段として、本発明は以下の構成を備える。
【００１０】
すなわち、畳み込みニューラルネットワークの畳み込み層に含まれるフィルタ同士の類似度に基づいて、前記畳み込みニューラルネットワークの畳み込み層のフィルタの冗長度を算出する算出手段と、前記冗長度に基づいて、前記畳み込みニューラルネットワークのフィルタを削減する制御手段と、評価用データに基づいて前記フィルタを削除した畳み込みニューラルネットワークの性能を評価する評価手段と、前記フィルタを削除した畳み込みニューラルネットワークに対する目標性能を設定する第１の設定手段と、を有し、前記制御手段は、前記フィルタを削除した畳み込みニューラルネットワークの性能と前記目標性能に応じて前記畳み込みニューラルネットワークのフィルタを削減する。
【発明の効果】
（【００１１】以降は省略されています）

関連特許