特許ウォッチ

公開番号2025075101
公報種別公開特許公報(A)
公開日2025-05-14
出願番号2025029919,2022545323
出願日2025-02-27,2021-05-28
発明の名称情報処理方法及び情報処理システム
出願人パナソニックインテレクチュアルプロパティコーポレーションオブアメリカ,Panasonic Intellectual Property Corporation of America
代理人個人,個人,個人
主分類G06N 3/08 20230101AFI20250507BHJP(計算;計数)
要約【課題】適切な推論モデルを見つけ出すことが可能な情報処理方法を提供する。
【解決手段】情報処理方法は、リファレンスとなる第1推論モデルを取得し(S701)、第1推論モデルよりもモデルサイズが大きい第2推論モデルを決定し(S702)、決定された第2推論モデルを軽量化して第3推論モデルを生成し(S703)、機械学習を用いて第3推論モデルを訓練し(S704)、訓練された第3推論モデルの性能が条件を満たすか否かを判定し(S705)、性能が条件を満たす場合、訓練された第3推論モデルを出力する(S706)。
【選択図】図16
特許請求の範囲【請求項１】
コンピュータに実行させる情報処理方法であって、
リファレンスとなる第１推論モデルを取得し、
前記第１推論モデルよりもモデルサイズが大きい第２推論モデルを決定し、
決定された前記第２推論モデルを軽量化して第３推論モデルを生成し、
機械学習を用いて前記第３推論モデルを訓練し、
訓練された前記第３推論モデルの性能が条件を満たすか否かを判定し、
前記性能が前記条件を満たす場合、訓練された前記第３推論モデルを出力する、
情報処理方法。
続きを表示（約 1,100 文字）【請求項２】
コンピュータに実行させる情報処理方法であって、
第１ネットワークよりもサイズが大きい第２ネットワークを蒸留して前記第１ネットワークが訓練され、
前記第２ネットワークの軽量化によって第３ネットワークが生成され、
前記第１ネットワークを蒸留して前記第３ネットワークが訓練され、又は、前記第２ネットワークを蒸留して前記第３ネットワークが訓練される、
情報処理方法。
【請求項３】
前記性能が前記条件を満たさない場合、前記第２推論モデルに対する軽量化の設定を変更する
請求項１に記載の情報処理方法。
【請求項４】
前記条件は、前記第１推論モデルの推論結果又はリファレンスデータに対する前記第３推論モデルの推論の精度又は正確度を含み、
前記設定の変更では、前記第３推論モデルの推論の精度又は正確度が閾値以下の場合、軽量化の程度を小さくする
請求項３に記載の情報処理方法。
【請求項５】
前記条件は、前記第３推論モデルの推論処理の速度を含み、
前記設定の変更では、前記推論処理の速度が閾値以下の場合、軽量化の程度を大きくする
請求項３に記載の情報処理方法。
【請求項６】
さらに、
前記第１推論モデルにデータを入力して前記第１推論モデルの推論結果を取得し、
前記第２推論モデルに前記データを入力して前記第２推論モデルの推論結果を取得し、
前記第１推論モデルの推論結果と前記第２推論モデルの推論結果との差分に基づいて前記第１推論モデルを訓練する
請求項３に記載の情報処理方法。
【請求項７】
リファレンスとなる第１推論モデルを取得し、前記第１推論モデルよりもモデルサイズが大きい第２推論モデルを決定する決定部と、
決定された前記第２推論モデルを軽量化して第３推論モデルを生成する生成部と、
機械学習を用いて前記第３推論モデルを訓練する訓練部と、
訓練された前記第３推論モデルの性能が条件を満たすか否かを判定する判定部と、
前記性能が前記条件を満たす場合、訓練された前記第３推論モデルを出力する出力部と、を備える、
情報処理システム。
【請求項８】
第１ネットワークよりもサイズが大きい第２ネットワークを蒸留して前記第１ネットワークを訓練する訓練部と、
前記第２ネットワークの軽量化によって第３ネットワークを生成する生成部と、
を備え、
前記訓練部は、前記第１ネットワークを蒸留して前記第３ネットワークを訓練し、又は、前記第２ネットワークを蒸留して前記第３ネットワークを訓練する、
情報処理システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、コンピュータに実行させる情報処理方法等に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
非特許文献１では、ニューラルネットワークモデルに関し、ネットワーク構造を探索する方法が提案されている。
【先行技術文献】
【非特許文献】
【０００３】
ＹｕＬｉｕ他、「ＳｅａｒｃｈｔｏＤｉｓｔｉｌｌ：ＰｅａｒｌｓａｒｅＥｖｅｒｙｗｈｅｒｅｂｕｔｎｏｔｔｈｅＥｙｅｓ」、ＣＶＰＲ（ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ）２０２０
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１において提案された方法では、量子化によって生じる損失が抑制されるような推論モデルを見つけ出すことは困難である。
【０００５】
そこで、本開示は、適切な推論モデルを見つけ出すことが可能な情報処理方法等を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る情報処理方法は、コンピュータに実行させる情報処理方法であって、リファレンスとなる第１推論モデルを取得し、前記第１推論モデルよりもモデルサイズが大きい第２推論モデルを決定し、決定された前記第２推論モデルを軽量化して第３推論モデルを生成し、機械学習を用いて前記第３推論モデルを訓練し、訓練された前記第３推論モデルの性能が条件を満たすか否かを判定し、前記性能が前記条件を満たす場合、訓練された前記第３推論モデルを出力する。
【０００７】
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本開示の一態様に係る情報処理方法等によって、適切な推論モデルを見つけ出すことが可能になる。
【図面の簡単な説明】
【０００９】
図１は、第１参考例における検出精度の劣化を示す概念図である。
図２は、第１参考例におけるリファレンスネットワークと組み込み環境向けネットワークとの比較を示す概念図である。
図３は、実施の形態１におけるリファレンスネットワークと組み込み環境向けネットワークとの比較を示す概念図である。
図４は、第２参考例における情報処理システムの構成を示すブロック図である。
図５は、第２参考例における情報処理システムの動作を示すフローチャートである。
図６は、実施の形態１における情報処理システムの構成例を示すブロック図である。
図７は、実施の形態１における情報処理システムの第１動作例を示すフローチャートである。
図８は、実施の形態１における情報処理システムの第２動作例を示すフローチャートである。
図９は、実施の形態２におけるサイズ差評価関数を示すグラフである。
図１０は、実施の形態２における情報処理システムの第１動作例を示すフローチャートである。
図１１は、実施の形態２における情報処理システムの第２動作例を示すフローチャートである。
図１２は、実施の形態３における情報処理システムの構成例を示すブロック図である。
図１３は、実施の形態３における情報処理システムの動作例の第１フェーズを示すフローチャートである。
図１４は、実施の形態３における情報処理システムの動作例の第２フェーズ及び第３フェーズを示すフローチャートである。
図１５は、複数の実施の形態における情報処理システムの基本的な実装例を示すブロック図である。
図１６は、複数の実施の形態における情報処理システムの基本的な動作例を示すフローチャートである。
図１７は、複数の実施の形態における情報処理システムの基本的な別の実装例を示すブロック図である。
【発明を実施するための形態】
【００１０】
（本開示の基礎となった知見）
ＩｏＴ（ＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇｓ）機器に深層学習（ＤｅｅｐＬｅａｒｎｉｎｇ）に基づく推論機能が組み込まれる場合がある。また、コスト及びプライバシーの観点から、クラウド又はＧＰＵ環境等ではなく、機器上のプロセッサで推論処理が行われる場合がある。これらの場合では、量子化等の方法を用いて、ネットワーク（ＮＷ）が軽量化される。これにより、演算能力及びメモリ容量等の計算リソースが限られたプロセッサで深層学習に基づく推論処理が行われる。
（【００１１】以降は省略されています）

関連特許