特許ウォッチ

公開番号2025016154
公報種別公開特許公報(A)
公開日2025-01-31
出願番号2023119243
出願日2023-07-21
発明の名称情報処理装置、方法およびプログラム
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G06N 20/00 20190101AFI20250124BHJP(計算;計数)
要約【課題】モデルサイズを小さくしつつ性能を向上できる。
【解決手段】本実施形態に係る情報処理装置は、取得部と、決定部と、第1抽出部と、第2抽出部と、訓練部とを含む。取得部は、第1特徴量抽出器と第2特徴量抽出器との訓練に用いる訓練データを取得する。決定部は、前記第2特徴量抽出器のモデルサイズを決定する。第1抽出部は、前記訓練データを前記第1特徴量抽出器に入力し、第1特徴量を抽出する。第2抽出部は、前記第1特徴量を前記第2特徴量抽出器に入力し、第2特徴量を抽出する。訓練部は、前記第1特徴量を前記第2特徴量に近づけるように前記第1特徴量抽出器を訓練する。
【選択図】図1
特許請求の範囲【請求項１】
第１特徴量抽出器と第２特徴量抽出器との訓練に用いる訓練データを取得する取得部と、
前記第２特徴量抽出器のモデルサイズを決定する決定部と、
前記訓練データを前記第１特徴量抽出器に入力し、第１特徴量を抽出する第１抽出部と、
前記第１特徴量を前記第２特徴量抽出器に入力し、第２特徴量を抽出する第２抽出部と、
前記第１特徴量を前記第２特徴量に近づけるように前記第１特徴量抽出器を訓練する訓練部と、
を具備する情報処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記第１特徴量抽出器と前記第２特徴量抽出器とは、抽出される特徴量の次元数が同じとなる構造を有する、請求項１に記載の情報処理装置。
【請求項３】
前記第１特徴量抽出器は、事前学習済みのパラメータが初期値として設定される、請求項１に記載の情報処理装置。
【請求項４】
前記第２特徴量抽出器を複数格納する格納部をさらに具備し、
前記決定部は、複数の第２特徴量抽出器の中から訓練に利用する前記第２特徴量抽出器を選択する、請求項１に記載の情報処理装置。
【請求項５】
前記決定部は、メモリサイズ、計算コストおよび推論精度の少なくとも１つに基づいて前記第２特徴量抽出器の前記モデルサイズを決定する、請求項１に記載の情報処理装置。
【請求項６】
前記第１特徴量抽出器と前記第２特徴量抽出器とは、Ｔｒａｎｓｆｏｒｍｅｒ構造を用いたモデルまたはＭＬＰ－Ｍｉｘｅｒを用いたモデルである、請求項１に記載の情報処理装置。
【請求項７】
前記第１抽出部は、前記第１特徴量として前記第１特徴量抽出器の中間層の特徴量を抽出し、
前記第２抽出部は、前記第２特徴量として前記第２特徴量抽出器の中間層の特徴量を抽出する、請求項１に記載の情報処理装置。
【請求項８】
第１特徴量抽出器と第２特徴量抽出器との訓練に用いる訓練データを取得し、
前記第２特徴量抽出器のモデルサイズを決定し、
前記訓練データを前記第１特徴量抽出器に入力することで第１特徴量を抽出し、
前記第１特徴量を前記第２特徴量抽出器に入力することで第２特徴量を抽出し、
前記第１特徴量を前記第２特徴量に近づけるように前記第１特徴量抽出器を訓練する、情報処理方法。
【請求項９】
コンピュータを、
第１特徴量抽出器と第２特徴量抽出器との訓練に用いる訓練データを取得する取得手段と、
前記第２特徴量抽出器のモデルサイズを決定する決定手段と、
前記訓練データを前記第１特徴量抽出器に入力し、第１特徴量を抽出する第１抽出手段と、
前記第１特徴量を前記第２特徴量抽出器に入力し、第２特徴量を抽出する第２抽出手段と、
前記第１特徴量を前記第２特徴量に近づけるように前記第１特徴量抽出器を訓練する訓練手段と、して機能させるための情報処理プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、情報処理装置、方法およびプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
深層学習では、自然言語処理及び画像認識処理において、モデルサイズに応じて性能が向上する、べき乗則が確認される。しかし、モデルサイズが大きくなるほど、推論時のメモリおよび計算コストが増加してしまうという課題がある。
【先行技術文献】
【非特許文献】
【０００３】
Zhang, L., Song, J., Gao, A., Chen, J., Bao, C., Ma, K., Be your own teacher: Improve the performance of convolutional neural networks via self distillation., Proceedings of the IEEE/CVF International Conference on Computer Vision. (2019) 3713-3722
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、上述の課題を解決するためになされたものであり、モデルサイズを小さくしつつ性能を向上できる情報処理装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本実施形態に係る情報処理装置は、取得部と、決定部と、第１抽出部と、第２抽出部と、訓練部とを含む。取得部は、第１特徴量抽出器と第２特徴量抽出器との訓練に用いる訓練データを取得する。決定部は、前記第２特徴量抽出器のモデルサイズを決定する。第１抽出部は、前記訓練データを前記第１特徴量抽出器に入力し、第１特徴量を抽出する。第２抽出部は、前記第１特徴量を前記第２特徴量抽出器に入力し、第２特徴量を抽出する。訓練部は、前記第１特徴量を前記第２特徴量に近づけるように前記第１特徴量抽出器を訓練する。
【図面の簡単な説明】
【０００６】
第１実施形態に係る情報処理装置を示すブロック図。
第１実施形態に係る情報処理装置の動作例を示すフローチャート。
第１特徴量抽出器および第２特徴量抽出器の第１例を示す図。
第１特徴量抽出器および第２特徴量抽出器の第２例を示す図。
第２実施形態に係る情報処理装置を示すブロック図。
第２実施形態に係る情報処理装置の動作例を示すフローチャート。
第３実施形態に係る情報処理装置を示すブロック図。
第３実施形態に係る情報処理装置の第１動作例を示すフローチャート。
第３実施形態に係る情報処理装置の第２動作例を示すフローチャート。
情報処理装置のハードウェア構成の一例を示すブロック図。
【発明を実施するための形態】
【０００７】
以下、図面を参照しながら本実施形態に係る情報処理装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。
【０００８】
（第１実施形態）
第１実施形態に係る情報処理装置について図１のブロック図を参照して説明する。
第１実施形態に係る情報処理装置１０は、格納部１０１と、取得部１０２と、決定部１０３と、第１抽出部１０４と、第２抽出部１０５と、訓練部１０６と、出力部１０７とを含む。
【０００９】
格納部１０１は、第１特徴量抽出器および第２特徴量抽出器を有する機械学習モデル（以下、単にモデルともいう）、訓練データなどを格納する。モデルは、例えば、いわゆるTransformerの構造を用いた、ＶｉＴ（Vision Transformer）、ＢＥＲＴ（Bidirectional Encoder Representations from Transformer）、ＧＰＴ（Generative Pretrained Transformer）などを想定する。なお、Transformerの構造に限らず、ＭＬＰ（Multi Layer Perceptron）－Ｍｉｘｅｒでもよく、モデルへの入力と、当該モデルからの出力との次元数が同じ構造であればよい。当該構造により、モデルを形成する層の積層が容易となる。
【００１０】
本実施形態では、訓練データが画像である場合を想定するが、これに限らない。例えば、制御信号データ、音声データ、自然言語データ、音楽データ、センサ値などの１次元の時系列データでもよいし、記号データ、ログデータ、動画データ、テーブルデータ、トランザクションデータなどの画像以外の２次元以上のデータでもよい。
（【００１１】以降は省略されています）

関連特許