特許ウォッチ

公開番号2025017105
公報種別公開特許公報(A)
公開日2025-02-05
出願番号2023119995
出願日2023-07-24
発明の名称情報処理装置、方法およびプログラム
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G06N 20/00 20190101AFI20250129BHJP(計算;計数)
要約【課題】訓練時の計算コストを低減できる。
【解決手段】本実施形態に係る情報処理装置は、特徴抽出部と、予測部と、負例正則化部と、訓練部とを含む。特徴抽出部は、機械学習モデルを用いて複数の訓練データから複数の特徴量を抽出する。予測部は、前記訓練データと前記訓練データに対応する教師データとから、タスクに関する予測結果を生成する。負例正則化部は、前記複数の特徴量について、特徴量間の類似度を算出する。訓練部は、前記予測結果と前記類似度とに基づいて、前記特徴量同士が遠ざかるように前記機械学習モデルのパラメータを更新する。
【選択図】図1
特許請求の範囲【請求項１】
機械学習モデルを用いて複数の訓練データから複数の特徴量を抽出する特徴抽出部と、
前記訓練データと前記訓練データに対応する教師データとから、タスクに関する予測結果を生成する予測部と、
前記複数の特徴量について、特徴量間の類似度を算出する負例正則化部と、
前記予測結果と前記類似度とに基づいて、前記特徴量同士が遠ざかるように前記機械学習モデルのパラメータを更新する訓練部と、
を具備する情報処理装置。
続きを表示（約 910 文字）【請求項２】
１つの訓練データから複数の部分訓練データを生成する生成部をさらに具備し、
前記特徴抽出部は、前記複数の部分訓練データを用いて前記特徴量を抽出する、請求項１に記載の情報処理装置。
【請求項３】
前記予測部で利用するモデルは、前記特徴抽出部よりもモデルサイズが小さい、請求項１に記載の情報処理装置。
【請求項４】
前記タスクは、前記特徴抽出部に入力される前記訓練データを予測する処理である、請求項１に記載の情報処理装置。
【請求項５】
前記複数の訓練データに対してデータ増強処理を実行する生成部をさらに具備し、
前記タスクは、前記データ増強処理が実行される前の前記訓練データを予測する処理である、請求項１に記載の情報処理装置。
【請求項６】
前記訓練部は、前記特徴量間の前記類似度が低いほど値が小さくなるロス関数によって算出されるロス値が最小化されるように、前記機械学習モデルのパラメータを更新する、請求項１に記載の情報処理装置。
【請求項７】
機械学習モデルを用いて複数の訓練データから複数の特徴量を抽出し、
前記訓練データと前記訓練データに対応する教師データとから、タスクに関する予測結果を生成し、
前記複数の特徴量について、特徴量間の類似度を算出し、
前記予測結果と前記類似度とに基づいて、前記特徴量同士が遠ざかるように前記機械学習モデルのパラメータを更新する、
情報処理方法。
【請求項８】
コンピュータを、
機械学習モデルを用いて複数の訓練データから複数の特徴量を抽出する特徴抽出手段と、
前記訓練データと前記訓練データに対応する教師データとから、タスクに関する予測結果を生成する予測手段と、
前記複数の特徴量について、特徴量間の類似度を算出する負例正則化手段と、
前記予測結果と前記類似度とに基づいて、前記特徴量同士が遠ざかるように前記機械学習モデルのパラメータを更新する訓練手段として機能させるための情報処理プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、情報処理装置、方法およびプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
機械学習では、人手による教師データを用いずに、自動で付与した教師信号を用いる自己教師あり学習によりモデルを訓練することで、教師データ生成の人的コストを減らすことができる。このような自己教師あり学習手法の１つとして、対照学習がある。対照学習では、１つのデータからデータ増強（Data Augmentation）によりデータのペアを生成し、当該ペア同士は正例として近付け、正例以外のペア（負例のペア）は遠ざけるようにモデルを訓練する。しかし、正例のペアに関する画像、および負例のペアに関する画像をそれぞれエンコーダに入力する必要があるため、計算量が大きいという問題がある。
【先行技術文献】
【特許文献】
【０００３】
米国特許第１１３５４７７８号明細書
米国特許第１１３８６３０２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、上述の課題を解決するためになされたものであり、訓練時の計算コストを低減できる情報処理装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本実施形態に係る情報処理装置は、特徴抽出部と、予測部と、負例正則化部と、訓練部とを含む。特徴抽出部は、機械学習モデルを用いて複数の訓練データから複数の特徴量を抽出する。予測部は、前記訓練データと前記訓練データに対応する教師データとから、タスクに関する予測結果を生成する。負例正則化部は、前記複数の特徴量について、特徴量間の類似度を算出する。訓練部は、前記予測結果と前記類似度とに基づいて、前記特徴量同士が遠ざかるように前記機械学習モデルのパラメータを更新する。
【図面の簡単な説明】
【０００６】
本実施形態に係る情報処理装置を示すブロック図。
本実施形態に係る情報処理装置の第１動作例を示すフローチャート。
本実施形態に係る情報処理装置の第１動作例で利用する機械学習モデルの一例を示す図。
本実施形態に係る情報処理装置の第１動作例で利用する機械学習モデルの別例を示す図。
本実施形態に係る情報処理装置の第２動作例を示すフローチャート。
本実施形態に係る機械学習モデルのネットワーク構造の第２例を示す図。
本実施形態に係る情報処理装置のハードウェア構成の一例を示す図。
【発明を実施するための形態】
【０００７】
以下、図面を参照しながら本実施形態に係る情報処理装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。
【０００８】
本実施形態に係る情報処理装置について図１のブロック図を参照して説明する。
第１実施形態に係る情報処理装置１０は、格納部１０１と、取得部１０２と、生成部１０３と、特徴抽出部１０４と、負例正則化部１０５と、予測部１０６と、訓練部１０７とを含む。
【０００９】
格納部１０１は、機械学習モデル、訓練データ、教師データなどを格納する。機械学習モデルは、例えば、エンコーダおよびデコーダと呼ばれるモデルを組み合わせたオートエンコーダである。具体的に、エンコーダは、ＶｉＴ（Vision Transformer）を想定する。なお、ＶｉＴに限らず、ＲｅｓＮｅｔなどの畳み込みニューラルネットワーク（ＣＮＮ）を含む深層ネットワークモデルなど、特徴抽出または次元圧縮で用いられるネットワークモデルであれば、どのようなモデルでも適用可能である。
【００１０】
デコーダは、Transformerブロックで構成されるネットワークモデルを用いることを想定する。なお、デコーダは、Transformerブロックに限らず、ＭＬＰ（Multi-Layer Perceptron）や畳み込みニューラルネットワークなど、エンコーダで抽出された特徴量から復元データを生成可能なネットワークモデルであれば、どのようなモデルでも適用可能である。訓練データは、後述の学習モデルを学習させるためのデータである。教師データは、訓練データに対する正解データである。本実施形態では、訓練データが画像である場合を想定するが、これに限らない。例えば、制御信号データ、音声データ、自然言語データ、音楽データ、センサ値などの１次元の時系列データでもよいし、記号データ、ログデータ、動画データ、テーブルデータ、トランザクションデータなどの画像以外の２次元以上のデータでもよい。
（【００１１】以降は省略されています）

関連特許