特許ウォッチ

公開番号2025043121
公報種別公開特許公報(A)
公開日2025-03-28
出願番号2023150449
出願日2023-09-15
発明の名称機械学習プログラム、機械学習方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06N 3/0455 20230101AFI20250321BHJP(計算;計数)
要約【課題】生成モデルの機械学習時における安定性を向上させる。
【解決手段】実施形態の機械学習プログラムは、第3のデータを取得する処理と、第4のデータを取得する処理と、実行する処理とをコンピュータに実行させる。第3のデータを取得する処理は、第1のデータをエンコーダに入力し、エンコーダが出力した第2のデータにノイズを加えた第3のデータを取得する。第4のデータを取得する処理は、第3のデータをエンコーダの逆計算に相当するデコーダに入力し、デコーダが出力した第4のデータを取得する。実行する処理は、第3のデータと、第1のデータと第4のデータの誤差とを含む損失関数に基づいて、エンコーダとデコーダとの訓練を実行する。
【選択図】図4
特許請求の範囲【請求項１】
第１のデータをエンコーダに入力し、前記エンコーダが出力した第２のデータにノイズを加えた第３のデータを取得し、
前記第３のデータを前記エンコーダの逆計算に相当するデコーダに入力し、前記デコーダが出力した第４のデータを取得し、
前記第３のデータと、前記第１のデータと前記第４のデータの誤差とを含む損失関数に基づいて、前記エンコーダと前記デコーダとの訓練を実行する、
処理をコンピュータに実行させることを特徴とする機械学習プログラム。
続きを表示（約 780 文字）【請求項２】
前記第３のデータを取得する処理は、前記第１のデータを多チャンネル化して前記エンコーダに入力して多チャンネル化した前記第３のデータを取得し、
前記第４のデータを取得する処理は、多チャンネル化した前記第３のデータを前記デコーダに入力し、当該デコーダの出力を単チャンネル化して前記第４のデータを取得する、
ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項３】
前記損失関数は、前記誤差に、前記第３のデータの確率分布と事前分布との符号化情報に対して補正係数を乗算した値を加える、
ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項４】
第１のデータをエンコーダに入力し、前記エンコーダが出力した第２のデータにノイズを加えた第３のデータを取得し、
前記第３のデータを前記エンコーダの逆計算に相当するデコーダに入力し、前記デコーダが出力した第４のデータを取得し、
前記第３のデータと、前記第１のデータと前記第４のデータの誤差とを含む損失関数に基づいて、前記エンコーダと前記デコーダとの訓練を実行する、
処理をコンピュータが実行することを特徴とする機械学習方法。
【請求項５】
第１のデータをエンコーダに入力し、前記エンコーダが出力した第２のデータにノイズを加えた第３のデータを取得し、
前記第３のデータを前記エンコーダの逆計算に相当するデコーダに入力し、前記デコーダが出力した第４のデータを取得し、
前記第３のデータと、前記第１のデータと前記第４のデータの誤差とを含む損失関数に基づいて、前記エンコーダと前記デコーダとの訓練を実行する、
処理を実行する制御部を含むことを特徴とする情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、機械学習プログラム、機械学習方法および情報処理装置に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
従来、画像や自然言語処理等の分野において、生成型深層学習モデル（以下、生成モデルまたはモデルと呼ぶ）を利用し、データの特徴を捉えた潜在表現（潜在変数、潜在空間とも呼ぶ）を生成することが行われている。この生成モデルは、大量のラベル無しデータに基づく機械学習により、訓練される。生成モデルは、オートエンコーダ（AutoEncoder）とも呼ばれる。
【０００３】
生成モデルは、エンコーダと、デコーダとを有する。エンコーダに、入力データを入力することで、入力データよりも低次元、かつ、データ量を少なくした潜在表現が生成される。また、デコーダに、潜在表現を入力することで、入力データを復元したデータとなる出力データが生成される。
【０００４】
エンコーダおよびデコーダは、入力データと出力データとの復元誤差が小さくなるように機械学習を行うことで訓練される。訓練済みの生成モデルのエンコーダに、入力データを入力することで、入力データの特徴を捉えた潜在表現が得られる。すなわち、訓練済みの生成モデルは、入力データに関するサンプリング、特徴量生成、説明変数生成、データの分布獲得などの入力データの特徴を定量的に求める役割を持つ。したがって、生成モデルは、入力データに基づく予測・識別等に活用できる。
【先行技術文献】
【特許文献】
【０００５】
特開２０２２－２０１３８号公報
特開２０２２－１５５７３号公報
特表２０２２－５３３２６４号公報
米国特許出願公開第２０１９／０３２７５０１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の従来技術では、機械学習時において、復元誤差の変動により、エンコーダおよびデコーダのパラメータの収束性が悪化し、機械学習が不安定になりやすいという問題がある。例えば、エンコーダおよびデコーダのパラメータ数が多くなり、モデルサイズが大きい場合は、パラメータの収束が困難なものとなる。
【０００７】
１つの側面では、生成モデルの機械学習時における安定性を向上できる機械学習プログラム、機械学習方法および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
１つの案では、機械学習プログラムは、第３のデータを取得する処理と、第４のデータを取得する処理と、実行する処理とをコンピュータに実行させる。第３のデータを取得する処理は、第１のデータをエンコーダに入力し、エンコーダが出力した第２のデータにノイズを加えた第３のデータを取得する。第４のデータを取得する処理は、第３のデータをエンコーダの逆計算に相当するデコーダに入力し、デコーダが出力した第４のデータを取得する。実行する処理は、第３のデータと、第１のデータと第４のデータの誤差とを含む損失関数に基づいて、エンコーダとデコーダとの訓練を実行する。
【発明の効果】
【０００９】
生成モデルの機械学習時における安定性を向上できる。
【図面の簡単な説明】
【００１０】
図１は、従来のモデルを説明する説明図である。
図２は、従来のモデルを説明する説明図である。
図３は、従来のモデルを説明する説明図である。
図４は、実施形態にかかるモデルの概要を説明する説明図である。
図５は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。
図６は、実施形態にかかる情報処理装置の動作例を示すフローチャートである。
図７は、変形例にかかるモデルの概要を説明する説明図である。
図８は、変形例にかかる情報処理装置の動作例を示すフローチャートである。
図９は、コンピュータ構成の一例を説明する説明図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許