特許ウォッチ

公開番号2024057518
公報種別公開特許公報(A)
公開日2024-04-24
出願番号2022164321
出願日2022-10-12
発明の名称サンプリングプログラム、サンプリング方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06N 20/00 20190101AFI20240417BHJP(計算;計数)
要約【課題】問題に依存しない適切なサンプリングを行うことを課題とする。
【解決手段】情報処理装置は、第1の確率分布に物理量である逆温度に基づく逆温度パラメータを追加して得られた第2の確率分布のサンプリングを行い、サンプリングして得られた第1のデータに基づいて第1の変分モデルを訓練する。情報処理装置は、訓練済みである第1の変分モデルを用いて、逆温度パラメータの値を増加させて得られた第3の確率分布のサンプリングを行い、サンプリングされた第2のデータに基づいて第2の変分モデルを訓練する。情報処理装置は、訓練済みである第2の変分モデルを用いた第3の確率分布のサンプリングの結果に基づき、第1の確率分布に対応するサンプルを出力する。
【選択図】図1
特許請求の範囲【請求項１】
コンピュータに、
第１の確率分布に物理量である逆温度に基づく逆温度パラメータを追加して得られた第２の確率分布のサンプリングを行い、サンプリングして得られた第１のデータに基づいて第１の変分モデルを訓練し、
訓練済みである前記第１の変分モデルを用いて、前記逆温度パラメータの値を増加させて得られた第３の確率分布のサンプリングを行い、サンプリングされた第２のデータに基づいて第２の変分モデルを訓練し、
訓練済みである前記第２の変分モデルを用いた前記第３の確率分布のサンプリングの結果に基づき、前記第１の確率分布に対応するサンプルを出力する、
処理を実行させるサンプリングプログラム。
続きを表示（約 1,600 文字）【請求項２】
前記第２の変分モデルを訓練する処理は、
訓練済みである前記第１の変分モデルのモデルパラメータを初期値とし、前記第２のデータを用いて前記第２の変分モデルを訓練する、
処理を実行する請求項１に記載のサンプリングプログラム。
【請求項３】
前記第１の変分モデルを訓練する処理は、
モンテカルロ法を用いたサンプリングにより前記第２の確率分布から前記第１のデータを取得し、前記第１のデータに基づいて前記第１の確率分布を学習する前記第１の変分モデルを訓練し、
前記第２の変分モデルを訓練する処理は、
訓練済みの前記第１の変分モデルを提案確率分布とする自己学習モンテカルロ法により、前記第３の確率分布から前記第２のデータをサンプリングし、
前記第２のデータに基づいて、前記第３の確率分布を学習する前記第２の変分モデルを訓練する、
処理を実行する請求項２に記載のサンプリングプログラム。
【請求項４】
前記第１の確率分布に前記逆温度に基づく異なる２つの逆温度パラメータそれぞれを追加して得られた異なる２つの確率分布を生成し、
一方の確率分布からサンプリングされたデータを用いて、他方の確率分布に基づく変分モデルの訓練を実行し、前記他方の確率分布からサンプリングされたデータを用いて、前記一方の確率分布に基づく変分モデルの訓練を実行する、
処理を前記コンピュータにさらに実行させる請求項１に記載のサンプリングプログラム。
【請求項５】
確率分布に前記逆温度に基づく逆温度パラメータを追加して得られた拡張確率分布から、前記確率分布からサンプリングされたデータを用いて訓練された訓練済みの変分モデルを用いてサンプリングを行い、サンプリングされたデータを用いて前記拡張確率分布を学習する変分モデルの訓練を実行する処理と、
前記逆温度パラメータの値を増加させつつ、増加させた前記逆温度パラメータの値が所定値となるまで前記訓練を実行する処理を繰り返す処理と、
前記繰り返す処理の完了後に、前記所定値の逆温度パラメータの値を増加させて得られた拡張確率分布から、直前の確率分布を学習した訓練済みの変分モデルを用いてサンプリングして得られたデータを、前記確率分布の最適解として出力する処理と、
前記コンピュータにさらに実行させる請求項１に記載のサンプリングプログラム。
【請求項６】
コンピュータが、
第１の確率分布に物理量である逆温度に基づく逆温度パラメータを追加して得られた第２の確率分布のサンプリングを行い、サンプリングして得られた第１のデータに基づいて第１の変分モデルを訓練し、
訓練済みである前記第１の変分モデルを用いて、前記逆温度パラメータの値を増加させて得られた第３の確率分布のサンプリングを行い、サンプリングされた第２のデータに基づいて第２の変分モデルを訓練し、
訓練済みである前記第２の変分モデルを用いた前記第３の確率分布のサンプリングの結果に基づき、前記第１の確率分布に対応するサンプルを出力する、
処理を実行するサンプリング方法。
【請求項７】
第１の確率分布に物理量である逆温度に基づく逆温度パラメータを追加して得られた第２の確率分布のサンプリングを行い、サンプリングして得られた第１のデータに基づいて第１の変分モデルを訓練し、
訓練済みである前記第１の変分モデルを用いて、前記逆温度パラメータの値を増加させて得られた第３の確率分布のサンプリングを行い、サンプリングされた第２のデータに基づいて第２の変分モデルを訓練し、
訓練済みである前記第２の変分モデルを用いた前記第３の確率分布のサンプリングの結果に基づき、前記第１の確率分布に対応するサンプルを出力する、
制御部を有する情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、確率分布からサンプリングを行うサンプリングプログラム等に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
従来から、数式で明示的に与えられた確率分布から具体的なサンプルを得るサンプリングが利用されている。確率分布からサンプリングを行う手法としてモンテカルロ法が知られている。また、モンテカルロ法としては、マルコフ連鎖を用いずに確率分布からサンプリングを行う静的なモンテカルロ法と、マルコフ連鎖を用いて確率分布からサンプリングを行うマルコフ連鎖モンテカルロ法（ＭＣＭＣ：Markov Chain Monte Carlo methods）が知られている。
【０００３】
現実的な時間で確率変数の空間の多くの領域に遷移でき、直前の状態とはできるだけ異なる状態に遷移可能なＭＣＭＣは、正確かつ、サンプル列の自己相関が小さくなり独立と見なせる有効なサンプル数が増加するため効率的である。
【０００４】
近年、ＭＣＭＣはベイズ統計を中心に広い範囲の統計の問題に応用されている。例えば、物理学で現れる多体問題は一般的に解析的な計算は不可能となることが多く、物理系の状態をサンプリングして性質を調べることが要求される。また、近年注目されている量子計算のシミュレーションにもＭＣＭＣが使用される。また、実験により得られたデータをある有効モデルに当てはめることを考える場合、ベイズ推定では事後分布からのサンプリングが要求される。
【先行技術文献】
【非特許文献】
【０００５】
Koji Hukushima and Koji Nemoto，「Exchange Monte Carlo method and application to spin glass simulations」，Journal of the Physical Society of Japan，vol.65，no.6，pp.1604－1608，1996/06/15
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記技術では、特定の問題に対して、適切なサンプリングを行うことができない。例えば、多峰的な分布に対してＭＣＭＣを行った場合、ある状態への遷移確率が小さくなり、実質的に遷移が行われず、結果として、統計問題を間違えた結果に導くことがある。また、相転移点近傍に対して、確率変数の空間の中である局所的な空間に留まり続け、初期条件に強く依存し、適切なサンプリングが難しくなる。
【０００７】
一つの側面では、問題に依存しない適切なサンプリングを行うことができるサンプリングプログラム、サンプリング方法および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の案では、サンプリングプログラムは、コンピュータに、第１の確率分布に物理量である逆温度に基づく逆温度パラメータを追加して得られた第２の確率分布のサンプリングを行い、サンプリングして得られた第１のデータに基づいて第１の変分モデルを訓練し、訓練済みである前記第１の変分モデルを用いて、前記逆温度パラメータの値を増加させて得られた第３の確率分布のサンプリングを行い、サンプリングされた第２のデータに基づいて第２の変分モデルを訓練し、訓練済みである前記第２の変分モデルを用いた前記第３の確率分布のサンプリングの結果に基づき、前記第１の確率分布に対応するサンプルを出力する、処理を実行させる。
【発明の効果】
【０００９】
一実施形態によれば、問題に依存しない適切なサンプリングを行うことができる。
【図面の簡単な説明】
【００１０】
図１は、実施例１にかかる情報処理装置を説明する図である。
図２は、メトロポリス法を説明する図である。
図３は、特定問題に対する問題点を説明する図である。
図４は、自己学習モンテカルロ法を説明する図である。
図５は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。
図６は、実施例１にかかる逆温度拡張の効果を説明する図である。
図７は、実施例１にかかるアニーリングＳＬＭＣを説明する図である。
図８は、実施例１にかかる処理の流れを説明するフローチャートである。
図９は、数値実験の結果を説明する図である。
図１０は、数値実験の結果を説明する図である。
図１１は、採択率の監視により逆温度の間隔制御を説明する図である。
図１２は、アニーリングの逐次学習を説明する図である。
図１３は、実施例２にかかるアニーリングプロセスのパラレル実行を説明する図である。
図１４は、最適化問題への応用を説明する図である。
図１５は、ハードウェア構成例を説明する図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許