特許ウォッチ

公開番号2024049515
公報種別公開特許公報(A)
公開日2024-04-10
出願番号2022155772
出願日2022-09-29
発明の名称サンプリングプログラム、サンプリング方法、および情報処理装置
出願人富士通株式会社
代理人弁理士法人扶桑国際特許事務所
主分類G06N 20/10 20190101AFI20240403BHJP(計算;計数)
要約【課題】互いに独立と見なせる有効なサンプルの生成効率を向上させる。
【解決手段】情報処理装置10は、データ空間と同じ確率分布の等長空間に所定の変換規則で変換可能な潜在空間を有する機械学習モデル1を用いて、潜在空間内の第1のデータ4をデータ空間内の第2のデータ5に変換する。次に情報処理装置10は、データ空間内の採択済みの第1のサンプル6からのマルコフ連鎖モンテカルロ法における遷移先として第2のデータ5を採択するか否かを、変換規則に基づく採択確率で判断する。そして情報処理装置10は、採択すると判断した場合、第2のデータ5を、第1のサンプル6からの遷移先の第2のサンプル7として出力する。
【選択図】図1
特許請求の範囲【請求項１】
データ空間と同じ確率分布の等長空間に所定の変換規則で変換可能な潜在空間を有する機械学習モデルを用いて、前記潜在空間内の第１のデータを前記データ空間内の第２のデータに変換し、
前記データ空間内の採択済みの第１のサンプルからのマルコフ連鎖モンテカルロ法における遷移先として前記第２のデータを採択するか否かを、前記変換規則に基づく採択確率で判断し、
採択すると判断した場合、前記第２のデータを、前記第１のサンプルからの遷移先の第２のサンプルとして出力する、
処理をコンピュータに実行させるサンプリングプログラム。
続きを表示（約 1,200 文字）【請求項２】
前記第２のデータに変換する処理では、前記機械学習モデルとしてＶＡＥ（Variational AutoEncoder）を用い、前記ＶＡＥのデコーダによって前記第１のデータをデコードすることで前記第２のデータに変換する、
請求項１記載のサンプリングプログラム。
【請求項３】
前記第２のデータを採択するか否かを判断する処理では、
前記ＶＡＥのエンコーダによって前記第１のサンプルをエンコードして第１の平均値と第１の分散値と第１の計量テンソルを計算し、
前記ＶＡＥの前記エンコーダによって前記第２のデータをエンコードして第２の平均値と第２の分散値と第２の計量テンソルを計算し、
第１の平均値、第１の分散値、第１の計量テンソル、第２の平均値、第２の分散値、および第２の計量テンソルに基づいて、前記採択確率を計算する、
請求項２記載のサンプリングプログラム。
【請求項４】
前記第２のサンプルを用いて前記機械学習モデルの学習を実行する、
処理をコンピュータにさらに実行させる請求項１から３までのいずれかに記載のサンプリングプログラム。
【請求項５】
前記第２のデータに変換する処理、前記第２のデータを採択するか否かを判断する処理、および前記第２のデータを前記第２のサンプルとして採択する処理を含むサンプリング処理を、複数のプロセッサそれぞれで並列実行し、
前記複数のプロセッサそれぞれで採択した前記第２のサンプルを用いて前記機械学習モデルの学習を実行する、
処理をコンピュータにさらに実行させる請求項１から３までのいずれかに記載のサンプリングプログラム。
【請求項６】
データ空間と同じ確率分布の等長空間に所定の変換規則で変換可能な潜在空間を有する機械学習モデルを用いて、前記潜在空間内の第１のデータを前記データ空間内の第２のデータに変換し、
前記データ空間内の採択済みの第１のサンプルからのマルコフ連鎖モンテカルロ法における遷移先として前記第２のデータを採択するか否かを、前記変換規則に基づく採択確率で判断し、
採択すると判断した場合、前記第２のデータを、前記第１のサンプルからの遷移先の第２のサンプルとして出力する、
処理をコンピュータが実行するサンプリング方法。
【請求項７】
データ空間と同じ確率分布の等長空間に所定の変換規則で変換可能な潜在空間を有する機械学習モデルを用いて、前記潜在空間内の第１のデータを前記データ空間内の第２のデータに変換し、前記データ空間内の採択済みの第１のサンプルからのマルコフ連鎖モンテカルロ法における遷移先として前記第２のデータを採択するか否かを、前記変換規則に基づく採択確率で判断し、採択すると判断した場合、前記第２のデータを、前記第１のサンプルからの遷移先の第２のサンプルとして出力する処理部、
を有する情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、サンプリングプログラム、サンプリング方法、および情報処理装置に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
コンピュータによるサンプリングによって、数式で明示的に与えられた確率分布ｐ（ｘ）から、具体的なサンプルを得ることができる。サンプリングの手法の一つにマルコフ連鎖モンテカルロ法（ＭＣＭＣ：Markov chain Monte Carlo method）がある。ＭＣＭＣは、マルコフ連鎖を用いて、確率分布からサンプリングを行う手法である。
【０００３】
近年、ＭＣＭＣはベイズ統計を中心に広い範囲の統計の問題に応用されている。例えば物理学で現れる多体問題は、一般的に解析的な計算が不可能となることが多い。その場合、物理系の状態をＭＣＭＣでサンプリングすることで、多体問題の性質を調べることができる。また、近年注目されている量子計算のシミュレーションにおいてもＭＣＭＣが使用されている。ＮＰ（Non-deterministic Polynomial time）困難な最適化問題の解探索にもＭＣＭＣを有効に利用することができる。
【０００４】
さらにデータ解析に対するベイズ統計にもＭＣＭＣが利用できる。例えば実験により得られたデータをある有効モデルに当てはめる場合、ベイズ推定では事後分布からサンプリングを行うこととなる。この際のサンプリングにＭＣＭＣを用いることができる。
【０００５】
ＭＣＭＣによるサンプリングでは、直前のサンプルの状態とはできるだけ異なる状態に遷移させることが望まれる。互いに独立と見なせる有効なサンプルをＭＣＭＣで生成するための技術として、例えばメトロポリス法の提案確率分布に適当な変分モデルを用いる方法がある。変分モデルは前の状態を参照しておらず、大局的な遷移が可能となる。大局的な遷移により、互いに独立と見なせる有効なサンプル生成の効率が向上する。変分モデルとしては機械学習モデルを用いることができ、このようなサンプリング方法は、自己学習モンテカルロ法（ＳＬＭＣ：Self-Learning Monte Carlo method）と呼ばれる。
【０００６】
ＳＬＭＣにおける変分モデルとしては、例えば潜在空間を持つ機械学習モデルが利用される。潜在空間を持つ機械学習モデルを用いたＳＬＭＣには、制限ボルツマンマシン（ＲＢＭ：Restricted Boltzmann Machine）を用いた手法、Ｆｌｏｗ型モデルを用いた手法、ＶＡＥ（Variational AutoEncoder）を用いた手法がある。
【０００７】
なお、ＶＡＥについては特性の定量的理解が進められている。例えばＶＡＥについて、等長埋め込みにマッピングできることが明らかにされている。
【先行技術文献】
【非特許文献】
【０００８】
Akira Nakagawa, Keizo Kato, Taiji Suzuki, "Quantitative Understanding of VAE as a Non-linearly Scaled Isometric Embedding", Proceedings of the 38th International Conference on Machine Learning, PMLR 139:7916-7926, 8-24 July 2021
【発明の概要】
【発明が解決しようとする課題】
【０００９】
潜在空間を持つ機械学習モデルを用いた従来のＳＬＭＣでは、互いに独立と見なせる有効なサンプルの生成効率が十分ではない。例えばＲＢＭを用いた手法は、確率分布の提案にＭＣＭＣを行うこととなり、処理量が大きい。Ｆｌｏｗ型モデルを用いた手法では、確率分布の提案コストは小さいが、使用するモデルに強い制約が課され、汎用性が低い。ＶＡＥを用いた手法は、確率分布の提案コストは小さいが、尤度関数を近似評価しており、近似が妥当でない場合がある。近似が妥当でないと採択確率が低くなり、サンプルの生成効率の悪化要因となる。
【００１０】
１つの側面では、本件は、互いに独立と見なせる有効なサンプルの生成効率を向上させることを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許