特許ウォッチ

公開番号2024057460
公報種別公開特許公報(A)
公開日2024-04-24
出願番号2022164222
出願日2022-10-12
発明の名称プログラム,方法,及び情報処理装置
出願人富士通株式会社
代理人弁理士法人真田特許事務所,個人
主分類G06N 20/00 20190101AFI20240417BHJP(計算;計数)
要約【課題】機械学習モデルの強化学習における報酬のバラつきを抑制する。
【解決手段】プログラムは、訓練データの確率分布の一部と、生成器が出力したデータの確率分布の一部とを混合して得られるそれぞれの確率分布間の距離を報酬関数として、機械学習モデルの強化学習を実行する、処理をコンピュータに実行させる。
【選択図】図17
特許請求の範囲【請求項１】
訓練データの確率分布の一部と、生成器が出力したデータの確率分布の一部とを混合して得られるそれぞれの確率分布間の距離を報酬関数として、機械学習モデルの強化学習を実行する、
処理をコンピュータに実行させる、プログラム。
続きを表示（約 810 文字）【請求項２】
前記強化学習を実行する処理は、
前記訓練データの確率分布の一部と、前記生成器が出力したデータの確率分布の一部とを、第１パラメータに応じた割合で混合して得られる第１の混合分布と、前記訓練データの確率分布の一部と、前記生成器が出力した確率分布の一部とを、第２パラメータに応じた割合で混合して得られる第２の混合分布との距離を前記報酬関数として利用する、処理を含む、
請求項１に記載のプログラム。
【請求項３】
前記強化学習を実行する処理は、
判別器が出力した報酬を前記第１パラメータと前記第２パラメータとに基づく順応の数理モデルに入力して得られる順応報酬を、前記生成器に入力する、処理を含む、
請求項２に記載のプログラム。
【請求項４】
前記強化学習の進捗に応じて、前記第１パラメータ及び前記第２パラメータの一方又は双方を変化させる、
処理を前記コンピュータに実行させる、請求項２又は請求項３に記載のプログラム。
【請求項５】
所定の指標に基づき、前記強化学習の段階ごとに前記第１パラメータ及び前記第２パラメータの一方又は双方を決定する、
処理を前記コンピュータに実行させる、請求項２又は請求項３に記載のプログラム。
【請求項６】
訓練データの確率分布の一部と、生成器が出力したデータの確率分布の一部とを混合して得られるそれぞれの確率分布間の距離を報酬関数として、機械学習モデルの強化学習を実行する、
処理をコンピュータが実行する、方法。
【請求項７】
訓練データの確率分布の一部と、生成器が出力したデータの確率分布の一部とを混合して得られるそれぞれの確率分布間の距離を報酬関数として、機械学習モデルの強化学習を実行する、
制御部を備える、情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、プログラム，方法，及び情報処理装置に関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
ユーザからの問い合わせ業務の人件費を削減するために、ユーザの質問又は会話に対してＡＩ（Artificial Intelligence）が自動回答を行なうタスクがある。当該タスクは、例えば、Transformer等のＤＮＮ（Deep Neural Network）を用いた言語モデルによる文章生成により実現される。
【０００３】
言語モデルは、機械学習モデル（「ＤＮＮモデル」と称されてもよい）の一例であり、最尤推定モデルと称されてもよい。最尤推定モデルは、質問又は会話と回答とのペア（対話）を複数含む対話データセット、例えばＦＡＱ（Frequently Asked Questions）等を用いた教師あり学習によって訓練される。
【０００４】
最尤推定モデルによる生成される回答文（以下、「生成回答文」と表記する場合がある）は、人により回答文が生成される場合と比較して、最尤推定モデルにより生成される回答文の精度（換言すれば、適切性）及び多様性が低下する場合がある。
【０００５】
生成回答文の精度及び多様性を向上させるための手法の１つとして、最尤推定モデルに敵対的模倣学習モデルを組み合わせたモデル（以下、「最尤推定＆敵対的模倣学習モデル」と表記する場合がある）を用いる手法が知られている。
【０００６】
敵対的模倣学習モデルとしては、例えば、ＧＡＮ（Generative Adversarial Network）等の敵対的生成ネットワークを利用したＴｅｘｔＧＡＩＬ（Text Generative Adversarial Imitation Learning）等の機械学習モデルが挙げられる。ＧＡＮは、Generator及びDiscriminatorの２つのネットワークを備え、これらのネットワークを互いに競い合わせることで精度を高める。Generatorは生成器の一例であり、Discriminatorは判別器（「評価器」と称されてもよい）の一例である。
【０００７】
最尤推定＆敵対的模倣学習モデルは、敵対的模倣学習を実現するＧＡＮの構成を利用して、最尤推定モデルを強化学習によって再訓練する。例えば、生成器は、生成回答文に基づく回答文（以下、「生成文」と表記する場合がある）を出力する。判別器は、当該生成文を文章評価（判別）し、違和感（確信度：confidence）を報酬として生成器に出力する。
【先行技術文献】
【特許文献】
【０００８】
特開２０２１－１８２０３９号公報
特表２０１９－５２６１０７号公報
米国特許出願公開第２０１９／０１１５０２７号明細書
米国特許出願公開第２０１９／０２９７０３３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
最尤推定＆敵対的模倣学習モデルにおいて、判別器から出力される確信度を強化学習の報酬とする場合、報酬値のバラつきが大きくなり、安定した機械学習の実現が困難となる可能性がある。
【００１０】
１つの側面では、本発明は、機械学習モデルの強化学習における報酬のバラつきを抑制することを目的の１つとする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許