特許ウォッチ

公開番号2024118220
公報種別公開特許公報(A)
公開日2024-08-30
出願番号2023024535
出願日2023-02-20
発明の名称強化学習プログラム、情報処理装置および強化学習方法
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06N 20/00 20190101AFI20240823BHJP(計算;計数)
要約【課題】学習データにはない文章入力に対しても、認識精度を向上させる。
【解決手段】情報処理装置1は、強化学習におけるポリシーの最適化問題において、信頼領域を設定してポリシーの更新を行う際に、更新前後のポリシーの差を観測し、観測した差が信頼領域のある範囲内に留まるように、ポリシーの更新に至るアルゴリズムの動作に応じて、前記信頼領域の閾値を調整する。かかる情報処理装置1の処理は、例えば、携帯基地局の通信品質を担保しながら、省電力を行う制約条件付きのCPOに適用することができる。
【選択図】図1
特許請求の範囲【請求項１】
強化学習におけるポリシーの最適化問題において、
信頼領域を設定してポリシーの更新を行う際に、更新前後のポリシーの差を観測し、
観測した差が信頼領域のある範囲内に留まるように、ポリシーの更新に至るアルゴリズムの動作に応じて、前記信頼領域の閾値を調整する
処理をコンピュータに実行させることを特徴とする強化学習プログラム。
続きを表示（約 1,500 文字）【請求項２】
前記閾値を調整する処理は、
前記ポリシーの近似解と更新前のポリシーとの差が前記閾値以下であるという制約条件を満たすかどうかを判定し、前記制約条件を満たさないと判定した場合には前記ポリシーの近似解を前記更新前のポリシーに近づけて判定処理を繰り返し、前記制約条件を満たすと判定した場合には前記ポリシーの近似解を更新するという前記アルゴリズムの動作に基づいて、前記閾値を調整する
ことを特徴とする請求項１に記載の強化学習プログラム。
【請求項３】
前記閾値を調整する処理は、最初の前記判定処理で前記制約条件を満たすと判定した場合には、前記閾値を大きくし、最初の前記判定処理で前記制約条件を満たさないと判定した場合でも２回目以降の前記判定処理で前記制約条件を満たすと判定した場合には、前記閾値を所定値分小さくし、２回目以降の前記判定処理で前記制約条件を満たさないと判定した場合には、前記閾値を所定値分大きくする
ことを特徴とする請求項２に記載の強化学習プログラム。
【請求項４】
前記閾値を調整する処理は、前記アルゴリズムの動作により得られた、前記閾値に対する更新前後のポリシーの差に基づいて、前記閾値を調整する
ことを特徴とする請求項１に記載の強化学習プログラム。
【請求項５】
前記閾値を調整する処理は、前記閾値に対する更新前後のポリシーの差が第１の基準値以上である場合に、前記閾値を所定値分大きくし、前記閾値に対する更新前後のポリシーの差が前記第１の基準値未満である場合に、前記閾値を所定値分小さくする
ことを特徴とする請求項４に記載の強化学習プログラム。
【請求項６】
前記閾値を調整する処理は、
前記ポリシーの近似解と更新前のポリシーとの差が前記閾値以下であるという制約条件を満たすかどうかを判定し、前記制約条件を満たさないと判定した場合には前記ポリシーの近似解を前記更新前のポリシーに近づけて判定処理を繰り返し、前記制約条件を満たすと判定した場合には前記ポリシーの近似解を更新するという前記アルゴリズムにおける更新に至る繰り返し回数に基づいて、前記閾値を調整する
ことを特徴とする請求項１に記載の強化学習プログラム。
【請求項７】
前記閾値を調整する処理は、前記繰り返し回数が第２の基準値以上である場合に、前記閾値を所定値分小さくし、前記繰り返し回数が前記第２の基準値未満である場合に、前記閾値を所定値分大きくする
ことを特徴とする請求項６に記載の強化学習プログラム。
【請求項８】
強化学習におけるポリシーの最適化問題において、
信頼領域を設定してポリシーの更新を行う際に、更新前後のポリシーの差を観測する観測部と、
前記観測部によって観測された差が信頼領域のある範囲内に留まるように、ポリシーの更新に至るアルゴリズムの動作に応じて、前記信頼領域の閾値を調整する調整部と、
を有することを特徴とする情報処理装置。
【請求項９】
強化学習におけるポリシーの最適化問題において、
信頼領域を設定してポリシーの更新を行う際に、更新前後のポリシーの差を観測し、
観測した差が信頼領域のある範囲内に留まるように、ポリシーの更新に至るアルゴリズムの動作に応じて、前記信頼領域の閾値を調整する
処理をコンピュータが実行することを特徴とする強化学習方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、強化学習プログラムなどに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
従来、ある環境に対してポリシーに基づき行動を決定し、その結果得られる報酬を基にポリシーを更新することで、報酬が最適化されるようにポリシーを更新（改善）していく強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ）の技術がある。
【０００３】
ポリシーを更新する手法として、例えば、信頼領域ポリシー最適化（ＴＲＰＯ：ＴｒｕｓｔＲｅｇｉｏｎＰｏｌｉｃｙＯｐｔｉｍｉｚａｔｉｏｎ）が知られている。かかるＴＲＰＯは、以下の式（１）のように、強化学習におけるポリシーの更新を、更新前と更新後とのポリシー間のＫＬ距離（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒｄｉｖｅｒｇｅｎｃｅ）の制約条件付き最適化問題として捉える。なお、π
ｏｌｄ
，π
ｎｅｗ
は、更新前，更新後のポリシー（確率分布）である。J（・）は、報酬期待値である。Ｅ［Ｄ
ＫＬ
（π
ｎｅｗ
||π
ｏｌｄ
）］は、更新前と更新後とのポリシー間のＫＬ距離の期待値である。
TIFF
2024118220000002.tif
20
170
【０００４】
Ｄ
ＫＬ
（π
ｎｅｗ
||π
ｏｌｄ
）で表されるＫＬ距離は、２つの確率分布間の差を表す指標である。したがって、ＴＲＰＯは、更新前と更新後とのポリシーの差に上限δを設けたうえで、報酬期待値の向上幅が最大となるポリシーπ
ｎｅｗ
を求めるアルゴリズムといえる。なお、実際、報酬期待値J（・）やＫＬ距離の期待値Ｅ［Ｄ
ＫＬ
（π
ｎｅｗ
||π
ｏｌｄ
）］を厳密に求めることは困難であるので、更新前のポリシーで収集したデータを用いたポリシーの近似値を使用して報酬期待値やＫＬ距離の期待値を求める。この際、更新前と更新後とのポリシーが大きく異なっていると、近似が使用できないので、信頼できる領域としてＫＬ距離に上限δが設けられている。
【０００５】
また、ＴＲＰＯの派生アルゴリズムとしてＣＰＯ（ＣｏｎｓｔｒａｉｎｅｄＰｏｌｉｃｙＯｐｔｉｍｉｚａｉｏｎ）がある。ＣＰＯは、ポリシーに対して物理的な制約などを考慮する際に用いられるアルゴリズムである。ＣＰＯも、ＴＲＰＯと同様に、ＫＬ距離に上限を設けた最適化問題を考慮し、ポリシーの更新を行う。
【０００６】
また、強化学習において、方策（ポリシー）を改善することに関する技術が開示されている（例えば、特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００７】
特開２０２１－０６４２２２号公報
特開２０２１－０３３３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、信頼領域ポリシー最適化（ＴＲＰＯ）のようなＫＬ距離に上限を設けた強化学習において、ＫＬ距離の上限δの値によって学習の進み方が変化することが知られている。しかしながら、学習には多大な時間がかかるため、様々な上限δの値で学習を行い、様々な上限δの値の中で最適な値を見つけるという作業は非効率である。すなわち、学習に最適な上限δの値を自動的に調整するのは難しいという問題がある。
【０００９】
本発明は、１つの側面では、ＫＬ距離に上限を設けた強化学習において、学習に最適な上限の値を自動的に調整することを目的とする。
【課題を解決するための手段】
【００１０】
１つの態様では、強化学習プログラムは、強化学習におけるポリシーの最適化問題において、信頼領域を設定してポリシーの更新を行う際に、更新前後のポリシーの差を観測し、観測した差が信頼領域のある範囲内に留まるように、ポリシーの更新に至るアルゴリズムの動作に応じて、前記信頼領域の閾値を調整する、処理をコンピュータに実行させる。
【発明の効果】
（【００１１】以降は省略されています）

関連特許