特許ウォッチ

公開番号2024140139
公報種別公開特許公報(A)
公開日2024-10-10
出願番号2023051144
出願日2023-03-28
発明の名称学習装置、学習方法およびプログラム
出願人日本電気株式会社,国立研究開発法人産業技術総合研究所
代理人個人,個人
主分類G06N 20/00 20190101AFI20241003BHJP(計算;計数)
要約【課題】制御対象に対する制御の学習に要する時間を比較的短くする。
【解決手段】学習装置が、制御対象に対する制御の強化学習を行う強化学習手段と、前記強化学習に用いられたデータを用いて、前記制御対象に関する状態と、前記制御対象に対する制御と、前記制御対象に関する状態の時間変化との関係を示すモデルの学習を行うモデル学習手段と、前記モデルと、前記強化学習の結果とを用いて、前記制御対象に対する制御の学習を行うモデル制御学習手段と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
制御対象に対する制御の強化学習を行う強化学習手段と、
前記強化学習に用いられたデータを用いて、前記制御対象に関する状態と、前記制御対象に対する制御と、前記制御対象に関する状態の時間変化との関係を示すモデルの学習を行うモデル学習手段と、
前記モデルと、前記強化学習の結果とを用いて、前記制御対象に対する制御の学習を行うモデル制御学習手段と、
を備える学習装置。
続きを表示（約 1,000 文字）【請求項２】
前記モデル制御学習手段は、前記モデルと、前記強化学習で得られた方策とを用いて、前記制御対象に対する制御の時系列の初期値を生成し、前記制御対象に対する制御の学習にて、前記制御対象に対する制御の時系列を更新する、
請求項１に記載の学習装置。
【請求項３】
前記強化学習手段は、前記制御対象に実行させる複数のタスクそれぞれについて前記強化学習を行い、
前記モデル学習手段は、前記制御対象に実行させる複数のタスクそれぞれについて前記強化学習に用いられたデータを用いて、前記モデルの学習をおこなってそのモデルを更新し、
前記モデル制御学習手段は、前記複数のタスクそれぞれについて、前記強化学習を実行済みのタスクに関して学習済みの前記モデルを用いて、前記制御対象に対する制御の学習を行う、
請求項１または請求項２に記載の学習装置。
【請求項４】
前記強化学習手段は、前記強化学習に用いる方策の初期値を、前記強化学習を実行済みのタスクに関して学習済みの前記モデルを用いて決定する、
請求項３に記載の学習装置。
【請求項５】
前記強化学習手段は、前記強化学習に用いる報酬関数を、前記強化学習を実行済みのタスクに関して学習済みの前記モデルを用いて決定する、
請求項３に記載の学習装置。
【請求項６】
コンピュータが、
制御対象に対する制御の強化学習を行い、
前記強化学習に用いられたデータを用いて、前記制御対象に関する状態と、前記制御対象に対する制御と、前記制御対象に関する状態の時間変化との関係を示すモデルの学習を行い、
前記モデルと、前記強化学習の結果とを用いて、前記制御対象に対する制御の学習を行う、
ことを含む学習方法。
【請求項７】
コンピュータに、
制御対象に対する制御の強化学習を行うことと、
前記強化学習に用いられたデータを用いて、前記制御対象に関する状態と、前記制御対象に対する制御と、前記制御対象に関する状態の時間変化との関係を示すモデルの学習を行うことと、
前記モデルと、前記強化学習の結果とを用いて、前記制御対象に対する制御の学習を行うことと、
を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、学習装置、学習方法およびプログラムに関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
制御対象に対する制御の学習方法の１つに強化学習がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－０１４０９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
制御対象に対する制御の学習をなるべく短時間で行えることが好ましい。
【０００５】
本発明の目的の一例は、上述の課題を解決することのできる学習装置、学習方法、およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、学習装置は、制御対象に対する制御の強化学習を行う強化学習手段と、前記強化学習に用いられたデータを用いて、前記制御対象に関する状態と、前記制御対象に対する制御と、前記制御対象に関する状態の時間変化との関係を示すモデルの学習を行うモデル学習手段と、前記モデルと、前記強化学習の結果とを用いて、前記制御対象に対する制御の学習を行うモデル制御学習手段と、を備える。
【０００７】
本発明の第２の態様によれば、学習方法は、コンピュータが、制御対象に対する制御の強化学習を行い、前記強化学習に用いられたデータを用いて、前記制御対象に関する状態と、前記制御対象に対する制御と、前記制御対象に関する状態の時間変化との関係を示すモデルの学習を行い、前記モデルと、前記強化学習の結果とを用いて、前記制御対象に対する制御の学習を行う、ことを含む。
【０００８】
本発明の第３の態様によれば、プログラムは、コンピュータに、制御対象に対する制御の強化学習を行うことと、前記強化学習に用いられたデータを用いて、前記制御対象に関する状態と、前記制御対象に対する制御と、前記制御対象に関する状態の時間変化との関係を示すモデルの学習を行うことと、前記モデルと、前記強化学習の結果とを用いて、前記制御対象に対する制御の学習を行うことと、を実行させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、制御対象に対する制御の学習に要する時間が比較的短いことが期待される。
【図面の簡単な説明】
【００１０】
実施形態に係る学習装置の構成の例を示す図である。
実施形態に係る学習装置が行う処理の手順の例を示す図である。
実施形態に係る制御対象に対する制御を行うときの、システムの構成の例を示す図である。
実施形態に係る制御装置の構成の例を示す図である。
実施形態に係る学習装置の構成のもう１つの例を示す図である。
実施形態に係る学習方法における処理の手順の例を示す図である。
少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許