特許ウォッチ

公開番号2025035871
公報種別公開特許公報(A)
公開日2025-03-14
出願番号2023143184
出願日2023-09-04
発明の名称学習プログラム、情報処理装置および学習方法
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06N 20/00 20190101AFI20250307BHJP(計算;計数)
要約【課題】制約条件付きマルチエージェント強化学習において、システム全体の制約条件を考慮した学習を行う。
【解決手段】情報処理装置1は、複数のエージェントが存在する制約条件付き制御問題において、第1のエージェントについて、複数のエージェントの関係性に基づいて、行動する際に用いる状態の優先度を決定し、状態の優先度に応じて、第1の方策パラメータに入力する値を選択し、値が入力された第1の方策パラメータを用いて、所定の更新順に従って、第1のエージェントの制約条件に対する第1の影響度と、前の順となる第2のエージェントが更新した第2の方策パラメータによる第2の影響度に基づいた、システム全体の制約条件に対する第3の影響度と、を決定し、第1の影響度と第3の影響度とに応じた、制約条件を満たす方策パラメータの範囲を決定する。かかる情報処理装置1の処理は、例えば、基地局(BS)における停波制御に適用できる。
【選択図】図2
特許請求の範囲【請求項１】
複数のエージェントが存在する制約条件付き制御問題において、
前記複数のエージェントの中の第１のエージェントについて、前記複数のエージェントの関係性に基づいて、行動する際に用いる状態の優先度を決定し、
前記第１のエージェントについて、前記状態の優先度に応じて、第１の方策パラメータに入力する値として真値または代替値を選択し、
前記第１のエージェントについて、前記値が入力された前記第１の方策パラメータを用いて、所定の更新順に従って、前記第１のエージェントの制約条件に対する第１の影響度と、更新順の前の順となる第２のエージェントが更新した第２の方策パラメータによる第２の影響度に基づいた、システム全体の制約条件に対する第３の影響度と、を決定し、
前記第１の影響度と前記第３の影響度とに応じた、制約条件を満たす方策パラメータの範囲を決定する
処理をコンピュータに実行させることを特徴とする学習プログラム。
続きを表示（約 1,400 文字）【請求項２】
前記状態の優先度を決定する処理は、所定の決定木アルゴリズムを用いて、前記第１のエージェントについて、行動する際に用いる前記状態の優先度を決定する
ことを特徴とする請求項１に記載の学習プログラム。
【請求項３】
前記状態の優先度を決定する処理は、エージェント間の相関関係を用いて、前記第１のエージェントについて、行動する際に用いる前記状態の優先度を決定する
ことを特徴とする請求項１に記載の学習プログラム。
【請求項４】
前記真値または代替値を選択する処理は、前記第１のエージェントについて、決定された前記状態の優先度を、真値を与える状態の条件を示す閾値と比較し、前記入力する値として真値または代替値を選択する
ことを特徴とする請求項１に記載の学習プログラム。
【請求項５】
予測対象のエージェントについて、前記状態の優先度に応じて、状態に入力する値として他のエージェントから取得される真値または代替値を選択し、
前記値が入力された状態を学習済の方策に入力し、学習済の方策パラメータを用いて、前記予測対象のエージェントの行動を予測する
ことを特徴とする請求項１に記載の学習プログラム。
【請求項６】
複数のエージェントが存在する制約条件付き制御問題において、
前記複数のエージェントの中の第１のエージェントについて、前記複数のエージェントの関係性に基づいて、行動する際に用いる状態の優先度を決定する優先度決定部と、
前記第１のエージェントについて、前記状態の優先度に応じて、第１の方策パラメータに入力する値として真値または代替値を選択する選択部と、
前記第１のエージェントについて、前記選択部によって前記値が入力された前記第１の方策パラメータを用いて、所定の更新順に従って、前記第１のエージェントの制約条件に対する第１の影響度と、更新順の前の順となる第２のエージェントが更新した第２の方策パラメータによる第２の影響度に基づいた、システム全体の制約条件に対する第３の影響度と、を決定する第１の決定部と、
前記第１の影響度と前記第３の影響度とに応じた、制約条件を満たす方策パラメータの範囲を決定する第２の決定部と、
を有することを特徴とする情報処理装置。
【請求項７】
複数のエージェントが存在する制約条件付き制御問題において、
前記複数のエージェントの中の第１のエージェントについて、前記複数のエージェントの関係性に基づいて、行動する際に用いる状態の優先度を決定し、
前記第１のエージェントについて、前記状態の優先度に応じて、第１の方策パラメータに入力する値として真値または代替値を選択し、
前記第１のエージェントについて、前記値が入力された前記第１の方策パラメータを用いて、所定の更新順に従って、前記第１のエージェントの制約条件に対する第１の影響度と、更新順の前の順となる第２のエージェントが更新した第２の方策パラメータによる第２の影響度に基づいた、システム全体の制約条件に対する第３の影響度と、を決定し、
前記第１の影響度と前記第３の影響度とに応じた、制約条件を満たす方策パラメータの範囲を決定する
処理をコンピュータが実行することを特徴とする学習方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、学習プログラムなどに関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
近年、複数のエージェントが共通の環境と相互作用し、逐次的に意思決定を行いながら共有する問題を解決するマルチエージェント強化学習（MARL:Multi-Agent Reinforcement Learning）が知られている。かかるマルチエージェント強化学習では、＜１＞エージェント数の増加に伴って、学習する行動空間の次元数が指数的に増加するという問題がある。また、＜２＞学習中および学習後の性能が保証されないという問題がある。すなわち、最終的な性能が、学習が終わるまでわからないという問題がある。
【０００３】
ここで、複数のエージェントからなる制約条件付きのマルチエージェント強化学習において、全エージェントの共通の報酬を最大にする各エージェントの方策を、各エージェント固有の安全な制約条件を満たしながら学習する手法が開示されている（例えば、非特許文献１参照）。かかる手法では、エージェントごとに方策を学習することで、学習する行動空間の次元の指数的増加を回避することができる。すなわち、かかる手法では、エージェント数の増加に伴って、学習する行動空間の次元数が指数的に増加するという＜１＞の問題を回避することができる。
【先行技術文献】
【特許文献】
【０００４】
特開２００９－０１４３００号公報
特開２０２０－０８０１０３号公報
米国特許出願公開第２０２１／０２００１６３号明細書
【非特許文献】
【０００５】
Gu,Shangding,et al.“Multi-agent constrained policy optimisation.” arXiv preprint arXiv:2110.02793（2021）.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の手法では、複数のエージェントの行動の結果に依存するようなシステム全体の制約条件を考慮した学習を行うことができないという問題がある。この結果、学習中および学習後の性能が保証されないという＜２＞の問題があるといえる。
【０００７】
本発明は、１つの側面では、制約条件付きマルチエージェント強化学習において、システム全体の制約条件を考慮した学習を行うことを目的とする。
【課題を解決するための手段】
【０００８】
１つの態様では、学習プログラムが、複数のエージェントが存在する制約条件付き制御問題において、前記複数のエージェントの中の第１のエージェントについて、前記複数のエージェントの関係性に基づいて、行動する際に用いる状態の優先度を決定し、前記第１のエージェントについて、前記状態の優先度に応じて、第１の方策パラメータに入力する値として真値または代替値を選択し、前記第１のエージェントについて、前記値が入力された前記第１の方策パラメータを用いて、所定の更新順に従って、前記第１のエージェントの制約条件に対する第１の影響度と、更新順の前の順となる第２のエージェントが更新した第２の方策パラメータによる第２の影響度に基づいた、システム全体の制約条件に対する第３の影響度と、を決定し、前記第１の影響度と前記第３の影響度とに応じた、制約条件を満たす方策パラメータの範囲を決定する、処理をコンピュータに実行させる。
【発明の効果】
【０００９】
１実施態様によれば、複数のエージェントの行動の結果に依存するようなシステム全体の制約条件を考慮した学習を行うことができる。
【図面の簡単な説明】
【００１０】
図１は、実施例に係る情報処理装置の機能構成の一例を示すブロック図である。
図２は、実施例に係る優先度情報の一例を示す図である。
図３は、実施例に係るマルチエージェント強化学習処理のイメージを示す図である。
図４Ａは、実施例に係る学習処理の全体のフローチャートの一例を示す図（１）である。
図４Ｂは、実施例に係る学習処理の全体のフローチャートの一例を示す図（２）である。
図４Ｃは、実施例に係る学習処理の全体のフローチャートの一例を示す図（３）である。
図４Ｄは、実施例に係る学習処理の全体のフローチャートの一例を示す図（４）である。
図５は、実施例に係る予測処理の全体のフローチャートの一例を示す図である。
図６は、実施例に係るマルチエージェント強化学習を適用した一例を示す図である。
図７Ａは、実施例に係る優先度決定の一例を示す図（１）である。
図７Ｂは、実施例に係る優先度決定の一例を示す図（２）である。
図８は、状態の優先度に従って一部の状態を代替値にする方法の一例を示す図である。
図９Ａは、実施例に係るマルチエージェント強化学習の適用結果の一例を示す図（１）である。
図９Ｂは、実施例に係るマルチエージェント強化学習の適用結果の一例を示す図（２）である。
図１０は、学習プログラムを実行するコンピュータの一例を示す図である。
図１１は、マルチエージェント強化学習処理の参考例を示す図である。
図１２Ａは、システム全体の制約条件を考慮したマルチエージェント強化学習処理のイメージを示す図（１）である。
図１２Ｂは、システム全体の制約条件を考慮したマルチエージェント強化学習処理のイメージを示す図（２）である。
図１３Ａは、システム全体の制約条件を考慮したマルチエージェント強化学習処理の全体のフローチャートの一例を示す図（１）である。
図１３Ｂは、システム全体の制約条件を考慮したマルチエージェント強化学習処理の全体のフローチャートの一例を示す図（２）である。
図１３Ｃは、システム全体の制約条件を考慮したマルチエージェント強化学習処理の全体のフローチャートの一例を示す図（３）である。
図１４は、システム全体の制約条件を考慮したマルチエージェント強化学習処理の問題を説明する図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許