特許ウォッチ

公開番号2025174914
公報種別公開特許公報(A)
公開日2025-11-28
出願番号2025081037
出願日2025-05-14
発明の名称産業プロセスシステムの強化学習エージェントをトレーニングする方法、及び産業プロセスシステムの強化学習エージェントをトレーニングするシステム
出願人アーベーベー・シュバイツ・アーゲー,ABB Schweiz AG
代理人弁理士法人鈴榮特許綜合事務所
主分類G06N 20/00 20190101AFI20251120BHJP(計算;計数)
要約【課題】産業プロセスシステムのための強化学習(RL)エージェントをトレーニングするための方法を提供する。
【解決手段】方法は、産業プロセスシステムのプラント履歴データを用いてRLエージェントをトレーニングするステップ110と、プラント履歴データ及び産業プロセスシステムの低忠実度シミュレータを使用してRLエージェントを再トレーニングするステップ120と、を含む。ステップ120は、RLエージェントをトレーニングする間に探索されなかったプロセス状態及び動的挙動の領域としてホワイトスポットを識別するようにプラント履歴データを分析するステップ130と、ホワイトスポットから得られた情報と、低忠実度シミュレータを用いて産業プロセスシステムをシミュレートすることによって提供されたシミュレートされたデータとを用いた優先的な探索によってRLエージェントを再トレーニングするステップ140と、を含む。
【選択図】図1
特許請求の範囲【請求項１】
産業プロセスシステムの強化学習、ＲＬ、エージェントをトレーニングするための方法であって、
前記ＲＬエージェントを前記産業プロセスシステムのプラント履歴データを用いてトレーニングすることと、
前記プラント履歴データと産業プロセスシステムの低忠実度シミュレータとを使用して、前記ＲＬエージェントを再トレーニングすることとを備え、前記ＲＬエージェントを再トレーニングすることは、
前記ＲＬエージェントのトレーニング中に探索されなかったプロセス状態及び動的挙動の領域としてホワイトスポットを識別するように前記プラント履歴データを分析することと、
前記ホワイトスポットから得られた情報と、前記低忠実度シミュレータを用いて前記産業プロセスシステムをシミュレートすることによって提供されたシミュレートされたデータとを用いて、優先順位付けされた探索によって前記ＲＬエージェントを再トレーニングすることとを備える、方法。
続きを表示（約 1,300 文字）【請求項２】
ホワイトスポットを識別するために前記プラント履歴データを分析することは、
プロセス状態変数の下限及びプロセス状態変数の上限からなるグループから選択された少なくとも１つの境界を取り出すことと、
前記下限及び前記上限からなるグループから選択される境界のうちの少なくとも１つを使用して変数空間探索によって前記ホワイトスポットを識別することとを備える、請求項１に記載の方法。
【請求項３】
プラント履歴データの内の少なくとも１つから、又は前記優先順位付けされた探索によって、安全関連変数のダイナミクスを推論することと、
操作変数の値に基づいて安全変数を予測するように構成された安全検証器を構築するように前記安全関連変数のダイナミクスを活用することとを備える、請求項１又は２に記載の方法。
【請求項４】
予測された安全変数を予め定められた安全制約と比較することと、
前記安全制約との前記安全変数のコンプライアンスを確実にするように操作された変数の値を調整することとを備える、請求項３に記載の方法。
【請求項５】
不十分な学習及び前記安全変数の安全制約への不適合からなるグループから選択される少なくとも１つのインシデントに起因して前記安全検証器が故障した場合、前記産業プロセスシステムは、安全保証器によって予め規定された安全状態に操作される、請求項３に記載の方法。
【請求項６】
不十分な学習及び／又は前記安全変数の前記安全制約への不適合に起因して前記安全検証器が故障した場合、前記産業プロセスシステムは、安全保証器によって予め規定された安全状態に操作される、請求項４に記載の方法。
【請求項７】
高忠実度シミュレータを使用することによって、前記ＲＬエージェントを前記産業プロセスシステムと相互作用させることによって、プラント履歴データを使用することによって、又はそれらの組み合わせによって、前記ＲＬエージェントを微調整することを備える、請求項１又は２に記載の方法。
【請求項８】
高忠実度シミュレータを使用することによって、前記ＲＬエージェントを前記産業プロセスシステムと相互作用させることによって、プラント履歴データを使用することによって、又はそれらの組み合わせによって、前記ＲＬエージェントを微調整することを備える、請求項３に記載の方法。
【請求項９】
高忠実度シミュレータを使用することによって、前記ＲＬエージェントを前記産業プロセスシステムと相互作用させることによって、プラント履歴データを使用することによって、又はそれらの組み合わせによって、前記ＲＬエージェントを微調整することを備える、請求項４に記載の方法。
【請求項１０】
高忠実度シミュレータを使用することによって、前記ＲＬエージェントを前記産業プロセスシステムと相互作用させることによって、プラント履歴データを使用することによって、又はそれらの組み合わせによって、前記ＲＬエージェントを微調整することを備える、請求項５に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、産業プロセスシステムの強化学習エージェントの分野にある。本出願の実施形態は、産業プロセスシステムのための強化学習エージェントをトレーニングするための方法、及び産業プロセスシステムのための強化学習エージェントをトレーニングするためのシステムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
強化学習ベースの制御は、産業プロセス制御に対する有望な新規のアプローチである。強化学習エージェントは、産業プロセスシステムにおいて使用され得る。産業プロセスシステムで使用するために、強化学習エージェントは、特定の産業プロセスシステムに対してトレーニングされなければならない。産業プロセスシステムのための強化学習エージェントのトレーニングは、複数の理由により困難である。
【０００３】
サンプルの複雑さが高いため、あるレベルの性能を達成するためには、トレーニング中に多数の経験、すなわちプロセス挙動に関する情報が必要とされる。さらに、安全性及び経済的な懸念のために、強化学習エージェントは、実際の産業プロセスシステム上でトレーニングすることができない。１つの解決策は、強化学習エージェントをトレーニングするために高忠実度プロセスシミュレータを使用することである。しかし、高忠実度プロセスシミュレータの開発は、膨大な時間、金銭的、及び計算コストを必要とする。また、強化学習エージェントの性能は、トレーニングが実行されるモデルと実際のプロセスとの間の固有の不一致に起因して、さらには産業プロセスシステムの変化するダイナミクスに起因して、準最適であり得る。さらに、コストのかかる故障及び事故を防止するために、エージェントは、トレーニング中及び展開中に産業プロセスシステムの安全な領域を探索することしかできない。
【０００４】
したがって、産業プロセスシステムの強化学習エージェントをトレーニングするためのより効果的な方法及びシステムが必要とされている。
【０００５】
本発明は、独立請求項に従って、産業プロセスシステムのための強化学習エージェントをトレーニングするための方法、及び産業プロセスシステムのための強化学習エージェントをトレーニングするためのシステムを提供することによって、これらの問題に対処する。
【発明の概要】
【０００６】
本開示の様々な実施形態への参照が詳細に行われ、それらの１つ以上の例が各図面に図示される。一般的に、個々の実施形態に関する違いのみが説明される。各例は、説明のために提供され、本開示の限定として意図されない。一実施形態の一部として図示又は説明される特徴は、他の実施形態上で、又は他の実施形態と併せて使用され、またさらなる実施形態をもたらすことができる。本明細書は、そのような修正及び変形を含むことが意図される。
【０００７】
比例積分微分（ＰＩＤ）制御、モデル予測制御（ＭＰＣ）、及び高度プロセス制御（ＡＰＣ）などの従来の制御方法と比較して、強化学習（ＲＬ）ベースの制御は、非線形挙動を有する複雑なシステムを扱うことができるため、際立っている。プロセスとの相互作用から学習し、多様な目的を最適化するその能力は、それを動的な解決策として区別する。さらに、ＲＬ制御は、従来の産業用制御戦略に関連する手動のモデリング及び調整の労力を大幅に低減しながら、発展する動作条件及び障害に適応することに優れている。
【０００８】
産業プロセス制御に強化学習を適用すること、例えば強化学習エージェントを提供することは、課題を提起する。サンプル効率は、特にＲＬエージェントのトレーニング及びメンテナンス中の、産業プロセスシステムにおけるＲＬエージェントの主要な課題の１つである。ＲＬアルゴリズムは、従来、効果的なポリシーを学習するために、プロセス及び／又は環境との多数の対話を必要とする。したがって、本発明の目的は、産業プロセスのためのＲＬエージェントをトレーニングするために必要なサンプルの数を減らすこと、及び／又はＲＬエージェントをトレーニングするためのサンプルをより効率的に提供すること、特に優れた性能を達成することである。
【０００９】
多くの産業環境では、実際の動作環境においてＲＬエージェントを最初からトレーニングすることは、実現不可能及び／又は安全でない場合がある。ＲＬエージェントの所望の精度を達成するために、トレーニング段階中に高忠実度シミュレータを使用することができる。高忠実度シミュレータの欠点は、それらが高価であり、これらのシミュレータの実行が、複数ヶ月のトレーニング時間をもたらす可能性があることである。さらに、多くの産業システムは、高次元の状態及びアクション空間を特徴とする。従来のＲＬアルゴリズムは、そのような複雑な環境を効率的にナビゲートすることに苦労することがある。したがって、本発明の目的は、連続的で高次元の空間を扱うことができる方法を提供することである。
【００１０】
さらに、ＲＬエージェントは、最適なポリシーを取得するだけでなく、環境の変動に対する回復力を示しながら、厳しい安全制約にも準拠しなければならないので、安全性が優先される。本発明のさらなる目的は、経時的に発展する条件にリアルタイムで適応し、それらのロバスト性を保証するための機構を確立することである。
（【００１１】以降は省略されています）

関連特許