特許ウォッチ

公開番号2024017443
公報種別公開特許公報(A)
公開日2024-02-08
出願番号2022120080
出願日2022-07-28
発明の名称制御装置
出願人株式会社日立製作所
代理人ポレール弁理士法人
主分類G05B 13/02 20060101AFI20240201BHJP(制御;調整)
要約【課題】複数の機器又は複数の手順の間に相互作用がある制御対象について、大域的に最適化する際の計算負荷を軽減する。
【解決手段】複数のフェイズのそれぞれについて状態を取得し当該フェイズの操作量を算出する制御部と、目的関数を最大化する制御則を出力する学習部と、を有するエージェントを備える制御装置であって、制御部は、制御則を用いて操作量を算出し、複数のフェイズのうち下流のフェイズの制御則を算出する学習部は、当該学習部が有する最適化データである下流最適化データを複数のフェイズのうち下流のフェイズの上流側に位置する上流のフェイズに対応する学習部に出力する。最適化データは、価値の値、目的関数の期待値並びに当該フェイズの状態及び操作量の評価値のうちいずれか一つ以上である。
【選択図】図2
特許請求の範囲【請求項１】
複数のフェイズのそれぞれについて状態を取得し当該フェイズの操作量を算出する制御部と、目的関数を最大化する制御則を出力する学習部と、を有するエージェントを備え、
前記制御部は、前記制御則を用いて前記操作量を算出し、
前記複数のフェイズのうち下流のフェイズの前記制御則を算出する前記学習部は、当該学習部が有する最適化データである下流最適化データを前記複数のフェイズのうち前記下流のフェイズの上流側に位置する上流のフェイズに対応する前記学習部に出力し、
前記最適化データは、価値の値、前記目的関数の期待値並びに当該フェイズの前記状態及び前記操作量の評価値のうちいずれか一つ以上である、制御装置。
続きを表示（約 730 文字）【請求項２】
前記目的関数は、事前学習に基づいて算出される、請求項１記載の制御装置。
【請求項３】
前記上流のフェイズに対応する前記学習部は、前記下流最適化データを、前記上流のフェイズに対応する前記学習部が有する前記最適化データである上流最適化データであって最終状態のものとして用い、前記上流のフェイズに対応する前記学習部の前記制御則を出力する、請求項１記載の制御装置。
【請求項４】
前記エージェントは、前記複数のフェイズのうちの一つ又は二つ以上のフェイズに対応するものに分割されている、請求項１記載の制御装置。
【請求項５】
前記エージェントは、前記制御部及び前記学習部を一つずつ有し、前記複数のフェイズのすべてに対応する、請求項１記載の制御装置。
【請求項６】
前記学習部は、状態遷移行列ベース制御最適化手法を用いて前記最適化データを算出する、請求項１記載の制御装置。
【請求項７】
前記状態遷移行列ベース制御最適化手法は、統計モデリング及び級数処理のうち少なくともいずれか一つを用いる、請求項６記載の制御装置。
【請求項８】
前記複数のフェイズは、互いに接続され、
前記複数のフェイズに含まれる一のフェイズは、前記複数のフェイズに含まれる他のフェイズの影響を受ける構成を有する、請求項１記載の制御装置。
【請求項９】
前記複数のフェイズは、直列に接続されている、請求項８記載の制御装置。
【請求項１０】
前記フェイズは、システムを構成する機器である、請求項８記載の制御装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、制御則を高速に計算する制御装置に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
自動車やプラント（発電・産業）の分野では、機械学習をはじめとする人工知能技術の活用が試みられている。特に、人工知能技術（ＡＩ技術）を制御最適化に適用したＡＩ制御技術は、制御対象の挙動が不明でも運転データから最適な制御則を探索できる利点がある。その反面、制御則の最適化には、制御対象の複雑性に比例して高い計算負荷を要する。そのため、計算負荷を軽減しつつ、制御対象の最適化する技術が必要となる。
【０００３】
特許文献１には、フィードバック制御部（またはフィードフォワード制御）とＡＩ制御部とのいずれによって制御対象機器を制御するかの切替が行われるので、何れか一方によって良好に制御を行えない場合に、他方によって良好に制御を行うことができること、ＡＩ制御部のみによって制御対象機器の制御を行う場合と異なり、制御の一部をフィードバック制御部に分担することができるため、モデルの学習を簡略化することができることなどが開示されている。
【０００４】
特許文献２には、設備に設けられた複数の機器の一部をそれぞれ対象機器とする複数のエージェントを備え、複数のエージェントのそれぞれは、設備の状態を示す状態データを取得する状態取得部と、各対象機器の制御条件を示す制御条件データを取得する制御条件取得部と、状態データおよび制御条件データを含む学習データを用い、状態データの入力に応じて各対象機器の推奨される制御条件を示す推奨制御条件データを出力するモデルの学習処理を実行する学習処理部と、を有する装置を用いることにより、全ての機器の制御条件データを含む学習データを用いてモデルの学習処理を行う場合と比較して学習処理の演算処理数を低減することができることが開示されている。
【０００５】
特許文献３には、プラントの起動状態に基づいて次の起動手順を予測し、起動手順予測時のプラント操作状態に基づいて予測された起動手順における操作量を予測し、操作量予測値を出力し、操作量予測値と操作量予測時のプラントの制御量に基づいて将来の制御量を予測し、制御量予測値を出力し、制御量予測値及び操作量予測値から予測された起動手順における操作量予測値に対する制御量予測値の感度を判定し、制御量予測値に基づいてプラントが起動状態での起動手順の完了を示す起動条件を満たすかどうかを判定し、起動条件判定手段と起動手順判定手段の出力に基づいて、予測された手順を直ちに実行するかどうかを指示する起動完了信号修正値を生成出力する、プラント起動予測制御装置を用いることにより、プラント起動時におけるプラント起動手順を、収束計算することなく決定でき、計算負荷を増大させることなくプラントの起動スケジュールを逐次修正し、プラント起動時間を短縮することができることが開示されている。
【先行技術文献】
【特許文献】
【０００６】
特開２０２１－１７４２５９号公報
特開２０２０－０２７５５６号公報
特開２００３－２６９１１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の制御装置は、フィードバック制御またはフィードフォワード制御とＡＩ制御とを組み合わせることにより、ＡＩ制御の適用範囲を抑えることにより計算負荷を軽減する。しかしながら、特許文献１においては、フィードバック制御またはフィードフォワード制御が適用できない場合においてＡＩ制御の計算負荷を軽減する技術については明示されていない。
【０００８】
特許文献２に記載の装置は、対象機器同士の挙動に干渉が弱く、それぞれ独立した学習処理を行う場合においては計算負荷を大幅に軽減可能である。しかしながら、特許文献２においては、対象機器同士の挙動に相関がある場合においては、計算負荷の軽減が可能かどうかについては明示されていない。
【０００９】
特許文献３に記載のプラント起動予測制御装置は、収束計算を回避しているため、計算負荷の増大を抑制することができ、プラント起動時間を短縮することができる。しかしながら、特許文献３においては、運転データから最適な制御則を探索するＡＩ制御に適用する方法などについては明示されていない。
【００１０】
本開示は、複数の機器又は複数の手順の間に相互作用がある制御対象について、大域的に最適化する際の計算負荷を軽減することを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許