特許ウォッチ

公開番号2025167844
公報種別公開特許公報(A)
公開日2025-11-07
出願番号2024072801
出願日2024-04-26
発明の名称生産スケジューリング装置、生産スケジューリング方法および生産スケジューリングプログラム
出願人アズビル株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06N 3/092 20230101AFI20251030BHJP(計算;計数)
要約【課題】強化学習を用いたスケジューリングを効率的に行うことができる。
【解決手段】行動選択モデルに基づき、生産スケジュールを立案する生産スケジューリング装置であって、生産スケジュールにおける行動を選択し、選択された行動が含まれる第1の経験データを、状態遷移を表す木構造情報として記憶する経験記憶部と、報酬関数が変更された場合、報酬関数と過去の経験データとを用いて、報酬を再計算する経験更新部と、経験更新部によって更新された報酬を含む第2の経験データを用いて、行動選択モデルのパラメータを更新する学習部とを備えることを特徴とする。
【選択図】図1
特許請求の範囲【請求項１】
行動選択モデルに基づき、生産スケジュールを立案する生産スケジューリング装置であって、
前記生産スケジュールにおける行動を選択し、当該選択された行動が含まれる第１の経験データを、状態遷移を表す木構造情報として記憶する経験記憶部と、
報酬関数が変更された場合、当該報酬関数と過去の経験データとを用いて、報酬を再計算する経験更新部と、
前記経験更新部によって更新された報酬を含む第２の経験データを用いて、行動選択モデルのパラメータを更新する学習部と、
を備えることを特徴とする生産スケジューリング装置。
続きを表示（約 980 文字）【請求項２】
更新前の前記行動選択モデルが前記生産スケジュールにおける行動を選択し、当該選択された行動が含まれる第３の経験データと、前記第２の経験データとを比較し、前記第３の経験データが含まれていない場合に、前記第２の経験データを前記第３の経験データで更新する環境部をさらに有し、
前記経験記憶部は、前記環境部により更新された前記第３の経験データを記憶し、
前記学習部は、前記経験記憶部によって記憶された前記第３の経験データを用いて、前記行動選択モデルのパラメータを更新する
ことを特徴とする請求項１に記載の生産スケジューリング装置。
【請求項３】
前記経験更新部は、エピソード終了状態の報酬と各途中状態の報酬を比較し、所定の条件に基づいて各途中状態の報酬を再計算する
ことを特徴とする請求項１に記載の生産スケジューリング装置。
【請求項４】
行動選択モデルに基づき、生産スケジュールを立案する生産スケジューリング方法であって、
前記生産スケジュールにおける行動を選択し、当該選択された行動が含まれる第１の経験データを、状態遷移を表す木構造情報として記憶する経験記憶工程と、
報酬関数が変更された場合、当該報酬関数と過去の経験データとを用いて、報酬を再計算する経験更新工程と、
前記経験更新工程によって更新された報酬を含む第２の経験データを用いて、行動選択モデルのパラメータを更新する学習工程と、
を含むことを特徴とする生産スケジューリング方法。
【請求項５】
行動選択モデルに基づき、生産スケジュールを立案する生産スケジューリングプログラムであって、
前記生産スケジュールにおける行動を選択し、当該選択された行動が含まれる第１の経験データを、状態遷移で表す木構造情報として記憶する経験記憶ステップと、
報酬関数が変更された場合、当該報酬関数と過去の経験データとを用いて、報酬を再計算する経験更新ステップと、
前記経験更新ステップによって更新された報酬を含む第２の経験データを用いて、行動選択モデルのパラメータを更新する学習ステップと、
をコンピュータに実行させることを特徴とする生産スケジューリングプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、生産スケジューリング装置、生産スケジューリング方法および生産スケジューリングプログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
従来、生産現場のスケジューリングは、納期を厳守しつつ、生産性を高めるために、各機械における各製品の製造順序（以下、スケジュールということもある）を決定するために実行される。
【０００３】
このような、生産現場でのスケジューリングは、解となる製造順序の総数が膨大になり、実時間で全通り探索できない場合がある。したがって、一般的には真の最適解を求めるための効率的なアルゴリズムが存在せず、近似的にできるだけ良い解を探索する近似解の探索技術として、メタヒューリスティック手法が利用されている。
【０００４】
一方で、メタヒューリスティック手法も、在庫や注文等が変更される度に、別のスケジューリングとして、探索を行う必要があり、スケジューリングの作業効率を低下させている。
【０００５】
近年では、生産現場のスケジューリング手法として、強化学習が用いられている（特許文献１）。強化学習は、報酬を示す報酬関数の定義に依存するところ、例えば、製品を生産し終わるまでの時間の最小化などの単目的の最適化を目的に学習をしていた。しかし、実際の生産現場において、強化学習は、製品を生産し終わるまでの時間を最小化するのに加えて労働安全衛生や事業計画などの多目的の最適化を目的に学習をする必要がある。
【先行技術文献】
【特許文献】
【０００６】
特開２０２２－１３５９０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の従来技術では、強化学習を用いたスケジューリングを効率的に行うことが難しい場合がある。
【０００８】
一般的に、強化学習は、報酬を示す報酬関数の定義に依存するところ、例えば、製品を生産し終わるまでの時間の最小化などの単目的の最適化を目的に学習をしていた。しかし、実際の生産現場において、強化学習は、製品を生産し終わるまでの時間を最小化するのに加えて労働安全衛生や事業計画などの多目的の最適化を目的に学習をする必要がある。
【０００９】
例えば、多目的の最適化を目的に学習をする場合には、報酬を事前に定義することが難しく、人間が強化学習により出力されたスケジュールに基づいて、報酬関数の調整をする必要がある。しかし、従来、報酬関数の値を調整すると、変更された報酬関数以外の、状態、行動、行動後の状態を含めて学習をやり直すため学習に多大な時間を要していた。
【課題を解決するための手段】
【００１０】
本発明に係る生産スケジューリング装置は、行動選択モデルに基づき、生産スケジュールを立案する生産スケジューリング装置であって、前記生産スケジュールにおける行動を選択し、当該選択された行動が含まれる第１の経験データを、状態遷移を表す木構造情報として記憶する経験記憶部と、報酬関数が変更された場合、当該報酬関数と過去の経験データとを用いて、報酬を再計算する経験更新部と、前記経験更新部によって更新された報酬を含む第２の経験データを用いて、行動選択モデルのパラメータを更新する学習部と、を備えることを特徴とする。
（【００１１】以降は省略されています）

関連特許