特許ウォッチ

公開番号2025134545
公報種別公開特許公報(A)
公開日2025-09-17
出願番号2024032523
出願日2024-03-04
発明の名称制御装置、リソグラフィ装置、および物品製造方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G03F 7/20 20060101AFI20250909BHJP(写真;映画;光波以外の波を使用する類似技術;電子写真;ホログラフイ)
要約【課題】学習時間の短縮と学習安定性の確保のために有利な技術を提供する。
【解決手段】制御装置は、学習によってパラメータ値が決定された学習モデルに従い制御対象を制御する制御部と、前記制御部によって制御された前記制御対象の動作履歴を用いた学習によって前記学習モデルのパラメータ値を再決定する学習部と、を備え、前記学習部は、第1の学習で使用された第1の動作履歴を用いずに、前記第1の動作履歴より後に取得された第2の動作履歴のみを用いて前記第1の学習の後の第2の学習を実行する。
【選択図】図5
特許請求の範囲【請求項１】
学習によってパラメータ値が決定された学習モデルに従い制御対象を制御する制御部と、
前記制御部によって制御された前記制御対象の動作履歴を用いた学習によって前記学習モデルのパラメータ値を再決定する学習部と、
を備え、
前記学習部は、第１の学習で使用された第１の動作履歴を用いずに、前記第１の動作履歴より後に取得された第２の動作履歴のみを用いて前記第１の学習の後の第２の学習を実行する、ことを特徴とする制御装置。
続きを表示（約 1,000 文字）【請求項２】
前記学習部は、前記制御対象の動作履歴を含む学習データを記憶するための第１記憶領域と、前記第１記憶領域とは異なる第２記憶領域とを提供する記憶部を有し、
前記学習部は、
前記第１記憶領域に記憶された前記学習データを前記第２記憶領域に複製し、その後、前記第１記憶領域における前記学習データを削除または無効化し、
前記第２記憶領域に記憶された前記学習データを用いた学習と、前記制御部から提供される新たな学習データの前記第１記憶領域への書込みとを並列に実行する、
ことを特徴とする請求項１に記載の制御装置。
【請求項３】
前記制御部から提供される新たな学習データの前記第１記憶領域への書込みは、前記制御部が前記制御対象を制御している間に行われる、ことを特徴とする請求項２に記載の制御装置。
【請求項４】
前記学習部での学習に必要な量の学習データが前記第１記憶領域に蓄積されるまでにかかる時間が、前記学習部による前記学習を実行するのにかかる時間より長い、ことを特徴とする請求項３に記載の制御装置。
【請求項５】
前記学習部での学習に必要な量の学習データが前記第１記憶領域に蓄積されるまでの間、前記学習部は、前記第２記憶領域に記憶された前記学習データを用いた学習を複数回実行する、ことを特徴とする請求項４に記載の制御装置。
【請求項６】
前記学習部は、
前記第２記憶領域に記憶された前記学習データを用いた強化学習を行うことにより前記学習モデルのパラメータ値を計算するパラメータ計算部と、
前記パラメータ計算部により計算された前記パラメータ値を記憶するパラメータ記憶部と、
前記パラメータ記憶部に記憶された前記パラメータ値の前記制御部への転送を制御する学習制御部と、
を更に有することを特徴とする請求項２に記載の制御装置。
【請求項７】
基板に原版のパターンを転写するリソグラフィ装置であって、
前記基板または前記原版の位置を制御するように構成された請求項１から６のいずれか１項に記載の制御装置を備える、
ことを特徴とするリソグラフィ装置。
【請求項８】
請求項７に記載のリソグラフィ装置を用いて基板に原版のパターンを転写する転写工程と、
前記転写工程を経た前記基板を処理する処理工程と、を含み、
前記処理工程を経た前記基板から物品を得ることを特徴とする物品製造方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、制御装置、リソグラフィ装置、および物品製造方法に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、制御精度の向上に対する要求が厳しくなってきており、従来のフィードバック制御だけでは要求精度に達しないことがある。そこで、ニューラルネットワーク制御器を構成する取り組みが行われている。（特許文献１）。ニューラルネットワーク制御器は、機械学習によってパラメータが調整される。例えば、モデルが複雑で高度な制御精度が要求される分野では、機械学習の１つである強化学習を用いた学習を導入することが増えている。
【０００３】
強化学習は、教師あり学習および教師なし学習と並ぶ、機械学習の１つである。強化学習では、学習データの取得、パラメータの計算、パラメータの更新を繰り返し行うことで学習を行う。しかし、学習を行う際には装置による生産を停止する必要がある。つまり、学習の実行は生産性の低下につながる。この課題に対して、パラメータ更新と学習データ取得を非同期で並列に行うことで学習時間を短縮する手法が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－０４６３１７号公報
特開２０２２－１２１１１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
予め決められた学習シーケンスを実行することによる学習データの取得と、取得された学習データを用いたパラメータ計算とを繰り返し行うことにより、ニューラルネットワーク制御器に対する強化学習が行われる。そのため、学習においては、学習データ取得とパラメータ計算に時間がかかる。
【０００６】
特許文献２では、学習データ取得とパラメータ計算を非同期で行うため、学習時間が短縮される。また、パラメータ計算時間に比べて学習データ取得時間が短い場合、固定されたパラメータ値による首尾一貫した行動履歴における学習データとなるため、安定した学習が得られる。しかし、パラメータ計算時間に比べて学習データ取得時間が長い場合、学習データの取得中にパラメータ値が更新され、複数のパラメータ値による行動履歴が学習データに混在することになる。そうすると、学習データは、首尾一貫しない行動履歴を含むため、学習の安定性が低下するおそれがある。
【０００７】
本発明は、学習時間の短縮と学習安定性の確保のために有利な技術を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面によれば、学習によってパラメータ値が決定された学習モデルに従い制御対象を制御する制御部と、前記制御部によって制御された前記制御対象の動作履歴を用いた学習によって前記学習モデルのパラメータ値を再決定する学習部と、を備え、前記学習部は、第１の学習で使用された過去の動作履歴を用いずに、前記過去の動作履歴より後に取得された動作履歴のみを用いて前記第１の学習の後の第２の学習を実行する、ことを特徴とする制御装置が提供される。
【発明の効果】
【０００９】
本発明によれば、学習時間の短縮と学習安定性の確保のために有利な技術を提供することができる。
【図面の簡単な説明】
【００１０】
システムの構成を示す図。
図１のシステムをステージ装置に適用したときのハードウエア構成図。
パラメータ値を決定するための学習部を有するシステムの構成を示す図。
図３のシステムをステージ装置に適用したときの制御ブロック図。
学習部の詳細構成を示すブロック図。
学習処理の手順を示すフローチャート。
パラメータ計算フローの詳細を示すフローチャート。
学習データ取得フローの詳細を示すフローチャート。
露光装置に構成例を示す図。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許