特許ウォッチ

公開番号2023038931
公報種別公開特許公報(A)
公開日2023-03-17
出願番号2022141138
出願日2022-09-06
発明の名称コンピュータ実装方法、コンピュータプログラム、及びシステム(ゼロ抑制決定図を使用したより高速の適合Q反復)
出願人インターナショナル・ビジネス・マシーンズ・コーポレーション,INTERNATIONAL BUSINESS MACHINES CORPORATION
代理人個人,個人,弁理士法人RYUKA国際特許事務所
主分類G06N 20/00 20190101AFI20230310BHJP(計算;計数)
要約【課題】オフライン強化学習においてゼロ抑制決定図を使用したより高速の適合Q反復を提供する。
【解決手段】方法は、タプルのセットの各々が、状態s、行動a、報酬r及び結果として得られる状態s'を含むタプルのセットD及び割引率γを取得する段階100と、タプルのセットの結果として得られる状態s'の各々について、特徴ベクトルのゼロ抑制決定図(ZDD)を構築する段階102と、状態-行動価値関数Q(s,a;w,θ)のパラメータw、θを更新する段階104と、tを増分することによって所定の回数、更新する段階を繰り返す段階106と、を含む。
【選択図】図4
特許請求の範囲【請求項１】
適合Ｑ反復のための状態－行動価値関数を推定するコンピュータ実装方法であって、
タプルのセットＤ及び割引率γを取得する段階であって、前記タプルのセットの各々は、状態ｓ、行動ａ、報酬ｒ、及び結果として得られる状態ｓ'を含む、段階と、
前記タプルのセットの前記結果として得られる状態ｓ'の各々について、特徴ベクトル
JPEG
2023038931000047.jpg
7
65
のゼロ抑制決定図（ＺＤＤ）を構築する段階であって、前記特徴ベクトルφ（ｓ，ａ）は、疎ビットベクトル｛０，１｝
Ｄ
であり、
JPEG
2023038931000048.jpg
7
17
は、状態ｓ'において適用可能な前記行動のセットである、段階と、
状態－行動価値関数Ｑ（ｓ，ａ；ｗ，θ）のパラメータ
JPEG
2023038931000049.jpg
6
21
、θを更新する段階と、
ｔを増分することによって所定の回数、前記更新する段階を繰り返す段階と
を備える、コンピュータ実装方法。
続きを表示（約 1,600 文字）【請求項２】
前記パラメータの前記更新は、
JPEG
2023038931000050.jpg
9
155
によって計算され、Ｑ（ｓ，ａ；ｗ，θ）＝ｗ・φ（ｓ，ａ）＋ｆ（ｓ；Ｑ）、ｍａｘ
ａ'∈Ａ（ｓ'）
Ｑ（ｓ'，ａ'；ｗ
ｔ
，θ
ｔ
）＝ｆ（ｓ'；θ
ｔ
）＋ｍａｘ
ａ'∈Ａ（ｓ'）
ｗ
ｔ
・φ（ｓ'，ａ'）であり、ｍａｘ
ａ'∈Ａ（ｓ'）
ｗ
ｔ
・φ（ｓ'，ａ'）は、前記ＺＤＤを用いて計算される、請求項１に記載のコンピュータ実装方法。
【請求項３】
前記ＺＤＤを用いた適合Ｑ反復は、目標特性値を満たす新たな分子構造を生成する計算材料発見のために利用される、請求項１又は２に記載のコンピュータ実装方法。
【請求項４】
前記状態は、現在の分子であり、前記行動は、化学反応であり、前記報酬は、最大化すべき特性である、請求項１又は２に記載のコンピュータ実装方法。
【請求項５】
前記化学反応は、複数の候補をもたらす、請求項４に記載のコンピュータ実装方法。
【請求項６】
前記複数の候補のうちの、最低の合成容易性スコアを有する候補が、前記化学反応の生成物として選択される、請求項５に記載のコンピュータ実装方法。
【請求項７】
前記ＺＤＤを用いた適合Ｑ反復は、オフライン強化学習において利用される、請求項１又は２に記載のコンピュータ実装方法。
【請求項８】
適合Ｑ反復のための状態－行動価値関数を推定するコンピュータプログラムであって、コンピュータに、
タプルのセットＤ及び割引率γを取得する手順であって、前記タプルのセットの各々は、状態ｓ、行動ａ、報酬ｒ、及び結果として得られる状態ｓ'を含む、手順と、
前記タプルのセットの前記結果として得られる状態ｓ'の各々について、特徴ベクトル
JPEG
2023038931000051.jpg
7
65
のゼロ抑制決定図（ＺＤＤ）を構築する手順であって、前記特徴ベクトルφ（ｓ，ａ）は、疎ビットベクトル｛０，１｝
Ｄ
であり、
JPEG
2023038931000052.jpg
7
17
は、状態ｓ'において適用可能な前記行動のセットである、手順と、
状態－行動価値関数Ｑ（ｓ，ａ；ｗ，θ）のパラメータ
JPEG
2023038931000053.jpg
6
21
、θを更新する手順と、
ｔを増分することによって所定の回数、前記更新する手順を繰り返す手順と
を行わせる、コンピュータプログラム。
【請求項９】
前記パラメータの前記更新は、
JPEG
2023038931000054.jpg
11
148
によって計算され、Ｑ（ｓ，ａ；ｗ，θ）＝ｗ・φ（ｓ，ａ）＋ｆ（ｓ；Ｑ）、ｍａｘ
ａ'∈Ａ（ｓ'）
Ｑ（ｓ'，ａ'；ｗ
ｔ
，θ
ｔ
）＝ｆ（ｓ'；θ
ｔ
）＋ｍａｘ
ａ'∈Ａ（ｓ'）
ｗ
ｔ
・φ（ｓ'，ａ'）であり、ｍａｘ
ａ'∈Ａ（ｓ'）
ｗ
ｔ
・φ（ｓ'，ａ'）は、前記ＺＤＤを用いて計算される、請求項８に記載のコンピュータプログラム。
【請求項１０】
前記ＺＤＤを用いた適合Ｑ反復は、目標特性値を満たす新たな分子構造を生成する計算材料発見のために利用される、請求項８又は９に記載のコンピュータプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、概して、機械学習に関し、より具体的には、ゼロ抑制決定図（ｚｅｒｏ―ｓｕｐｐｒｅｓｓｅｄｄｅｃｉｓｉｏｎｄｉａｇｒａｍ）を使用したより高速の適合Ｑ反復（ＦｉｔｔｅｄＱ－ｉｔｅｒａｔｉｏｎ）のための方法及びシステムに関する。
続きを表示（約 4,200 文字）【背景技術】
【０００２】
Ｑ学習は、オートメーション及びロボティクスにおいて幾つかの応用を有する、人気がある強化学習アルゴリズムである。強化学習アルゴリズムは、エージェントを介して制御方策を計算し、エージェントは、システムに対して直接（オンライン制御）、又はシステムのシミュレータとのインタラクションから（オフライン又はバッチ制御）、学習することができる。望ましい制御方策は、任意の初期状態から、エージェントによって経時的に累積される報酬を最大化する行動を選択するようなものである。Ｑ学習は、行動価値モデルを使用し、これは、異なる状態に対処する関数を作成する。Ｑ学習は、最適方策を段階方式で決定するために考えられた。
【０００３】
状態表現全体が収束であると示された状態でのＱ学習を通して、環境の状態が部分的に観測可能である場合（例えば、センサデバイスの不正確又は遅延）、最適方策を発見するための適した近似方法が要求される。有限かつ十分に小さい状態空間及び行動空間について、Ｑ関数を表形式において表すことができるため、その（バッチにおける及びオンラインモードにおける）近似及び導出される制御方策は単純である。しかしながら、この手法は、連続的な又は非常に大きい離散的な状態行動若しくは行動空間、又はその両方に対処する場合には首尾よく使用することができない。回帰問題の大半における１つの重要な段階は、モデルから他のものを除去しながらの、応答を説明する変数の選択である［１］［７］。通常、そのような手順は、特徴選択技法と称され、それらは、削減された変数空間とともに良好かつ単純な回帰器（ｒｅｇｒｅｓｓｏｒ）を学習することを容易にする。回帰器をトレーニングするときに対処される必要がある別の重要な問題は、いわゆるハイパーパラメータ最適化である。これらのハイパーパラメータは、機械学習（ＭＬ）モデルの特定のタイプに固有であり、場合に応じて、ニューロンの数、カーネル関数及びそれらのパラメータ、正則化定数等であり得る［２］。それらは、性能又はコスト関数を与えられると最適モデルを取得するために調節されなければならない。これらの技法、すなわち、特徴選択及びハイパーパラメータ最適化の両方は、モデル品質、解釈可能性、トレーニング速度及びモデル評価速度に対して重大な影響を有し、ここで、最適解は、通常、これらのモデル特性間の妥協として得られる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
オフライン強化学習においてゼロ抑制決定図を使用したより高速の適合Ｑ反復のための方法及びデバイスを提供する。
【課題を解決するための手段】
【０００５】
一実施形態によれば、適合Ｑ反復のための状態－行動価値関数を推定するコンピュータ実装方法が提供される。
前記コンピュータ実装方法は、タプルのセットＤ及び割引率γを取得する段階であって、前記タプルのセットの各々は、状態ｓ、行動ａ、報酬ｒ、及び結果として得られる状態ｓ'を含む、段階と、前記タプルのセットの前記結果として得られる状態ｓ'の各々について、特徴ベクトル
JPEG
2023038931000002.jpg
7
65
のゼロ抑制決定図（ＺＤＤ）を構築する段階であって、前記特徴ベクトルφ（ｓ，ａ）は、疎ビットベクトル｛０，１｝
Ｄ
であり、
JPEG
2023038931000003.jpg
7
17
は、状態ｓ'において適用可能な前記行動のセットである、段階と、状態－行動価値関数Ｑ（ｓ，ａ；ｗ，θ）のパラメータ
JPEG
2023038931000004.jpg
6
21
、θを更新する段階と、ｔを増分することによって所定の回数、前記更新する段階を繰り返す段階とを備える。
【０００６】
別の実施形態によれば、適合Ｑ反復のための状態－行動価値関数を推定するコンピュータプログラム製品が提供される。前記コンピュータプログラム製品は、プログラム命令が具現化されたコンピュータ可読記憶媒体を備え、前記プログラム命令は、コンピュータに、タプルのセットＤ及び割引率γを取得する手順であって、前記タプルのセットの各々は、状態ｓ、行動ａ、報酬ｒ、及び結果として得られる状態ｓ'を含む、手順と、前記タプルのセットの前記結果として得られる状態ｓ'の各々について、特徴ベクトル
JPEG
2023038931000005.jpg
7
65
のゼロ抑制決定図（ＺＤＤ）を構築する手順であって、前記特徴ベクトルφ（ｓ，ａ）は、疎ビットベクトル｛０，１｝
Ｄ
であり、
JPEG
2023038931000006.jpg
7
17
は、状態ｓ'において適用可能な前記行動のセットである、手順と、状態－行動価値関数Ｑ（ｓ，ａ；ｗ，θ）のパラメータ
JPEG
2023038931000007.jpg
6
21
、θを更新する手順と、ｔを増分することによって所定の回数、前記更新する手順を繰り返す手順とを行わせる、前記コンピュータによって実行可能である。
【０００７】
更に別の実施形態によれば、適合Ｑ反復のための状態－行動価値関数を推定するシステムが提供される。前記システムは、メモリと、前記メモリと通信する１つ又は複数のプロセッサとを備え、前記１つ又は複数のプロセッサは、タプルのセットＤ及び割引率γを取得することであって、前記タプルのセットの各々は、状態ｓ、行動ａ、報酬ｒ、及び結果として得られる状態ｓ'を含むことと、前記タプルのセットの前記結果として得られる状態ｓ'の各々について、特徴ベクトル
JPEG
2023038931000008.jpg
7
65
のゼロ抑制決定図（ＺＤＤ）を構築することであって、前記特徴ベクトルφ（ｓ，ａ）は、疎ビットベクトル｛０，１｝
Ｄ
であり、
JPEG
2023038931000009.jpg
7
17
は、状態ｓ'において適用可能な前記行動のセットであることと、状態－行動価値関数Ｑ（ｓ，ａ；ｗ，θ）のパラメータ
JPEG
2023038931000010.jpg
6
21
、θを更新することと、ｔを増分することによって所定の回数、前記更新することを繰り返すこととを行うように構成されている。
【０００８】
別の実施形態によれば、適合Ｑ反復のための状態－行動価値関数を推定するコンピュータ実装方法が提供される。前記コンピュータ実装方法は、タプルのセットＤ及び割引率γを取得する段階であって、前記タプルのセットの各々は、状態ｓ、行動ａ、報酬ｒ、及び結果として得られる状態ｓ'を含む、段階と、前記タプルのセットの前記結果として得られる状態ｓ'の各々について、特徴ベクトル
JPEG
2023038931000011.jpg
7
65
の二分決定図（ＢＤＤ）を構築する段階であって、前記特徴ベクトルφ（ｓ，ａ）は、疎ビットベクトル｛０，１｝
Ｄ
であり、
JPEG
2023038931000012.jpg
7
17
は、状態ｓ'において適用可能な前記行動のセットである、段階と、状態－行動価値関数Ｑ（ｓ，ａ；ｗ，θ）のパラメータ
JPEG
2023038931000013.jpg
6
21
、θを更新する段階と、ｔを増分することによって所定の回数、前記更新する段階を繰り返す段階とを備える。
【０００９】
更に別の実施形態によれば、適合Ｑ反復のための状態－行動価値関数を推定するコンピュータ実装方法が提供される。前記コンピュータ実装方法は、タプルのセットＤ及び割引率γを取得する段階であって、前記タプルのセットの各々は、状態ｓ、行動ａ、報酬ｒ、及び結果として得られる状態ｓ'を含む、段階と、前記タプルのセットの前記結果として得られる状態ｓ'の各々について、特徴ベクトル
JPEG
2023038931000014.jpg
7
65
の複数のゼロ抑制決定図（ＺＤＤ）を構築する段階であって、前記特徴ベクトルφ（ｓ，ａ）は、疎ビットベクトル｛０，１｝
Ｄ
であり、
JPEG
2023038931000015.jpg
7
17
は、状態ｓ'において適用可能な前記行動のセットである、段階と、
状態－行動価値関数Ｑ（ｓ，ａ；ｗ，θ）のパラメータ
JPEG
2023038931000016.jpg
6
21
、θを更新する段階と、ｔを増分することによって所定の回数、前記更新する段階を繰り返す段階とを備える。
【００１０】
例示的な実施形態は、異なる主題を参照して説明されることに留意されたい。特に、幾つかの実施形態は、方法型請求項を参照して説明される一方、他の実施形態は装置型請求項を参照して説明されている。しかしながら、当業者であれば、上記及び以下の説明から、別段に通知されない限り、主題のうちの１つの型に属する特徴の任意の組み合わせに加えて、異なる主題に関する特徴同士の間、特に、方法型請求項の特徴、及び装置型請求項の特徴同士の間の任意の組み合わせも本明細書内で説明されているものとみなされると推論するであろう。
（【００１１】以降は省略されています）

関連特許