特許ウォッチ

公開番号2024164700
公報種別公開特許公報(A)
公開日2024-11-27
出願番号2023080371
出願日2023-05-15
発明の名称リカレントニューラルネットワークシステム、プログラム、情報処理方法、情報処理装置及び学習方法
出願人国立大学法人大阪大学
代理人個人,個人
主分類G06N 3/044 20230101AFI20241120BHJP(計算;計数)
要約【課題】誤差の蓄積が抑制されるリカレントニューラルネットワークシステム、プログラム、情報処理方法、情報処理装置及び学習方法を提供すること。
【解決手段】リカレントニューラルネットワークシステムは、第2時点の外力データと、前記第2時点よりも前の第1時点の隠れ層状態変数と、第1時点の実測データと第1時点の予測データの誤差の入力の下、第2時点の隠れ層状態変数を求め、第2時点の状態変数の下に第2時点の予測データを求めるリカレントニューラルネットワークシステム。
【選択図】図2
特許請求の範囲【請求項１】
リカレントニューラルネットワークシステムであって、
第２時点の外力データと、前記第２時点よりも前の第１時点の隠れ層状態変数と、第１時点の実測データと第１時点の予測データとの誤差が入力の下、第２時点の隠れ層状態変数を求め、第２時点の隠れ層状態変数を下に第２時点の予測データを求める
リカレントニューラルネットワークシステム。
続きを表示（約 1,600 文字）【請求項２】
初期時刻時点の前記隠れ層状態変数を調整パラメータの一部として学習してある
請求項１に記載のリカレントニューラルネットワークシステム。
【請求項３】
実測データが存在しない時点の次時点において、前記誤差の入力を遮蔽し、誤差がゼロの場合に同等となる
請求項１又は請求項２に記載のリカレントニューラルネットワークシステム。
【請求項４】
前記誤差を用いて学習される同期用リカレントニューラルネットワーク、及び、前記誤差を用いず学習される予測用リカレントニューラルネットワークを有し、
所定の時間間隔で、前記同期用リカレントニューラルネットワークの状態変数に基づいて、前記予測用リカレントニューラルネットワークの状態変数を書き換える
請求項１又は請求項２に記載のリカレントニューラルネットワークシステム。
【請求項５】
実測データが存在しない場合、前記同期用リカレントニューラルネットワークへの入力を遮蔽する
請求項４に記載のリカレントニューラルネットワークシステム。
【請求項６】
前記同期用リカレントニューラルネットワーク（式１から式４）からの誤差と、前記予測用リカレントニューラルネットワーク（式５から式８）からの誤差に関する重み付き総和誤差に対して、誤差最小化原理（式９）によりパラメータを調整する
請求項４に記載のリカレントニューラルネットワークシステム。
TIFF
2024164700000005.tif
63
170
TIFF
2024164700000006.tif
48
170
TIFF
2024164700000007.tif
176
170
【請求項７】
実測データの時系列データを取得し、
第２時点の外力データと、前記第２時点よりも前の第１時点の隠れ層状態変数と、第１時点の実測データと第１時点の予測データとの誤差が入力の下、第２時点の隠れ層状態変数を求め、第２時点の隠れ層状態変数を下に第２時点の予測データを求めるよう学習されたリカレントニューラルネットワークに、取得した実測データの時系列データを入力して予測データを出力する
処理をコンピュータに実行させるプログラム。
【請求項８】
コンピュータが、
実測データの時系列データを取得し、
第２時点の外力データと、前記第２時点よりも前の第１時点の隠れ層状態変数と、第１時点の実測データと第１時点の予測データとの誤差が入力の下、第２時点の隠れ層状態変数を求め、第２時点の隠れ層状態変数を下に第２時点の予測データを求めるよう学習されたリカレントニューラルネットワークに、取得した実測データの時系列データを入力して予測データを出力する
情報処理方法。
【請求項９】
実測データの時系列データを取得する取得部と、
第２時点の外力データと、前記第２時点よりも前の第１時点の隠れ層状態変数と、第１時点の実測データと第１時点の予測データとの誤差が入力の下、第２時点の隠れ層状態変数を求め、第２時点の隠れ層状態変数を下に第２時点の予測データを求めるよう学習されたリカレントニューラルネットワークに、取得した実測データの時系列データを入力して予測データを出力する出力部と
を備える情報処理装置。
【請求項１０】
第２時点の外力データが入力される入力層と、隠れ層とを備えるリカレントニューラルネットワークシステムの学習方法であって、
前記隠れ層は、前記入力層からの前記第２時点の外力データと、前記第２時点よりも前の第１時点の隠れ層状態変数と、前記第１時点の実測データと該第１時点の予測データとの誤差とが入力され、前記第１時点の隠れ層出力及び前記誤差を用いて学習する学習方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、与えられた時系列データから、次以降の時刻に得られるデータを予測するリカレントニューラルネットワークシステム、プログラム、情報処理方法、情報処理装置及び学習方法に関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
時系列データの生成過程を学習し、過去の時系列データを入力すると将来のデータを予測する学習モデルとして、ＲＮＮ（Recurrent Neural Network）が提案されている（例えば、特許文献１）。ＲＮＮは過去の状態を現在の状態に反映するような再帰的な構造を持っている。ＲＮＮは入力データと前の状態を同時に考慮して、次の状態を計算するので、時系列予測に利用できる。
【先行技術文献】
【特許文献】
【０００３】
特開平９－２８２２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、ＲＮＮにおいて、状態を定義する状態変数（隠れ層状態変数）の時間発展は実現象の時間発展を近似したものであるため、時系列予測を繰り返し行うと、ＲＮＮの状態変数に誤差が蓄積する。このため、長期的な将来予測を目的とするＲＮＮの学習段階において、状態変数の時間発展やデータ出力過程の高精度な学習は困難となる。
【０００５】
本発明はこのような状況に鑑みてなされたものである。その目的は、誤差の蓄積が抑制されるリカレントニューラルネットワークシステム、プログラム、情報処理方法、情報処理装置及び学習方法の提供である。
【課題を解決するための手段】
【０００６】
本願の一態様に係るリカレントニューラルネットワークシステムは、第２時点の外力データと、前記第２時点よりも前の第１時点の隠れ層状態変数と、第１時点の実測データと第１時点の予測データとの誤差が入力の下、第２時点の隠れ層状態変数を求め、第２時点の隠れ層状態変数を下に第２時点の予測データを求める。
【発明の効果】
【０００７】
本願の一態様にあっては、長期的な時系列予測を行う場合でも、誤差の蓄積を抑制しつつ、時系列データの生成過程のモデル化や将来予測が行える。
【図面の簡単な説明】
【０００８】
情報処理装置のハードウェア構成例を示すブロック図である。
リカレントニューラルネットワークシステムの構成例を示す説明図である。
学習処理の手順例を示すフローチャートである。
予測処理の手順例を示すフローチャートである。
観測量ＤＢの例を示す説明図である。
パラメータＤＢの例を示す説明図である。
【発明を実施するための形態】
【０００９】
以下実施の形態を、図面を参照して説明する。本明細書で対象とする系について説明する。本明細書では状態変化が以下の式（１０）に従う系を対象とする。
【００１０】
h
t
=F(h
t-1
, a
t
) (t=1, 2, 3,…) … （１０）
（【００１１】以降は省略されています）

関連特許