TOP
|
特許
|
意匠
|
商標
特許ウォッチ
Twitter
他の特許を見る
10個以上の画像は省略されています。
公開番号
2024164700
公報種別
公開特許公報(A)
公開日
2024-11-27
出願番号
2023080371
出願日
2023-05-15
発明の名称
リカレントニューラルネットワークシステム、プログラム、情報処理方法、情報処理装置及び学習方法
出願人
国立大学法人大阪大学
代理人
個人
,
個人
主分類
G06N
3/044 20230101AFI20241120BHJP(計算;計数)
要約
【課題】誤差の蓄積が抑制されるリカレントニューラルネットワークシステム、プログラム、情報処理方法、情報処理装置及び学習方法を提供すること。
【解決手段】リカレントニューラルネットワークシステムは、第2時点の外力データと、前記第2時点よりも前の第1時点の隠れ層状態変数と、第1時点の実測データと第1時点の予測データの誤差の入力の下、第2時点の隠れ層状態変数を求め、第2時点の状態変数の下に第2時点の予測データを求めるリカレントニューラルネットワークシステム。
【選択図】図2
特許請求の範囲
【請求項1】
リカレントニューラルネットワークシステムであって、
第2時点の外力データと、前記第2時点よりも前の第1時点の隠れ層状態変数と、第1時点の実測データと第1時点の予測データとの誤差が入力の下、第2時点の隠れ層状態変数を求め、第2時点の隠れ層状態変数を下に第2時点の予測データを求める
リカレントニューラルネットワークシステム。
続きを表示(約 1,600 文字)
【請求項2】
初期時刻時点の前記隠れ層状態変数を調整パラメータの一部として学習してある
請求項1に記載のリカレントニューラルネットワークシステム。
【請求項3】
実測データが存在しない時点の次時点において、前記誤差の入力を遮蔽し、誤差がゼロの場合に同等となる
請求項1又は請求項2に記載のリカレントニューラルネットワークシステム。
【請求項4】
前記誤差を用いて学習される同期用リカレントニューラルネットワーク、及び、前記誤差を用いず学習される予測用リカレントニューラルネットワークを有し、
所定の時間間隔で、前記同期用リカレントニューラルネットワークの状態変数に基づいて、前記予測用リカレントニューラルネットワークの状態変数を書き換える
請求項1又は請求項2に記載のリカレントニューラルネットワークシステム。
【請求項5】
実測データが存在しない場合、前記同期用リカレントニューラルネットワークへの入力を遮蔽する
請求項4に記載のリカレントニューラルネットワークシステム。
【請求項6】
前記同期用リカレントニューラルネットワーク(式1から式4)からの誤差と、前記予測用リカレントニューラルネットワーク(式5から式8)からの誤差に関する重み付き総和誤差に対して、誤差最小化原理(式9)によりパラメータを調整する
請求項4に記載のリカレントニューラルネットワークシステム。
TIFF
2024164700000005.tif
63
170
TIFF
2024164700000006.tif
48
170
TIFF
2024164700000007.tif
176
170
【請求項7】
実測データの時系列データを取得し、
第2時点の外力データと、前記第2時点よりも前の第1時点の隠れ層状態変数と、第1時点の実測データと第1時点の予測データとの誤差が入力の下、第2時点の隠れ層状態変数を求め、第2時点の隠れ層状態変数を下に第2時点の予測データを求めるよう学習されたリカレントニューラルネットワークに、取得した実測データの時系列データを入力して予測データを出力する
処理をコンピュータに実行させるプログラム。
【請求項8】
コンピュータが、
実測データの時系列データを取得し、
第2時点の外力データと、前記第2時点よりも前の第1時点の隠れ層状態変数と、第1時点の実測データと第1時点の予測データとの誤差が入力の下、第2時点の隠れ層状態変数を求め、第2時点の隠れ層状態変数を下に第2時点の予測データを求めるよう学習されたリカレントニューラルネットワークに、取得した実測データの時系列データを入力して予測データを出力する
情報処理方法。
【請求項9】
実測データの時系列データを取得する取得部と、
第2時点の外力データと、前記第2時点よりも前の第1時点の隠れ層状態変数と、第1時点の実測データと第1時点の予測データとの誤差が入力の下、第2時点の隠れ層状態変数を求め、第2時点の隠れ層状態変数を下に第2時点の予測データを求めるよう学習されたリカレントニューラルネットワークに、取得した実測データの時系列データを入力して予測データを出力する出力部と
を備える情報処理装置。
【請求項10】
第2時点の外力データが入力される入力層と、隠れ層とを備えるリカレントニューラルネットワークシステムの学習方法であって、
前記隠れ層は、前記入力層からの前記第2時点の外力データと、前記第2時点よりも前の第1時点の隠れ層状態変数と、前記第1時点の実測データと該第1時点の予測データとの誤差とが入力され、前記第1時点の隠れ層出力及び前記誤差を用いて学習する学習方法。
発明の詳細な説明
【技術分野】
【0001】
本発明は、与えられた時系列データから、次以降の時刻に得られるデータを予測するリカレントニューラルネットワークシステム、プログラム、情報処理方法、情報処理装置及び学習方法に関する。
続きを表示(約 1,200 文字)
【背景技術】
【0002】
時系列データの生成過程を学習し、過去の時系列データを入力すると将来のデータを予測する学習モデルとして、RNN(Recurrent Neural Network)が提案されている(例えば、特許文献1)。RNNは過去の状態を現在の状態に反映するような再帰的な構造を持っている。RNNは入力データと前の状態を同時に考慮して、次の状態を計算するので、時系列予測に利用できる。
【先行技術文献】
【特許文献】
【0003】
特開平9-282298号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、RNNにおいて、状態を定義する状態変数(隠れ層状態変数)の時間発展は実現象の時間発展を近似したものであるため、時系列予測を繰り返し行うと、RNNの状態変数に誤差が蓄積する。このため、長期的な将来予測を目的とするRNNの学習段階において、状態変数の時間発展やデータ出力過程の高精度な学習は困難となる。
【0005】
本発明はこのような状況に鑑みてなされたものである。その目的は、誤差の蓄積が抑制されるリカレントニューラルネットワークシステム、プログラム、情報処理方法、情報処理装置及び学習方法の提供である。
【課題を解決するための手段】
【0006】
本願の一態様に係るリカレントニューラルネットワークシステムは、第2時点の外力データと、前記第2時点よりも前の第1時点の隠れ層状態変数と、第1時点の実測データと第1時点の予測データとの誤差が入力の下、第2時点の隠れ層状態変数を求め、第2時点の隠れ層状態変数を下に第2時点の予測データを求める。
【発明の効果】
【0007】
本願の一態様にあっては、長期的な時系列予測を行う場合でも、誤差の蓄積を抑制しつつ、時系列データの生成過程のモデル化や将来予測が行える。
【図面の簡単な説明】
【0008】
情報処理装置のハードウェア構成例を示すブロック図である。
リカレントニューラルネットワークシステムの構成例を示す説明図である。
学習処理の手順例を示すフローチャートである。
予測処理の手順例を示すフローチャートである。
観測量DBの例を示す説明図である。
パラメータDBの例を示す説明図である。
【発明を実施するための形態】
【0009】
以下実施の形態を、図面を参照して説明する。本明細書で対象とする系について説明する。本明細書では状態変化が以下の式(10)に従う系を対象とする。
【0010】
h
t
=F(h
t-1
, a
t
) (t=1, 2, 3,…) … (10)
(【0011】以降は省略されています)
特許ウォッチbot のツイートを見る
この特許をJ-PlatPatで参照する
関連特許
国立大学法人大阪大学
トラッキング装置、トラッキング方法及びプログラム
3日前
株式会社サイバーエージェント
対話システム及び制御方法
2日前
株式会社サイバーエージェント
表示装置、対話システム及び表示方法
2日前
国立大学法人大阪大学
反応器、分離装置、処理装置、膜反応器、反応方法、および水素分離方法
4日前
株式会社ファンペップ
抗IgE抗体誘導用ワクチン組成物
1日前
ダイキン工業株式会社
フルオロアルキル芳香族化合物の製造方法
1日前
国立大学法人大阪大学
新規な3置換ビニルスルホキシイミン誘導体、およびその製造方法、ならびにそれを用いる3置換アルケンの立体選択的な製造方法
9日前
シンクサイト株式会社
サイトメトリーのための方法及びシステム
11日前
TOPPANホールディングス株式会社
細胞構造体及びその製造方法並びに被験物質の肝毒性の評価方法
11日前
個人
対話装置
1か月前
個人
情報処理装置
1か月前
個人
情報処理システム
2日前
個人
記入設定プラグイン
18日前
個人
情報処理装置
26日前
個人
検査システム
4日前
個人
情報入力装置
1か月前
個人
不動産売買システム
10日前
株式会社サタケ
籾摺・調製設備
3日前
キヤノン電子株式会社
携帯装置
3日前
個人
物価スライド機能付生命保険
1か月前
個人
備蓄品の管理方法
2日前
個人
マイホーム非電子入札システム
1か月前
キヤノン株式会社
情報処理装置
3日前
サクサ株式会社
中継装置
3日前
キヤノン株式会社
情報処理装置
3日前
株式会社BONNOU
管理装置
23日前
個人
決済手数料0%のクレジットカード
1か月前
株式会社ワコム
電子消去具
10日前
サクサ株式会社
カードの制動構造
1か月前
株式会社東芝
電子機器
11日前
キヤノン電子株式会社
名刺管理システム
4日前
東洋電装株式会社
操作装置
3日前
東洋電装株式会社
操作装置
3日前
ホシデン株式会社
タッチ入力装置
10日前
アスエネ株式会社
排水量管理方法
3日前
株式会社JVCケンウッド
管理装置
4日前
続きを見る
他の特許を見る