特許ウォッチ

公開番号2025169181
公報種別公開特許公報(A)
公開日2025-11-12
出願番号2025065597
出願日2025-04-11
発明の名称オンライン予測モデルによる使用のためにエンコーダニューラルネットワークを訓練する、コンピュータにより実施される方法、データ処理装置、及びコンピュータプログラム
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06N 3/0455 20230101AFI20251105BHJP(計算;計数)
要約【課題】オートエンコーダのエンコーダニューラルネットワークを訓練する方法等を提供する。
【解決手段】データストリームを受け取り、オートエンコーダのエンコーダニューラルネットワークを増分的に訓練することを含む方法は、入力データとしてデータストリームの一部を受け取り、符号化処理を行って潜在表現を取得し、符号化処理の間に生成された入力データを第1メモリレイヤに格納し、入力データと格納された入力データとを処理してメモリ表現を生成し、メモリ表現と潜在表現とを第2メモリレイヤに格納し、メモリ表現と潜在表現とを処理してメモリ表現を更新し、デコーダニューラルネットワークによって潜在表現に対して復号化処理を行い、復号化処理の間に生成された入力データを第2メモリレイヤに格納し、入力データと更新されたメモリ表現とを処理して、メモリ表現をリファインメントし、エンコーダニューラルネットワークに出力する。
【選択図】図3
特許請求の範囲【請求項１】
エンコーダニューラルネットワークを訓練する、コンピュータにより実施される方法であって、
前記エンコーダニューラルネットワーク、デコーダニューラルネットワーク、第１メモリレイヤ、及び第２メモリレイヤを含むオートエンコーダでデータストリームを受け取ることと、
前記データストリームに対して前記エンコーダニューラルネットワークを増分的に訓練することと、を含み、
前記増分的に訓練することの各訓練ステップは、
前記エンコーダニューラルネットワークで入力データとして前記データストリームの一部を受け取ることと、
前記入力データの潜在表現を取得するように前記エンコーダニューラルネットワークによって前記入力データに対して符号化処理を行うことと、
前記符号化処理の間に前記エンコーダニューラルネットワークによって生成された符号化された入力データを前記第１メモリレイヤに格納することと、
メモリ表現を生成するように、前記符号化された入力データ、及び訓練ステップの以前の反復から前記第１メモリレイヤに格納された符号化された入力データを処理することと、
前記メモリ表現及び前記潜在表現を前記第２メモリレイヤに格納することと、
前記メモリ表現を更新するように前記メモリ表現及び前記潜在表現を処理することと、
前記デコーダニューラルネットワークによって前記潜在表現に対して復号化処理を行うことと、
前記復号化処理の間に前記デコーダニューラルネットワークによって生成された復号された入力データを前記第２メモリレイヤに格納することと、
更新された前記メモリ表現をリファインメントするように前記復号された入力データ及び前記更新されたメモリ表現を処理することと、
次の訓練ステップでの使用のために前記リファインメントされたメモリ表現を前記エンコーダニューラルネットワークに出力することと
を含む、方法。
続きを表示（約 1,000 文字）【請求項２】
前記エンコーダニューラルネットワークは複数のエンコーダレイヤを含み、前記第１メモリレイヤに格納されている前記符号化された入力データは少なくとも最後のエンコーダレイヤからである、
請求項１に記載のコンピュータにより実施される方法。
【請求項３】
前記デコーダニューラルネットワークは複数のデコーダレイヤを含み、前記第２メモリレイヤに格納されている前記復号された入力データは少なくとも最初のデコーダレイヤからである、
請求項１に記載のコンピュータにより実施される方法。
【請求項４】
前記処理することは非線形変換処理を含む、
請求項１に記載のコンピュータにより実施される方法。
【請求項５】
前記データストリームはインシデント関連データを含む、
請求項１に記載のコンピュータにより実施される方法。
【請求項６】
前記符号化された入力データは学習可能なパラメータを含む、
請求項１に記載のコンピュータにより実施される方法。
【請求項７】
コンピュータにより実施されるオンライン予測方法であって、
請求項１乃至６のうちいずれか一項に記載の方法に従って増分的に訓練されたエンコーダニューラルネットワークから受け取られた潜在表現に対してオンライン予測モデルを訓練することと、
訓練された前記オンライン予測モデルによってリアルタイムの入力データを受け取ることと、
予測を生成するように前記訓練されたオンライン予測モデルによって前記リアルタイムの入力データを処理することと
を有するオンライン予測方法。
【請求項８】
前記オンライン予測モデルは、緊急対応要員の派遣を必要とするインシデントを予測する、
請求項７に記載のオンライン予測方法。
【請求項９】
前記リアルタイムの入力データはセンサデータを含む、
請求項７に記載のオンライン予測方法。
【請求項１０】
請求項７に記載のオンライン予測方法を実行するためのコンピュータ実行可能命令を記憶しているメモリと、
前記コンピュータ実行可能命令を実行するよう構成されるプロセッサと
を有するデータ処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、オンライン予測モデルによる使用のためにエンコーダニューラルネットワークを訓練する、コンピュータにより実施される方法と、関連するデータ処理装置、緊急対応管理システム、コンピュータプログラム、及びコンピュータ可読媒体に関係がある。
続きを表示（約 3,100 文字）【背景技術】
【０００２】
さまざまな領域で情報に基づいたリアルタイムの意思決定を行うには、豊富なデータ及び最新かつ正確な情報の必要性が不可欠である。そのため、リアルタイム処理を効果的に促進できる技術及びモデルに対する需要が高まっている。
【０００３】
従来のオフライン（バッチ）処理モデルは、大幅なリアルタイムラグと、主にその後の再訓練に起因する計算要求の増加との間でトレードオフに直面している。リアルタイムラグは、データが利用可能になるか収集されてからその処理までの時間の経過によって発生する。このリアルタイムラグを軽減するには継続的な再訓練が必要であり、これにより、データセットが増加すると計算コストが増加する可能性がある。このトレードオフとリソース制限とのバランスを確保するために、モデルの再訓練の頻度が制限される場合がある。しかし、これによりデータが古くなり、リアルタイムタスクにコストがかかり、悪影響を及ぼす。
【０００４】
リアルタイムモデルの台頭及びニーズにより、オンライン処理技術の使用は当然となっている。このアプローチを採用するモデルは、各データインスタンス又はセットが利用可能になるとすぐに、又は利用可能になった直後に、それらを使用してアーキテクチャを更新する。この更新プロセスの目的は、将来のデータインスタンス又はセットの予測パフォーマンスを向上させることである。これにより、特に、多くの実際のアプリケーションで連続的なデータストリームを処理する場合に、精度及び正確性が向上する。更に、これらのモデルは、データ分布が変化する場合に、オフラインモデルよりも柔軟性が高くなる。特にリアルタイムタスクのコンテキストでは、大きな進歩が遂げられているが、オンライン学習、特に教師ありオンライン学習の場合、全体的なパフォーマンスを妨げる可能性のあるいくつかの課題が依然として残っている。具体的には、（ｉ）計算の非効率性、（ｉｉ）破滅的忘却、（ｉｉｉ）コンセプトドリフトである。
【０００５】
オンラインモデルの計算効率は、低いリアルタイム遅延と、コンセプトドリフトへの対応と、リアルタイムの処理及び更新を迅速に行う能力とを維持するために重要である。しかし、計算効率は、最新のリアルタイムの現実世界の視点を維持するために機能及びドライバの包括的な組を組み込む必要性と矛盾する。これら２つの矛盾する要求のバランスをとることは、モデルが現実世界におけるリアルタイムの相互作用及びダイナミクスに関するタイムリーで正確な洞察を提供できるようにするために重要である。
【０００６】
オンラインモデルは微調整することでリアルタイムの遅延を大幅に削減できるが、この最適化には欠点がないわけではない。モデルのパフォーマンス及び予測機能に大きく影響する他の制限が強められる。特に、脆弱性には、ノイズに対する敏感さ、履歴情報の損失、特徴空間の拡大に伴う複雑さの増加など、その他の重要な制約が含まれている。
【０００７】
更に、オンラインモデルは、過去のコンテキストが失われやすく、ノイズの影響を受けやすい傾向があり、どちらもモデルの全体的なパフォーマンスに大きな影響を与える可能性がある。これは、過去のコンテキストが正確な予測を行うために重要である場合や、長期的な傾向を検出するために過去の重要な洞察を見落とし、意思決定の有効性が低下する可能性がある場合に特に有害である。
【０００８】
最初の課題を同時に軽減する試みとして、オンラインモデルの特徴次元を削減して計算効率を高めるために、増分学習オートエンコーダが採用されている。オートエンコーダは、データ分布のドリフトを検出するメカニズムを提供する。特に、増分学習及びコンセプトドリフト適応と組み合わされたオートエンコーダは、ベースラインモデルや高度なモデルを大幅に上回るパフォーマンスを発揮する。
【０００９】
しかし、増分的に訓練されたモデルは、新しい情報を学習するにつれてモデルが過去のコンテキストを忘れるという破滅的忘却に依然として悩まされている。この制限を軽減するための取り組みには、（１）正則化ストラテジ、（２）リハーサルアプローチ、（３）メモリメカニズムなどがある。これらのアプローチのうち、正則化ストラテジは微調整に比べて明確な利点がなく、リハーサルアプローチよりもパフォーマンスが相対的に劣っている。しかし、リハーサルアプローチは、計算オーバーヘッドが大きいため、その有用性を制限されている。一方、メモリメカニズムは有望なアプローチであると思われる。
【００１０】
破滅的忘却を軽減できる長期記憶を保存する（従って、予測能力を活用する）よう、ニューラルモデルのさまざまな形式の記憶メカニズムが研究されてきた。例としては、メモリ拡張オートエンコーダ（Memory-Augmented Autoencoders，ＭｅｍＡＥ）、フィードバック再帰オートエンコーダ（Feedback Recurrent Autoencoder，ＦＲＡＥ）、ディープ再構成及び予測を備えたメモリ拡張敵対的オートエンコーダ（Memory-augmented Adversarial Autoencoders with Deep Reconstruction and Prediction，ＭｅｍＡＡＥ）、変分オートエンコーダベースのメモリ拡張ネットワーク（Variational Autoencoder-based memory-augmented network，ＭＥＭＶＡＥ）、最適輸送によるクラスタメモリ拡張オートエンコーダ（Cluster Memory-Augmented Autoencoders via Optimal Transportation，ＯＴＣＭＡ）、及びクリアメモリ拡張オートエンコーダ（Clear Memory-Augmented Autoencoders，ＣＭＡＭ）などがある。これらのモデル開発は、特に異常検出のモデルパフォーマンスを向上させることが示されている。ＭｅｍＡＥは、符号化を使用して、再構成に最も関連性の高いメモリ項目を取得する。メモリの内容は、「正常」データのプロトタイプ要素を表すように訓練される。再構成は、「正常」データの選択されたメモリ記録から取得されるため、再構成は正常なサンプルに近くなる傾向になることが確かにされる。従って、異常に対する再構成エラーが強化される。ＭＥＭＶＡＥは、最も関連性の高い項目の入力が受け取られてデコーダに渡される前に結合される場合にクエリされる潜在空間用の外部メモリを採用する。ＭＥＭＶＡＥはスパース・ハード－シュリンク・アドレッシング（sparse hard-shrink addressing）ストラテジを採用し、モデルが限られたストレージを効率的に使用して平均再構成エラーを低く抑えるように促す。ＯＴＣＭＡは最適輸送に基づくディープクラスタリング手法を採用し、同じカテゴリサンプルの特徴の一貫性及び異なるカテゴリサンプルの特徴の識別を強化する。符号化に基づいて再構成するのではなく、より一貫性のある特徴が再構成のためにメモリモジュールから取得されるため、モデルの再構成能力が制限され、再構成の異常が防止される。
（【００１１】以降は省略されています）

関連特許