特許ウォッチ

公開番号2025085066
公報種別公開特許公報(A)
公開日2025-06-04
出願番号2024176829
出願日2024-10-09
発明の名称多変量データを予測するようニューラルネットワークをトレーニングする方法およびシステム
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06N 3/08 20230101AFI20250528BHJP(計算;計数)
要約【課題】多変量データを予測する精度を改善するニューラルネットワークをトレーニングする方法およびシステムを提供する。
【解決手段】方法は、予測位置および隣接位置からのデータセットを入力する段階と、データセットに現れる最長の時系列シーケンス長の生起頻度が閾値数よりも高い最長の時系列シーケンス長を決定する段階と、予測位置からの前記多変量データを予測位置ベクトルにエンコードするよう、予測位置ニューラルネットワークをトレーニングする段階と、隣接位置のそれぞれについて、隣接位置ベクトルにエンコードするよう隣接位置ニューラルネットワークをトレーニングする段階と、隣接位置ベクトルを組み合わせて複合隣接位置ベクトルにする段階と、予測位置ベクトルと複合隣接位置ベクトルとを合成して最終複合ベクトルにする段階と、最終複合ベクトルをデコードして、予測位置についてのデータセットからの予測を生成する段階と、を含む。
【選択図】図4
特許請求の範囲【請求項１】
ネットワークにおける予測位置における多変量データを予測するようにニューラルネットワークをトレーニングするためのコンピュータ実装される方法であって：
前記予測位置および一つまたは複数の隣接位置からのデータセットを入力する段階であって、前記データセットは、各位置の時空間特性および各位置で記録された多変量データを含む、段階と；
前記データセットに現れる最長の時系列シーケンス長の生起頻度が前記データセットの閾値数よりも高い前記データセットの最長の時系列シーケンス長を決定する段階であって、時系列シーケンス長は、前記データセットにおける完全なデータを有する連続する時間ステップの合計の長さを示す、段階と；
前記予測位置からの前記多変量データを予測位置ベクトルにエンコードするよう、決定された最長の時系列シーケンス長に基づいて予測位置ニューラルネットワークをトレーニングする段階と；
前記一つまたは複数の隣接位置のそれぞれからの前記多変量データをそれぞれ隣接位置ベクトルにエンコードするよう、前記一つまたは複数の隣接位置のそれぞれについて、決定された最長の時系列シーケンス長に基づいて隣接位置ニューラルネットワークをトレーニングする段階と；
前記一つまたは複数の隣接位置ベクトルを組み合わせて複合隣接位置ベクトルにする段階と；
前記予測位置ベクトルと前記複合隣接位置ベクトルとを合成して最終複合ベクトルにする段階と；
前記最終複合ベクトルをデコードして、前記予測位置についての前記データセットからの予測を生成する段階とを含む、
方法。
続きを表示（約 3,700 文字）【請求項２】
当該方法がさらに、前記最長の時系列シーケンス長に対して前記データセットの一つまたは複数のより短い時系列シーケンス長を決定し、前記一つまたは複数のより短い時系列長について、前記予測位置ニューラルネットワークおよび前記一つまたは複数の隣接位置ニューラルネットワークをトレーニングする段階と、組み合わせて複合隣接位置ベクトルにする段階と、合成して最終複合ベクトルにする段階と、デコードして予測を生成する段階とを繰り返す段階と；
ひとたび前記ニューラルネットワークがトレーニングされたら、前記最長の時系列シーケンス長および前記一つまたは複数のより短い時系列長のそれぞれについての生成された予測のアンサンブルを決定して、前記予測位置についての最終予測を生成する段階とを含む、
請求項１に記載の方法。
【請求項３】
前記ネットワークは、複数の隣接位置を含み、一つまたは複数の隣接位置ベクトルを組み合わせて複合隣接位置ベクトルにすることは：
前記隣接位置ベクトルを連結して連結された位置ベクトルにして；
該連結された位置ベクトルを2つの多層パーセプトロン層のシーケンスに入力することを含み、第1の多層パーセプトロン層の出力が第2の多層パーセプトロン層に入力される、
請求項１または２に記載の方法。
【請求項４】
前記予測位置ベクトルおよび複合隣接位置ベクトルを合成して前記最終複合ベクトルにすることは：
前記予測位置ベクトルおよび複合隣接位置ベクトルを連結して最終潜在ベクトルにすることを含む、
請求項１に記載の方法。
【請求項５】
前記合成することはさらに：
前記最終潜在ベクトルを自己注目機構に入力し、前記最終複合ベクトルを出力として決定することを含む、請求項４に記載の方法。
【請求項６】
前記最終複合ベクトルをデコードして前記予測位置についての前記データセットからの予測を生成することは：
前記最終複合ベクトルをエンコードするよう、前記決定された時系列シーケンス長に基づいて出力ニューラルネットワークをトレーニングし；
トレーニングされた出力ニューラルネットワークの隠れ層を時間分布密集層に入力して出力を生成することを含み、前記時間分布密集層からの前記出力が前記予測である、
請求項１に記載の方法。
【請求項７】
前記データセットの最長の時系列シーケンス長は、最長一般的連続頻出シーケンスアルゴリズム（LCCFS）を使用して決定され、前記LCCFSアルゴリズムは：
完全なデータを有する前記データセットにおけるデータ・レコードの数を決定する段階であって、データ・レコードは、前記データセットにおける各時間ステップにおいて各位置で記録された多変量データを含む、段階と；
前記データセットにおける前記完全なデータから前記閾値数を設定する段階であって、前記閾値数は、好ましくは、前記データセットにおける前記完全なデータの50%として設定される、段階と；
前記多変量データにおける各連続一般的シーケンスについて長さおよび生起頻度を決定する段階であって、前記長さは、前記データセットにおける完全な連続多変量データの数であり、前記生起頻度は、前記データセットにおいて前記連続一般的シーケンスが生起する回数である、段階と；
前記閾値を超える生起頻度を有する前記多変量データにおける前記連続一般的シーケンスを前記最長の時系列シーケンス長として設定する段階とを含む、
請求項１に記載の方法。
【請求項８】
コンピュータ上で実行されると、ネットワークにおける予測位置における多変量データを予測するようにニューラルネットワークをトレーニングする方法を前記コンピュータに実行させるコンピュータ・プログラムであって、前記方法は：
前記予測位置および一つまたは複数の隣接位置からのデータセットを入力する段階であって、前記データセットは、各位置の時空間特性および各位置で記録された多変量データを含む、段階と；
前記データセットに現れる最長の時系列シーケンス長の生起頻度が前記データセットの閾値数よりも高い前記データセットの最長の時系列シーケンス長を決定する段階であって、時系列シーケンス長は、前記データセットにおける完全なデータを有する連続する時間ステップの合計の長さを示す、段階と；
前記予測位置からの前記多変量データを予測位置ベクトルにエンコードするよう、決定された最長の時系列シーケンス長に基づいて予測位置ニューラルネットワークをトレーニングする段階と；
前記一つまたは複数の隣接位置のそれぞれからの前記多変量データをそれぞれ隣接位置ベクトルにエンコードするよう、前記一つまたは複数の隣接位置のそれぞれについて、決定された最長の時系列シーケンス長に基づいて隣接位置ニューラルネットワークをトレーニングする段階と；
前記一つまたは複数の隣接位置ベクトルを組み合わせて複合隣接位置ベクトルにする段階と；
前記予測位置ベクトルと前記複合隣接位置ベクトルとを合成して最終複合ベクトルにする段階と；
前記最終複合ベクトルをデコードして、前記予測位置についての前記データセットからの予測を生成する段階とを含む、
コンピュータ・プログラム。
【請求項９】
ネットワークにおける予測位置における多変量データを予測するようにニューラルネットワークをトレーニングするための、メモリおよび該メモリに接続されたプロセッサを有する装置であって、前記プロセッサは：
前記予測位置および一つまたは複数の隣接位置からのデータセットを入力する段階であって、前記データセットは、各位置の時空間特性および各位置で記録された多変量データを含む、段階と；
前記データセットに現れる最長の時系列シーケンス長の生起頻度が前記データセットの閾値数よりも高い前記データセットの最長の時系列シーケンス長を決定する段階であって、時系列シーケンス長は、前記データセットにおける完全なデータを有する連続する時間ステップの合計の長さを示す、段階と；
前記予測位置からの前記多変量データを予測位置ベクトルにエンコードするよう、決定された最長の時系列シーケンス長に基づいて予測位置ニューラルネットワークをトレーニングする段階と；
前記一つまたは複数の隣接位置のそれぞれからの前記多変量データをそれぞれ隣接位置ベクトルにエンコードするよう、前記一つまたは複数の隣接位置のそれぞれについて、決定された最長の時系列シーケンス長に基づいて隣接位置ニューラルネットワークをトレーニングする段階と；
前記一つまたは複数の隣接位置ベクトルを組み合わせて複合隣接位置ベクトルにする段階と；
前記予測位置ベクトルと前記複合隣接位置ベクトルとを合成して最終複合ベクトルにする段階と；
前記最終複合ベクトルをデコードして、前記予測位置についての前記データセットからの予測を生成する段階とを実行するように構成されている、
装置。
【請求項１０】
ネットワークにおける予測位置における多変量データを予測するためのコンピュータ実装される方法であって：
前記予測位置および一つまたは複数の隣接位置からのデータセットを入力する段階であって、前記データセットは、各位置の時空間特性および各位置で記録された多変量データを含む、段階と；
前記データセットに現れる最長の時系列シーケンス長の生起頻度が前記データセットの閾値数よりも高い前記データセットの最長の時系列シーケンス長を提供する段階であって、時系列シーケンス長は、前記データセットにおける完全なデータを有する連続する時間ステップの合計の長さを示す、段階と；
前記最長の時系列シーケンス長に基づいて、事前トレーニングされた予測位置ニューラルネットワークを使用して、前記予測位置からの前記多変量データを予測位置ベクトルにエンコードし、前記一つまたは複数の隣接位置のそれぞれについて、前記最長の時系列シーケンス長に基づいて、事前トレーニングされた隣接位置ニューラルネットワークを使用して、前記一つまたは複数の隣接位置のそれぞれからの前記多変量データをそれぞれ隣接位置ベクトルにエンコードする段階と；
前記一つまたは複数の隣接位置ベクトルを組み合わせて複合隣接位置ベクトルにする段階と；
前記予測位置ベクトルと複合隣接位置ベクトルとを合成して最終複合ベクトルにする段階と；
前記最終複合ベクトルをデコードして、前記予測位置についての前記データセットからの予測を生成する段階とを含む、
方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ネットワーク内の予測位置における多変量データを予測するためにニューラルネットワークをトレーニングするためのコンピュータ実装される方法に関し、さらに、ネットワーク内の予測位置における多変量データを予測するためのコンピュータ実装される方法に関する。
続きを表示（約 4,000 文字）【背景技術】
【０００２】
スマートデバイスおよびモノのインターネット（IoT）アプリケーションの出現は、モバイル・データ・トラフィックの著しい増加をもたらした。増大する需要を満たし、ユーザー体験を向上させるために、セルラー・ネットワークは、インフラストラクチャー・アップグレードを必要とする。5G技術の出現は、低レイテンシーで高速データ転送を提供することによって、これらのニーズに対処する。5Gネットワークの拡張に伴い、ネットワーク資源の利用率を最適化することがますます重要になっている。ネットワーク・トラフィックおよびパフォーマンスを正確に予測することは、ネットワーク事業者、サービスプロバイダー、および機器製造業者の効率を改善するために極めて重要である。しかしながら、ネットワーク需要を予測することは、ユーザーの移動パターン、天候、および社会的イベントなどの複数の要因または変数によって影響されるその非定常特性のために困難である。
【０００３】
一般に、コンピュータまたは電気通信ネットワークにおける多変量（すなわち、複数変数）データの予測は、変数の値の一つまたは複数、またはさらにはすべてが時系列におけるいくつかの時点で欠落しているとき、データの時系列シーケンスからの欠落データによって複雑になる可能性もある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、ニューラルネットワークを使用して多変量データを予測する精度を改善することが望ましい。また、不規則な欠落レコードによって引き起こされるデータ不足に直面したときに、データ・インピュテーション技法に頼ることなく、時系列予測モデルの精度を高めることが望ましい。
【課題を解決するための手段】
【０００５】
本発明は、独立請求項に定義されており、ここでそれを参照すべきである。さらなる特徴は、従属請求項に記載されている。
【０００６】
本発明のある側面によれば、ネットワーク内の予測位置における多変量データを予測するようにニューラルネットワークをトレーニングするためのコンピュータ実装される方法が提供される。この方法は、予測位置および一つまたは複数の隣接位置からデータセットを入力する段階であって、データセットは、各位置の時空間特性および各位置で記録された多変量データを含む、段階と、データセットの最長時系列シーケンス長を決定する段階であって、データセットに現れる最長時系列シーケンス長の生起頻度がデータセットの閾値数よりも高く、時系列シーケンス長は、データセット内の完全なデータを有する連続する時間ステップの全長を示す、段階と、予測位置からの多変量データを予測位置ベクトルにエンコードするために、決定された最長時系列シーケンス長に基づいて予測位置ニューラルネットワークをトレーニングする段階と、一つまたは複数の隣接位置のそれぞれについて、一つまたは複数の隣接位置のそれぞれからの多変量データを隣接位置ベクトルにエンコードするために、決定された最長時系列シーケンス長に基づいて隣接位置ニューラルネットワークをトレーニングする段階と、一つまたは複数の隣接位置ベクトルを複合隣接位置ベクトルに組み合わせる段階と、予測位置ベクトルおよび複合隣接位置ベクトルを最終複合ベクトルに合成する段階と、最終複合ベクトルをデコードして予測位置についてのデータセットから予測を生成する段階とを含む。
【図面の簡単な説明】
【０００７】
あくまでも例として、添付の図面を参照する。
予測のために使用される既知の構成の一例である。
予測のために使用される別の既知の構成の一例である。
予測のために使用される既知の構成のさらに別の例である。
本明細書に開示される予測方法のフローチャートを示す。
最長一般的連続頻出シーケンス法のフローチャートを示す。
ニューラルネットワーク・アーキテクチャーのトレーニング・フローを示す。
ニューラルネットワーク・アーキテクチャーの機能ブロック図を示す。
データを予測するためのニューラルネットワーク・アーキテクチャーのトレーニング・フローの別の例を示す。
予測のためのモデルのアンサンブルをトレーニングするためのフローチャートを示す。
予測のためのモデルのアンサンブルを試験するためのフローチャートを示す。
ニューラルネットワークのアンサンブルを利用する予測方法を使用して生成される例示的な予測を示す。
予測を指示し表示するための例示的なグラフィカルユーザーインターフェースである。
情報装置、またはコンピュータ・デバイスのブロック図である。
【発明を実施するための形態】
【０００８】
長短期記憶（Long Short-Term Memory、LSTM）ニューラルネットワーク、および畳み込みニューラルネットワーク（CNN）とLSTMSとの組み合わせ（Conv-LSTMと呼ばれる）のような教師あり深層学習（deep learning、DL）モデルは、時系列予測に有効であることが証明されており、ネットワーク・トラフィック予測に応用されている。予測のための別の人気のあるモジュールは、トランスフォーマーである。これらのモデルは、ネットワーク・トラフィック・データにおける周期性および季節性を検出し、予測のために時間的パターンを活用することができる。しかしながら、それらは、考慮中のセルのトラフィックに影響を及ぼす可能性がある、隣接ネットワーク・セル間の相互依存性を考慮していない。さらに、これらのモデルの精度は、トレーニングのための豊富な履歴ネットワーク・トラフィック・データに頼り、欠落データの問題に対して脆弱になる。平均値または中央値によるインピュテーションのような伝統的な方法は、非定常データについては効果的でない。したがって、非定常コンテキストにおける広範囲の欠落データに対処することは、教師ありデータ・インピュテーション技法を使用するときに著しい課題を呈する。
【０００９】
ネットワーク使用需要を予測することは、ネットワーク・パフォーマンス解析および資源割り当てのために重要である。効果的な予測は、長い時系列シーケンス（連続する時点のシーケンスからのデータ）の履歴記録を必要とすることが多い。実際上は、より長い時間シーケンスを得ることは困難であり、時系列記録には常に欠落データが存在する可能性が高い。これらのデータ・ギャップは、主に、ユーザーの移動性、センサーの故障（たとえば、セル・タワー位置信号の障害または欠落、あるいはユーザーによって携行されるモバイル・デバイス上の不正確なGPSセンサー）、または間欠的なネットワーク機能停止によって引き起こされる。既知のモデルは、データが欠落しているために、より長い時系列ではトレーニングされないことがあり、よって予測精度が低下する。時系列シーケンスにおける欠落データを扱うために、平均または中央値インピュテーションなどの伝統的なデータ・インピュテーション技法が一般に用いられる。しかしながら、発明者らは、これらの技法は5Gデータを扱う場合には有効でないことを見出した。
【００１０】
本明細書では、マルチステップ、多変量、および時空間時系列解析のための提案される新規の予測モデルが開示される。欠落データの問題に対処するために、本発明者らは、モデリングの目的でデータセットから代表的な時間ステップ・シーケンスを選択するために動的手法を採用した。具体的には、一例において、モデルをトレーニングするための時系列シーケンスの最も適切な長さを動的に識別するために、最長一般的連続頻出シーケンス（Longest Common Continuous Frequent Sequences、LCCFS）アルゴリズムが導入される。また、ターゲット・セルに対する近傍セルの影響を考慮することによって空間的および局所的特徴を組み込み、複雑なシナリオにおける予測精度を改善する方法も導入される。一例では、本発明者らの手法は、双方向LSTM（BiLSTM）ネットワークのエンコーダ・スタックを利用して、ターゲット・セルに対する近傍セルの変化の影響を捕捉する。BiLSTM出力は連結されてもよく、近傍セルの影響を評価するために自己注目モジュールが採用されてもよい。さらに、一例では、マルチステップおよび多変量予測を達成するために、非特許文献１で利用可能なRepeatVector、BiLSTMネットワーク、および非特許文献２で利用可能な時間分布密集層（TimeDistributed dense layer、TDL）が使用される。
Keras Team、“Keras Documentation: Repeatvector Layer”、 https://keras.Io/api/layers/reshaping_layers/repeat_vector/、アクセス日May 6, 2023
“Keras Documentation: Timedistributed Layer”、https://keras.io/api/layers/recurrent_layers/time_distributed/、アクセス日May 6, 2023
（【００１１】以降は省略されています）

関連特許