特許ウォッチ

公開番号2025033301
公報種別公開特許公報(A)
公開日2025-03-13
出願番号2023138931
出願日2023-08-29
発明の名称情報処理プログラム,情報処理装置および情報処理方法
出願人富士通株式会社
代理人弁理士法人真田特許事務所,個人
主分類G06F 9/50 20060101AFI20250306BHJP(計算;計数)
要約【課題】分散学習を実現する最適な並列数を決定できる。
【解決手段】分散学習に用いるリソースを確保するまでの待ち時間と、分散学習にかかる実行時間とを、ノード数を異にする実行環境毎に求め、実行環境毎に求めた待ち時間と実行時間とに基づいて、実行環境毎にスコアを求め、複数のスコアに基づいて、分散学習に用いるノード数を決定する。
【選択図】図1
特許請求の範囲【請求項１】
複数のノードを用いた分散学習を管理する情報処理装置のプロセッサに、
前記分散学習に用いるリソースを確保するまでの待ち時間と、前記分散学習にかかる実行時間とを、ノード数を異にする実行環境毎に求め、
前記実行環境毎に求めた前記待ち時間と前記実行時間とに基づいて、前記実行環境毎にスコアを求め、
複数の前記スコアに基づいて、前記分散学習に用いるノード数を決定する
処理を実行させることを特徴とする、情報処理プログラム。
続きを表示（約 1,000 文字）【請求項２】
決定された前記分散学習に用いるノード数は、複数の前記スコアのなかで最小値のスコアにかかる前記実行環境に対応するノード数であることを特徴とする請求項１に記載の情報処理プログラム。
【請求項３】
前記スコアが、実行時間に関する第１のスコアとコストに関する第２のスコアとを含む
ことを特徴とする、請求項１に記載の情報処理プログラム。
【請求項４】
前記複数のノードにタンパク質を構成する残基種毎に設けられたＮＮを処理させることで、タンパク質のポテンシャルエネルギーを算出させる
ことを特徴とする、請求項１～３の何れか一項に記載の情報処理プログラム。
【請求項５】
前記実行時間を求める処理が、
前記複数のノードのうちの一つのノードに前記分散学習にかかる処理を実行させた測定結果に基づき、複数の前記実行環境毎に予測性能向上率を算出し、
実行時間上限値に前記予測性能向上率を反映させることで前記実行時間を算出する
処理を含むことを特徴とする、請求項１～３の何れか一項に記載の情報処理プログラム。
【請求項６】
前記待ち時間を求める処理が、
前記ノードにおける処理状態情報を機械学習モデルに入力することで、前記待ち時間を取得する
処理を含むことを特徴とする、請求項１～３の何れか一項に記載の情報処理プログラム。
【請求項７】
複数のノードを用いた分散学習を管理する情報処理装置であって、
前記分散学習に用いるリソースを確保するまでの待ち時間と、前記分散学習にかかる実行時間とを、ノード数を異にする実行環境毎に求め、
前記実行環境毎に求めた前記待ち時間と前記実行時間とに基づいて、前記実行環境毎にスコアを求め、
複数の前記スコアに基づいて、前記分散学習に用いるノード数を決定する
処理を実行する制御部を備えることを特徴とする情報処理装置。
【請求項８】
複数のノードを用いた分散学習を管理する情報処理装置が、
前記分散学習に用いるリソースを確保するまでの待ち時間と、前記分散学習にかかる実行時間とを、ノード数を異にする実行環境毎に求め、
前記実行環境毎に求めた前記待ち時間と前記実行時間とに基づいて、前記実行環境毎にスコアを求め、
複数の前記スコアに基づいて、前記分散学習に用いるノード数を決定する
処理を実行することを特徴とする情報処理方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理プログラム，情報処理装置および情報処理方法に関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
近年、複数のＮＮ（Neural Network）を有するＭＮＮ（Multiple Neural Network）が知られている。例えば、ＭＮＮを用いて粒子系全体のポテンシャルエネルギーを計算するＨＤＮＮＰ（High-Dimensional Neural Network Potential）が知られている。
【０００３】
また、このようなＭＮＮの訓練手法として、ＭＮＮを構成する複数のＮＮに対して並列に機械学習（訓練）を行なう分散学習が用いられることがある。ＭＮＮの分散学習においては、複数のワーカのそれぞれにＮＮを割り当て、各ワーカの計算結果（出力）をAllreduce通信により相互に配布する。その後、各ワーカが計算した出力の総和がそれぞれ計算され、勾配の平均等が算出される。
【０００４】
ワーカは、計算ノード（以下、単にノードという）に備えられるＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の演算装置である。なお、ワーカがＧＰＵの場合は、１ワーカ=１ＧＰＵであってよい。また、ワーカがＣＰＵの場合には、１ワーカ＝１ＣＰＵであってよく、また、１ワーカ＝１コアであってもよく、適宜変更して実施することができる。また、以下、ＭＮＮの訓練において、訓練にかかる処理を実行するノードを実行ノードといってよい。
【先行技術文献】
【特許文献】
【０００５】
特開２０１３－１４０４９０号公報
特開２０１５－１１８４３４号公報
米国特許出願公開第２０１５／０１６９３８０号明細書
米国特許出願公開第２０１４／００７５４４６号明細書
米国特許出願公開第２０２０／０２３６０６０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
分散学習において、並列数、すなわち使用するワーカ数を多くすることで、各ワーカにおける演算実行時間を短縮することができる。しかしながら、分散学習においては、Allreduce通信を行なうことでワーカ間の通信が発生する。一般的に通信はコストが大きい処理であり、特に実行ノード間で行なう通信のコストは大きい。なお、実行ノード間で行なわれる通信を実行ノード跨ぎといってよい。
【０００７】
分散学習においては、実行ノード跨ぎを最小化するワーカ配備を行なうことが望まれている。
【０００８】
また、例えば、クラウドコンピューティングシステムやスーパーコンピュータのような実行ノード数に応じて利用料金が増減する場合に、実行ノード数が増加すると利用料金が増加する。
【０００９】
さらに、複数のユーザがシステムを共有するマルチテナント環境においては、実行ノード数が多くなるに従って、リソースの確保に要する時間が増加し、ジョブ実行までの待ち時間が増加する。
【００１０】
従って、分散学習を行なうに際して、最適な並列数を決定することが求められている。
（【００１１】以降は省略されています）

関連特許