特許ウォッチ

公開番号2024106288
公報種別公開特許公報(A)
公開日2024-08-07
出願番号2023010564
出願日2023-01-26
発明の名称計算処理管理装置、計算処理管理システム、および計算処理管理方法
出願人富士通株式会社
代理人個人
主分類G06F 9/50 20060101AFI20240731BHJP(計算;計数)
要約【課題】計算処理を効率よく並列処理すること。
【解決手段】情報処理装置100は、複数の演算部101を制御可能である。情報処理装置100は、複数の演算部101のうち、処理速度が一定以上である演算部101が分類された1以上のグループと、処理速度が一定未満である演算部101が分類された1以上のグループとを含む複数のグループを特定する。情報処理装置100は、特定した複数のグループのそれぞれのグループにおいて、所定のステップを繰り返し実施するよう、複数のグループを制御する。情報処理装置100は、所定の条件を満たした場合、それぞれのグループにおいて、所定のステップを繰り返し実施することを停止するよう、複数のグループを制御する。
【選択図】図1
特許請求の範囲【請求項１】
単位処理を複数回実施する計算処理を並列処理する複数の演算部のうち、処理速度が一定以上である演算部が分類された１以上のグループと、処理速度が前記一定未満である演算部が分類された１以上のグループとを含む複数のグループを特定し、
特定した前記複数のグループのそれぞれのグループにおいて、当該グループに属するそれぞれの演算部が、前記単位処理を１回ずつ実施する第１動作と、当該グループに属するそれぞれの演算部が、他のグループが実施した前記単位処理の結果を集約して得られる最新の情報を参照して、当該グループが実施した前記単位処理の結果を集約して得られる情報を生成する、前記第１動作の後の第２動作とを含むステップを繰り返し実施するよう、前記複数のグループを制御する、
制御部を有することを特徴とする計算処理管理装置。
続きを表示（約 2,200 文字）【請求項２】
前記制御部は、
特定した前記複数のグループのうちいずれかのグループにおいて、前記ステップを繰り返し実施した回数が閾値以上である場合、前記それぞれのグループにおいて、以降、前記ステップを繰り返し実施しないよう、前記複数のグループを制御する、ことを特徴とする請求項１に記載の計算処理管理装置。
【請求項３】
前記制御部は、
前記複数の演算部のそれぞれの演算部が、テスト学習処理を１回以上実施するよう、前記複数の演算部を制御することにより、前記複数の演算部のそれぞれの演算部の処理速度に関する指標値を取得し、
取得した前記指標値に基づいて、前記複数の演算部のうち、処理速度が一定以上である演算部が分類された１以上のグループと、処理速度が一定未満である演算部が分類された１以上のグループとを含む複数のグループを特定する、ことを特徴とする請求項１または２に記載の計算処理管理装置。
【請求項４】
前記制御部は、
前記それぞれのグループに属する演算部のうち、処理速度が最も遅い演算部に、他のグループが実施した前記単位処理の結果を集約して得られる最新の情報を参照して、当該グループが実施した前記単位処理の結果を集約して得られる情報を生成する、第１プロセスを配備し、
特定した前記複数のグループのいずれかのグループに属する演算部のうち、処理速度が最も遅い演算部に、当該いずれかのグループにおいて、前記ステップを繰り返し実施した回数が閾値以上であるか否かを判定する第２プロセスを配備し、
配備した前記第１プロセス、および、前記第２プロセスを用いて、前記それぞれのグループにおいて、前記ステップを繰り返し実施するよう、前記複数のグループを制御する、ことを特徴とする請求項２に記載の計算処理管理装置。
【請求項５】
前記複数のグループのそれぞれのグループは、前記第１動作を他のグループと同期せずに実施するグループであって、
前記複数のグループのそれぞれのグループに属するいずれかの演算部は、
当該グループにおいて、前記ステップのうち前記第２動作を開始した際に、他のグループが実施した前記単位処理の結果を集約して得られた最新の情報が存在すれば、当該最新の情報と、当該グループに属する他の演算部が実施した前記単位処理の結果とを取得し、取得した当該最新の情報を参照して、当該いずれかの演算部が実施した前記単位処理の結果と、取得した当該グループに属する他の演算部が実施した前記単位処理の結果とに基づいて、当該グループが実施した前記単位処理の結果を集約して得られる情報を生成する、ことを特徴とする請求項１または２に記載の計算処理管理装置。
【請求項６】
前記複数のグループのそれぞれのグループに属するいずれかの演算部は、
当該グループにおいて、前記ステップのうち前記第２動作を開始した際に、他のグループが実施した前記単位処理の結果を集約して得られた最新の情報が存在しなければ、当該グループに属する他の演算部が実施した前記単位処理の結果を取得し、当該いずれかの演算部が実施した前記単位処理の結果と、取得した当該グループに属する他の演算部が実施した前記単位処理の結果とに基づいて、当該グループが実施した前記単位処理の結果を集約して得られる情報を生成する、ことを特徴とする請求項５に記載の計算処理管理装置。
【請求項７】
単位処理を複数回実施する計算処理を並列処理する複数の演算部と、前記複数の演算部を制御する制御部とを含む計算処理管理システムであって、
前記制御部は、
複数の演算部のうち、処理速度が一定以上である演算部が分類された１以上のグループと、処理速度が前記一定未満である演算部が分類された１以上のグループとを含む複数のグループを特定し、
特定した前記複数のグループのそれぞれのグループにおいて、当該グループに属するそれぞれの演算部が、前記単位処理を１回ずつ実施する第１動作と、当該グループに属するそれぞれの演算部が、他のグループが実施した前記単位処理の結果を集約して得られる最新の情報を参照して、当該グループが実施した前記単位処理の結果を集約して得られる情報を生成する、前記第１動作の後の第２動作とを含むステップを繰り返し実施するよう、前記複数のグループを制御する、
ことを特徴とする計算処理管理システム。
【請求項８】
単位処理を複数回実施する計算処理を並列処理する複数の演算部のうち、処理速度が一定以上である演算部が分類された１以上のグループと、処理速度が前記一定未満である演算部が分類された１以上のグループとを含む複数のグループを特定し、
特定した前記複数のグループのそれぞれのグループにおいて、当該グループに属するそれぞれの演算部が、前記単位処理を１回ずつ実施する第１動作と、当該グループに属するそれぞれの演算部が、他のグループが実施した前記単位処理の結果を集約して得られる最新の情報を参照して、当該グループが実施した前記単位処理の結果を集約して得られる情報を生成する、前記第１動作の後の第２動作とを含むステップを繰り返し実施するよう、前記複数のグループを制御する、
処理をコンピュータが実行することを特徴とする計算処理管理方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、計算処理管理装置、計算処理管理システム、および計算処理管理方法に関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
従来、深層学習にかかる計算処理を、複数のＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）において並列処理することにより、深層学習の高速化を図ることがある。計算処理は、例えば、所定の処理を繰り返し実施することを含む。例えば、それぞれのＧＰＵにおいて、所定の処理を１回ずつ実施した後、複数のＧＰＵにおいて、それぞれの所定の処理を実施した結果を集約して共有する、というステップを繰り返し実施することにより、計算処理を並列処理することがある。
【０００３】
先行技術としては、例えば、学習データに基づく順伝搬計算および逆伝搬計算を反復的に実施し、逆伝搬計算の計算結果を通信ネットワークに送出する複数の計算機から受信した計算結果を処理して送信元に返送するＡｌｌｒｅｄｕｃｅ処理装置がある。また、例えば、学習対象のニューラルネットワークの重みごとの分散データを、重みの番号の順にパケット化して送信し、集計データを順番に取得し、ニューラルネットワークの重みを更新する技術がある。
【先行技術文献】
【特許文献】
【０００４】
特開２０２０－７７３００号公報
特開２０１９－２１９７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、計算処理を効率よく並列処理することが難しい場合がある。例えば、複数のＧＰＵのいずれかのＧＰＵの処理速度が、他のＧＰＵに比べて遅い場合が考えられる。この場合、あるステップにおいて、処理速度が比較的速いＧＰＵは、所定の処理を１回完了した後、処理速度が比較的遅いＧＰＵが所定の処理を１回完了するまで待機しなければならず、計算処理を並列処理する効率の低下を招いてしまう。
【０００６】
１つの側面では、本発明は、計算処理を効率よく並列処理することを目的とする。
【課題を解決するための手段】
【０００７】
１つの実施態様によれば、単位処理を複数回実施する計算処理を並列処理する複数の演算部のうち、処理速度が一定以上である演算部が分類された１以上のグループと、処理速度が前記一定未満である演算部が分類された１以上のグループとを含む複数のグループを特定し、特定した前記複数のグループのそれぞれのグループにおいて、当該グループに属するそれぞれの演算部が、前記単位処理を１回ずつ実施する第１動作と、当該グループに属するそれぞれの演算部が、他のグループが実施した前記単位処理の結果を集約して得られる最新の情報を参照して、当該グループが実施した前記単位処理の結果を集約して得られる情報を生成する、前記第１動作の後の第２動作とを含むステップを繰り返し実施するよう、前記複数のグループを制御する計算処理管理装置、計算処理管理システム、および計算処理管理方法が提案される。
【発明の効果】
【０００８】
一態様によれば、計算処理を効率よく並列処理することが可能になる。
【図面の簡単な説明】
【０００９】
図１は、実施の形態にかかる計算処理管理方法の一実施例を示す説明図である。
図２は、計算処理管理システム２００の一例を示す説明図である。
図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。
図４は、情報処理装置１００の機能的構成例を示すブロック図である。
図５は、情報処理装置１００の動作の流れを示す説明図（その１）である。
図６は、情報処理装置１００の動作の流れを示す説明図（その２）である。
図７は、情報処理装置１００の動作例１を示す説明図（その１）である。
図８は、情報処理装置１００の動作例１を示す説明図（その２）である。
図９は、情報処理装置１００の動作例１を示す説明図（その３）である。
図１０は、情報処理装置１００の動作例１を示す説明図（その４）である。
図１１は、動作例１における第１データ制御処理手順の一例を示すフローチャートである。
図１２は、動作例１における第２データ制御処理手順の一例を示すフローチャートである。
図１３は、動作例１における終了制御処理手順の一例を示すフローチャートである。
図１４は、情報処理装置１００の動作例２を示す説明図（その１）である。
図１５は、情報処理装置１００の動作例２を示す説明図（その２）である。
図１６は、情報処理装置１００の動作例２を示す説明図（その３）である。
図１７は、情報処理装置１００の動作例２を示す説明図（その４）である。
図１８は、動作例２における第１データ制御処理手順の一例を示すフローチャートである。
図１９は、動作例２における第２データ制御処理手順の一例を示すフローチャートである。
図２０は、動作例２における終了制御処理手順の一例を示すフローチャートである。
図２１は、情報処理装置１００の動作例３を示す説明図（その１）である。
図２２は、情報処理装置１００の動作例３を示す説明図（その２）である。
図２３は、情報処理装置１００の動作例３を示す説明図（その３）である。
図２４は、情報処理装置１００の動作例３を示す説明図（その４）である。
図２５は、動作例３における第１データ制御処理手順の一例を示すフローチャートである。
図２６は、動作例３における第２データ制御処理手順の一例を示すフローチャートである。
図２７は、動作例３における第３データ制御処理手順の一例を示すフローチャートである。
図２８は、動作例３における終了制御処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、本発明にかかる計算処理管理装置、計算処理管理システム、および計算処理管理方法の実施の形態を詳細に説明する。
（【００１１】以降は省略されています）

関連特許