特許ウォッチ

公開番号2024101211
公報種別公開特許公報(A)
公開日2024-07-29
出願番号2023005054
出願日2023-01-17
発明の名称計算資源管理装置及び計算資源管理方法
出願人富士通株式会社
代理人弁理士法人真田特許事務所,個人
主分類G06F 15/173 20060101AFI20240722BHJP(計算;計数)
要約【課題】複数の計算資源を利用するシステムの処理性能を向上させる。
【解決手段】計算資源管理装置は、複数の計算資源50間を光通信により接続する光スイッチ6に、前記複数の計算資源を前記複数の計算資源の各々の処理性能の降順に縦続接続する第1経路であって、前記第1経路の始点となる第1計算資源#0から前記第1経路の終点となる第2計算資源#3に向かって各計算資源における計算結果を隣接する計算資源に送信するための前記第1経路を形成させ、前記光スイッチ6に、前記第2計算資源#3を、前記複数の計算資源のうちの前記第2計算資源以外の複数の第3計算資源#0～#2の各々に接続する第2経路であって、前記第2計算資源が、前記第2計算資源の計算結果を前記複数の第3計算資源の各々に送信するための前記第2経路を形成させる。
【選択図】図4
特許請求の範囲【請求項１】
複数の計算資源間を光通信により接続する光スイッチに、前記複数の計算資源を前記複数の計算資源の各々の処理性能の降順に縦続接続する第１経路であって、前記第１経路の始点となる第１計算資源から前記第１経路の終点となる第２計算資源に向かって各計算資源における計算結果を隣接する計算資源に送信するための前記第１経路を形成させ、
前記光スイッチに、前記第２計算資源を、前記複数の計算資源のうちの前記第２計算資源以外の複数の第３計算資源の各々に接続する第２経路であって、前記第２計算資源が、前記第２計算資源の計算結果を前記複数の第３計算資源の各々に送信するための前記第２経路を形成させる、制御部を備える、
計算資源管理装置。
続きを表示（約 850 文字）【請求項２】
前記制御部は、
前記光スイッチに前記第１経路を形成させる処理において、前記第２計算資源が複数の光受信ポートを備える場合、前記複数の計算資源を分配した複数の前記第１経路であって、前記複数の第１経路の各々で、分配された計算資源を前記分配された計算資源の処理性能の降順に縦続接続する、前記複数の第１経路を、前記光スイッチに形成させる、
請求項１に記載の計算資源管理装置。
【請求項３】
前記第２計算資源は、前記複数の第１経路の各々の終点となる計算資源として共用される、
請求項２に記載の計算資源管理装置。
【請求項４】
前記複数の第１経路の各々は、前記第２計算資源、又は、前記第２計算資源よりも前記第１経路上で１つ以上前の計算資源において、他の第１経路と合流する、
請求項２又は請求項３に記載の計算資源管理装置。
【請求項５】
前記複数の計算資源の各々による計算は、Allreduce演算であり、
前記第２計算資源の計算結果は、前記複数の計算資源の各々の計算結果を集約したデータである、
請求項１に記載の計算資源管理装置。
【請求項６】
複数の計算資源間を光通信により接続する光スイッチに、前記複数の計算資源を前記複数の計算資源の各々の処理性能の降順に縦続接続する第１経路であって、前記第１経路の始点となる第１計算資源から前記第１経路の終点となる第２計算資源に向かって各計算資源における計算結果を隣接する計算資源に送信するための前記第１経路を形成させ、
前記光スイッチに、前記第２計算資源を、前記複数の計算資源のうちの前記第２計算資源以外の複数の第３計算資源の各々に接続する第２経路であって、前記第２計算資源が、前記第２計算資源の計算結果を前記複数の第３計算資源の各々に送信するための前記第２経路を形成させる、
処理をコンピュータが実行する、計算資源管理方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、計算資源管理装置及び計算資源管理方法に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
Disaggregated Computingの技術を利用したインフラ（Infrastructure）が知られている。このようなインフラの一例としては、コンポーザブルインフラ（Composable Infrastructure：CI、又は、Composable Disaggregated Infrastructure：CDI）等がある。
【０００３】
当該インフラでは、管理装置が、リソース（計算資源）プール内の複数のリソースをホストサーバに接続し提供することで、あたかもホストサーバ内にリソースがあるように見せることが可能となっている。例えば、ホストサーバと、リソースプールとが互いに離間する（遠距離にある）場合、これらの間の接続として光接続を利用することで、ホストサーバにリソースを低遅延且つ低電力で提供可能となる。
【０００４】
リソースの一例としては、ＡＩ（Artificial Intelligence）アクセラレータが挙げられる。多数のＡＩアクセラレータを利用するシステム、例えば深層学習（Deep Learning）を行なうシステムでは、リソースプールにおけるＡＩアクセラレータ間の通信が重要となっている。
【０００５】
例えば、当該システムでは、深層学習に利用される全てのＡＩアクセラレータによる並列処理、一例として、パラメータを集約して共通化するAllreduce処理が行なわれることがある。
【０００６】
Allreduce処理を実現する手法の一例として、RingAllreduceが知られている。RingAllreduceは、リング状の通信経路により接続された複数のＡＩアクセラレータの各々が、機械学習処理の結果（計算結果）をリング内の所定方向に隣接するＡＩアクセラレータに渡すことで、Allreduceを行なう手法である。
【０００７】
また、Allreduce処理を実現する手法の他の例として、Binary tree（二分木）のReduce+Broadcastを用いる手法も知られている。当該手法では、ツリー状の通信経路により接続された複数のＡＩアクセラレータの各々が、機械学習処理の結果（計算結果）をツリーのleaf（葉）からroot（根）に向かって隣接するＡＩアクセラレータに渡すことで、Reduceを行なう手法である。また、当該手法では、各ＡＩアクセラレータが、Reduceにおいて集約されたパラメータを、ツリーのroot（根）からleaf（葉）に向かって隣接するＡＩアクセラレータに渡すことで、Broadcastを行なう。
【先行技術文献】
【特許文献】
【０００８】
特開２０１６－７５９６８号公報
特開２０１０－２５７０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
RingAllreduceでは、全てのＡＩアクセラレータが機械学習処理を完了するまで、Allreduce処理が開始されない。これにより、処理性能の低いＡＩアクセラレータにおける計算の完了を他のＡＩアクセラレータが待つ待機時間が発生する場合がある。この待機時間は、ＡＩアクセラレータ間におけるAllreduce処理の通信時間以上の時間になることがある。
【００１０】
ＡＩアクセラレータ、例えばＧＰＵ（Graphics Processing Unit）は、プロセスバラツキにより同型の製品でも性能差が大きい。また、Disaggregated Computingの技術を利用したインフラでは、例えば空調設備とリソースとの配置関係等により、リソースごとに利用環境が変わりやすく、これによりリソース間に性能差が生じる。これらの要因により、RingAllreduceにおけるＡＩアクセラレータの待機時間は、より増加する可能性がある。
（【００１１】以降は省略されています）

関連特許