特許ウォッチ

公開番号2025016622
公報種別公開特許公報(A)
公開日2025-02-04
出願番号2024190335,2023540185
出願日2024-10-30,2021-04-13
発明の名称RoCE(RDMA over Converged Ethernet)のためのクラウドスケールのマルチテナンシ
出願人オラクル・インターナショナル・コーポレイション
代理人弁理士法人深見特許事務所
主分類H04L 45/586 20220101AFI20250128BHJP(電気通信技術)
要約【課題】データネットワーキングのための方法及び装置を提供する。
【解決手段】方法は、仮想ローカルエリアネットワーク(VLAN)タグとクオリティオブサービス(QoS)データフィールドとを含む第1のレイヤ2リモートダイレクトメモリアクセス(RDMA)パケットを受信するステップと、第1のレイヤ2RDMAパケットを第1のレイヤ3カプセル化パケットに変換するステップと、第1のレイヤ3カプセル化パケットをスイッチファブリックに転送するステップと、を含む。前記変換するステップは、少なくとも1つのヘッダを第1のレイヤ2RDMAパケットに追加するステップを含み、少なくとも1つのヘッダは、VLANタグからの情報に基づく仮想ネットワーク識別子と、QoSデータフィールドからの情報に基づくQoS値と、を含む。
【選択図】図7A
特許請求の範囲【請求項１】
データネットワーキングの方法であって、
複数のテナントの中の第１のテナントのための第１のレイヤ２ＲＤＭＡパケットを、前記複数のテナントの複数の計算インスタンスを実行するホストマシンから、イングレススイッチにおいて受信するステップと、
前記第１のレイヤ２ＲＤＭＡパケットを、少なくとも１つのヘッダを有する第１のレイヤ３カプセル化パケットに変換するステップと、
前記第１のレイヤ３カプセル化パケットをスイッチファブリックに転送するステップとを含み、
前記第１のレイヤ２ＲＤＭＡパケットは、仮想ローカルエリアネットワーク（ＶＬＡＮ：Virtual Local Area Network）タグと、クオリティオブサービス（ＱｏＳ：Quality-of-Service）データフィールドとを含み、
前記変換するステップは、前記少なくとも１つのヘッダを前記第１のレイヤ２ＲＤＭＡパケットに追加するステップを含み、前記少なくとも１つのヘッダは、
前記ＶＬＡＮタグからの情報に基づく仮想ネットワーク識別子と、
前記ＱｏＳデータフィールドからの情報に基づくＱｏＳ値とを含む、方法。
続きを表示（約 2,200 文字）【請求項２】
輻輳の表示に応答して、前記スイッチファブリックの中間スイッチにおいて、前記第１のレイヤ３カプセル化パケットの前記少なくとも１つのヘッダの輻輳通知データフィールドを修正するステップをさらに含む、請求項１に記載の方法。
【請求項３】
ＶＬＡＮタグとＱｏＳデータフィールドとを含む第２のレイヤ２ＲＤＭＡパケットを前記イングレススイッチにおいて受信するステップと、
前記第２のレイヤ２ＲＤＭＡパケットを、少なくとも１つのヘッダを有する第２のレイヤ３カプセル化パケットに変換するステップと、
前記第２のレイヤ３カプセル化パケットを前記スイッチファブリックに転送するステップとをさらに含み、
前記第２のレイヤ２ＲＤＭＡパケットの前記ＶＬＡＮタグは、前記第１のレイヤ２ＲＤＭＡパケットの前記ＶＬＡＮタグとは異なるＶＬＡＮを示す、請求項１に記載の方法。
【請求項４】
前記スイッチファブリックの中間スイッチにおいて、
前記第１のレイヤ３カプセル化パケットの前記少なくとも１つのヘッダの前記ＱｏＳ値に基づいて、前記第１のレイヤ３カプセル化パケットを前記中間スイッチの第１のキューにキューイングするステップと、
前記第２のレイヤ３カプセル化パケットの前記少なくとも１つのヘッダの前記ＱｏＳ値に基づいて、前記第２のレイヤ３カプセル化パケットを、前記第１のキューとは異なる前記中間スイッチの第２のキューにキューイングするステップとをさらに含む、請求項３に記載の方法。
【請求項５】
エグレススイッチにおいて、前記第１のレイヤ３カプセル化パケットを受信するステップと、
前記第１のレイヤ３カプセル化パケットをデカプセル化して、前記第１のレイヤ２ＲＤＭＡパケットを取得するステップと、
前記第１のレイヤ２ＲＤＭＡパケットの前記ＶＬＡＮタグに基づいて、前記第１のレイヤ２ＲＤＭＡパケットを第１の計算インスタンスに転送するステップと、
前記エグレススイッチにおいて、前記第２のレイヤ３カプセル化パケットを受信するステップと、
前記第２のレイヤ３カプセル化パケットをデカプセル化して、前記第２のレイヤ２ＲＤＭＡパケットを取得するステップと、
前記第２のレイヤ２ＲＤＭＡパケットの前記ＶＬＡＮタグに基づいて、前記第２のレイヤ２ＲＤＭＡパケットを、前記第１の計算インスタンスとは異なる第２の計算インスタンスに転送するステップとをさらに含む、請求項３に記載の方法。
【請求項６】
エグレススイッチにおいて、前記第１のレイヤ３カプセル化パケットを受信するステップと、
前記第１のレイヤ３カプセル化パケットをデカプセル化して、前記第１のレイヤ２ＲＤＭＡパケットを取得するステップと、
前記第１のレイヤ２ＲＤＭＡパケットの前記ＶＬＡＮタグに基づいて、前記第１のレイヤ２ＲＤＭＡパケットを第１の計算インスタンスに転送するステップとをさらに含む、請求項１に記載の方法。
【請求項７】
前記第１のレイヤ３カプセル化パケットの前記少なくとも１つのヘッダの輻輳通知データフィールドにおける情報に基づいて、前記第１のレイヤ２ＲＤＭＡパケットの輻輳通知データフィールドの値を設定するステップをさらに含む、請求項６に記載の方法。
【請求項８】
前記ＱｏＳ値は、前記第１のレイヤ３カプセル化パケットの外側ＩＰヘッダの差別化されたサービスコードポイント（ＤＳＣＰ：Differentiated Services Code Point）フィールドであり、
前記変換するステップは、前記第１のレイヤ２ＲＤＭＡパケットのＩＰヘッダのＤＳＣＰフィールドを前記第１のレイヤ３カプセル化パケットの前記外側ＩＰヘッダの前記ＤＳＣＰフィールドにコピーするステップを含む、請求項１～７のいずれか１項に記載の方法。
【請求項９】
前記第１のレイヤ３カプセル化パケットは、仮想拡張可能ローカルエリアネットワーク（ＶｘＬＡＮ）パケットであり、
前記仮想ネットワーク識別子は、前記第１のレイヤ３カプセル化パケットのＶｘＬＡＮヘッダの仮想ネットワーク識別子（ＶＮＩ：Virtual Network Identifier）である、請求項１～７のいずれか１項に記載の方法。
【請求項１０】
データネットワーキングの方法であって、
エグレススイッチにおいて、第１のレイヤ３カプセル化パケットを受信するステップと、
前記第１のレイヤ３カプセル化パケットをデカプセル化して、第１のレイヤ２ＲＤＭＡパケットを取得するステップと、
前記第１のレイヤ３カプセル化パケットの前記少なくとも１つのヘッダの輻輳通知データフィールドからの情報に基づいて、前記第１のレイヤ２ＲＤＭＡパケットの輻輳通知データフィールドの値を設定するステップと、
前記設定するステップの後に、前記第１のレイヤ２ＲＤＭＡパケットのＶＬＡＮタグに基づいて、前記第１のレイヤ２ＲＤＭＡパケットを、ホストマシン上で実行される第１の計算インスタンスに転送するステップとを含み、前記第１の計算インスタンスは、前記ホストマシン上で実行される複数の計算インスタンスの中にある、方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
関連出願の相互参照
本願は、「ＲｏＣＥ（RDMA over Converged Ethernet）のためのクラウドスケールのマルチテナンシ（CLOUD SCALE MULTI-TENANCY FOR RDMA OVER CONVERGED ETHERNET (RoCE)
）」と題される２０２０年１２月３０日に出願された米国仮出願番号第６３／１３２，４１７号、「ＲｏＣＥ（RDMA over Converged Ethernet）のためのクラウドスケールのマルチテナンシ（CLOUD SCALE MULTI-TENANCY FOR RDMA OVER CONVERGED ETHERNET (RoCE)）
」と題される２０２１年２月２日に出願された米国非仮出願番号第１７／１６５，８７７号、「拡張可能なマルチテナントＲＤＭＡトラフィックのためのクラスベースのキューイング（CLASS-BASED QUEUEING FOR SCALABLE MULTI-TENANT RDMA TRAFFIC）」と題される
２０２１年２月３日に出願された米国非仮出願番号第１７／１６６，９２２号、および「拡張可能なマルチテナントＲＤＭＡトラフィックのためのクラスベースのキューイング（CLASS-BASED QUEUEING FOR SCALABLE MULTI-TENANT RDMA TRAFFIC）」と題される２０２
１年４月１日に出願されたＰＣＴ出願番号第ＰＣＴ／ＵＳ２０２１／０２５４５９号に対する優先権を主張し、これらは全ての目的で引用によって全文が本明細書に援用される。
続きを表示（約 5,200 文字）【背景技術】
【０００２】
背景
ＲｏＣＥ（RDMA over Converged Ethernet）は、ロスレスなイーサネット（登録商標）ネットワークを介したリモートダイレクトメモリアクセス（ＲＤＭＡ：Remote Direct Memory Access）を可能にするネットワークプロトコルである。ＲｏＣＥは、イーサネット
を介してインフィニバンド（ＩＢ：InfiniBand）トランスポートパケットをカプセル化することによってこれを可能にする。一般的に言って、ＲｏＣＥは、専用のＲＤＭＡキューおよび専用のＶＬＡＮを有するレイヤ２ネットワークを含む。しかしながら、レイヤ２ネットワークは、拡張できず、あまり高性能ではない。なぜなら、レイヤ２ネットワークは、より拡張可能であって高性能のレイヤ３ネットワークに存在する重要な特性および特徴が無いからである。したがって、既存のパブリッククラウド実装は、ＲｏＣＥプロトコルを使用したデータ転送を提供することができない。
【発明の概要】
【課題を解決するための手段】
【０００３】
簡単な概要
本開示は、概してデータネットワーキングに関する。より特定的には、レイヤ３プロトコルを使用してレイヤ３ネットワークを介してレイヤ２トラフィックを通信することを可能にする技術が記載されている。特定の実施形態において、本開示に記載されている技術は、レイヤ３ルーティングプロトコルを使用して、共有のレイヤ３物理ネットワークまたはスイッチファブリックを介して、マルチテナントホストマシン（すなわち、様々なテナントまたは顧客に属する計算インスタンスをホストするホストマシン）上の計算インスタンスから別のマルチテナントホストマシン上の計算インスタンスにリモートダイレクトメモリアクセス（ＲＤＭＡ）トラフィック（例えば、ＲｏＣＥ（RDMA over Converged Ethernet）トラフィック）を通信することを可能にする。そのような通信は、任意に、他のトラフィック（例えば、ＴＣＰおよび／またはＵＤＰトラフィック）も含んでもよい。顧客またはテナントは、通信が専用のレイヤ２ネットワーク上で行われるものとして経験するが、実際には、通信は、レイヤ３ルーティングプロトコルを使用して共有の（すなわち、複数の顧客またはテナント間で共有される）レイヤ３ネットワーク上で行われる。方法、システム、１つまたは複数のプロセッサによって実行可能なプログラム、コードまたは命
令を格納する非一時的なコンピュータ可読記憶媒体などを含む様々な実施形態が本開示に記載されている。
【０００４】
特定の実施形態において、データネットワーキングの方法は、複数のテナントの中の第１のテナントのための第１のレイヤ２ＲＤＭＡパケットを、上記複数のテナントの複数の計算インスタンスを実行するホストマシンから、イングレス（ingress）スイッチにおい
て受信するステップと、上記第１のレイヤ２ＲＤＭＡパケットを、少なくとも１つのヘッダを有する第１のレイヤ３カプセル化パケットに変換するステップと、上記第１のレイヤ３カプセル化パケットをスイッチファブリックに転送するステップとを含み、上記第１のレイヤ２ＲＤＭＡパケットは、仮想ローカルエリアネットワーク（ＶＬＡＮ：Virtual Local Area Network）タグと、クオリティオブサービス（ＱｏＳ：Quality-of-Service）データフィールドとを含み、上記変換するステップは、上記少なくとも１つのヘッダを上記第１のレイヤ２ＲＤＭＡパケットに追加するステップを含み、上記少なくとも１つのヘッダは、上記ＶＬＡＮタグからの情報に基づく仮想ネットワーク識別子と、上記ＱｏＳデータフィールドからの情報に基づくＱｏＳ値とを含む。上記方法は、輻輳の表示に応答して、上記スイッチファブリックの中間スイッチにおいて、上記第１のレイヤ３カプセル化パケットの上記少なくとも１つのヘッダの輻輳通知データフィールドを修正するステップをさらに含み得る。代替的にまたは追加的には、上記方法は、ＶＬＡＮタグとＱｏＳデータフィールドとを含む第２のレイヤ２ＲＤＭＡパケットを受信するステップと、上記第２のレイヤ２ＲＤＭＡパケットを、少なくとも１つのヘッダを有する第２のレイヤ３カプセル化パケットに変換するステップと、上記第２のレイヤ３カプセル化パケットを上記スイッチファブリックに転送するステップとをさらに含み得て、上記第２のレイヤ２ＲＤＭＡパケットの上記ＶＬＡＮタグは、上記第１のレイヤ２ＲＤＭＡパケットの上記ＶＬＡＮタグとは異なるＶＬＡＮを示す。そのような方法は、上記スイッチファブリックの中間スイッチにおいて、上記第１のレイヤ３カプセル化パケットの上記少なくとも１つのヘッダの上記ＱｏＳ値に基づいて、上記第１のレイヤ３カプセル化パケットを上記中間スイッチの第１のキューにキューイングするステップと、上記第２のレイヤ３カプセル化パケットの上記少なくとも１つのヘッダの上記ＱｏＳ値に基づいて、上記第２のレイヤ３カプセル化パケットを、上記第１のキューとは異なる上記中間スイッチの第２のキューにキューイングするステップとをさらに含み得る。
【０００５】
さらに他の実施形態において、データネットワーキングの方法は、エグレス（egress）スイッチにおいて、第１のレイヤ３カプセル化パケットを受信するステップと、上記第１のレイヤ３カプセル化パケットをデカプセル化して、第１のレイヤ２ＲＤＭＡパケットを取得するステップと、上記第１のレイヤ３カプセル化パケットの上記少なくとも１つのヘッダの輻輳通知データフィールドにおける情報に基づいて、上記第１のレイヤ２ＲＤＭＡパケットの輻輳通知データフィールドの値を設定するステップと、上記設定するステップの後に、上記第１のレイヤ２ＲＤＭＡパケットのＶＬＡＮタグに基づいて、上記第１のレイヤ２ＲＤＭＡパケットを第１の計算インスタンスに転送するステップとを含む。上記方法は、上記エグレススイッチにおいて、第２のレイヤ３カプセル化パケットを受信するステップと、上記第２のレイヤ３カプセル化パケットをデカプセル化して、第２のレイヤ２ＲＤＭＡパケットを取得するステップと、上記第２のレイヤ２ＲＤＭＡパケットのＶＬＡＮタグに基づいて、上記第２のレイヤ２ＲＤＭＡパケットを、上記第１の計算インスタンスとは異なる第２の計算インスタンスに転送するステップとをさらに含み得る。そのような方法は、上記エグレススイッチにおいて、上記第１のレイヤ３カプセル化パケットの外側ヘッダのクオリティオブサービス（ＱｏＳ）値に基づいて、上記第１のレイヤ３カプセル化パケットを上記エグレススイッチの第１のキューにキューイングするステップと、上記第２のレイヤ３カプセル化パケットの外側ヘッダのＱｏＳ値に基づいて、上記第２のレイヤ３カプセル化パケットを、上記第１のキューとは異なる上記エグレススイッチの第２のキューにキューイングするステップとをさらに含み得る。
【０００６】
さらに他の実施形態において、（例えば、レイヤ３ネットワークにおける）ＲＤＭＡトラフィックのクラスベースのキューイングのための技術が記載されており、この技術を使用して、特定のキューにおけるＲＤＭＡトラフィックが他のキューにおけるＲＤＭＡトラフィックに影響を及ぼさないようにネットワークファブリック全体にわたるクラスベースの分離をクラウドスケールで維持することができる。特定の実施形態に従って、システムは、様々なクラスのＲＤＭＡトラフィックの移送および様々なテナントからのＲＤＭＡトラフィックの移送のための共有のファブリックを含むように実装され得て、あるＲＤＭＡネットワークインターフェイスコントローラ（ＮＩＣ：Network Interface Controller）から別のＮＩＣまでの共有のファブリック全体にわたる経路内の各装置は、ＲＤＭＡトラフィックの様々なクラスに専用の複数のキューを含む。
【０００７】
特定の実施形態に従って、ＲＤＭＡパケットをキューイングする方法は、ネットワーキング装置が、複数のＲＤＭＡパケットを受信するステップを含む。上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットは、クオリティオブサービス（ＱｏＳ）データフィールドを含み、上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットについて、上記ＱｏＳデータフィールドは、上記ＲＤＭＡパケットのためのサービスのクラスを示し、且つ、複数のＱｏＳ値の中にあるＱｏＳ値を有する。この方法は、上記ネットワーキング装置が、複数のＲＤＭＡキューの間で上記複数のＲＤＭＡパケットを分配するステップも含む。上記分配するステップは、上記複数のＲＤＭＡキューへの上記複数のＱｏＳ値の第１のマッピングに従って実行される。この方法は、上記ネットワーキング装置が、上記複数のＲＤＭＡキュー間の第１の重み付けに従って上記複数のＲＤＭＡキューから上記複数のＲＤＭＡパケットを取り出すステップをさらに含む。上記取り出された複数のＲＤＭＡパケットは、複数のパケットフローを含んでいてもよく、その場合、例は、フロー毎等コストマルチパススキームに従って、上記取り出された複数のＲＤＭＡパケットの上記複数のパケットフローをルーティングするステップをさらに含んでいてもよい。上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットは、ＲｏＣＥｖ２パケットであってもよく、または、上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットは、オーバーレイカプセル化プロトコル（例えば、ＶｘＬＡＮ、ＮＶＧＲＥ、ＧＥＮＥＶＥ、ＳＴＴまたはＭＰＬＳ）に従ってフォーマットされたレイヤ３カプセル化パケットであってもよい。
【０００８】
さらなる例において、上記分配するステップは、上記複数のＲＤＭＡパケットにおける第１のＲＤＭＡパケットの上記ＱｏＳデータフィールドが第１のＱｏＳ値を有するとの判断に応答して、上記第１のＲＤＭＡパケットを上記複数のＲＤＭＡキューにおける第１のＲＤＭＡキューに格納するステップと、上記複数のＲＤＭＡパケットにおける第２のＲＤＭＡパケットの上記ＱｏＳデータフィールドが第２のＱｏＳ値を有するとの判断に応答して、上記第２のＲＤＭＡパケットを上記複数のＲＤＭＡキューにおける第２のＲＤＭＡキューに格納するステップとを含み、上記第２のＱｏＳ値は、上記第１のＱｏＳ値とは異なる。
【０００９】
特定の実施形態に従って、ＲＤＭＡパケットをキューイングするさらなる方法は、上記ネットワーキング装置が、制御キューから複数の制御パケットを取り出すステップも含み、上記複数の制御パケットを取り出すステップは、上記複数のＲＤＭＡパケットを取り出すステップよりも厳密な優先度を有する。この場合、上記制御キューは、上記複数のＲＤＭＡキューのいずれのキューよりも低い帯域幅を有するように構成され得る。代替的にまたは追加的には、上記複数の制御パケットは、少なくとも１つのネットワーク制御プロトコルパケット（例えば、ＢＧＰパケット）および／または少なくとも１つの輻輳通知パケット（ＣＮＰパケット）を含んでいてもよい。
【００１０】
特定の実施形態に従って、ネットワーキング装置（例えば、リーフスイッチまたはスパ
インスイッチ）は、複数のＲＤＭＡキューと、上記複数のＲＤＭＡキューに結合され、複数のＲＤＭＡパケットを受信するように構成された処理回路とを含むように構成され得て、上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットは、クオリティオブサービス（ＱｏＳ）データフィールドを含み、上記ネットワーキング装置はさらに、上記複数のＲＤＭＡキューへの複数のＱｏＳ値の第１のマッピングに従って上記複数のＲＤＭＡキューの間で上記複数のＲＤＭＡパケットを分配し、上記複数のＲＤＭＡキュー間の第１の重み付けに従って上記複数のＲＤＭＡキューから上記複数のＲＤＭＡパケットを取り出すように構成され得る。上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットについて、上記ＱｏＳデータフィールドは、上記ＲＤＭＡパケットのためのサービスのクラスを示し、且つ、上記複数のＱｏＳ値の中にある値を有する。
（【００１１】以降は省略されています）

関連特許