特許ウォッチ

公開番号2025094927
公報種別公開特許公報(A)
公開日2025-06-25
出願番号2024217460
出願日2024-12-12
発明の名称高帯域幅マルチショットプリフェッチングのためのジョイントスケジューラ
出願人ネクストシリコンリミテッド,Next Silicon Ltd
代理人弁理士法人鷲田国際特許事務所
主分類G06F 12/0862 20160101AFI20250618BHJP(計算;計数)
要約【課題】スケジューラの効率を向上させてレイテンシを低減し、実行帯域幅を増加させるジョイントスケジューラ及び方法を提供する。
【解決手段】ジョイントスケジューラは、それぞれの命令に関するそれぞれのデータに対してディスパッチされた、ヒットした各プリフェッチアクセスに応じて、それぞれの命令に関する要求アクセスが、それぞれの命令に関連付けられた、それぞれのデータを保存するそれぞれのキャッシュエントリへのポインタを使用してキャッシュ内のそれぞれのデータにアクセスするように、それぞれの命令を、有効指示と、ポインタと、に関連付けるように、かつ、それぞれの命令に関するそれぞれのデータに対してディスパッチされた、ミスした各プリフェッチアクセスに応じて、次のレベルのメモリからそれぞれのデータをロードするための読み出しサイクルを開始し、キャッシュ内にそれぞれのデータをキャッシュするように、適合される。
【選択図】図1
特許請求の範囲【請求項１】
少なくとも１つの処理回路の実行パイプラインにロードされた複数の命令に関するデータのプリフェッチアクセスおよび要求アクセスをディスパッチするために適合されたジョイントスケジューラ回路であって、各プリフェッチアクセスは、それぞれのデータが少なくとも１つのキャッシュの複数のキャッシュエントリのうちの１つにキャッシュされているか否かをチェックすることを含み、各要求アクセスは、それぞれのデータにアクセスすることを含む、ジョイントスケジューラ回路、
を備えるジョイントスケジューラであって、
前記ジョイントスケジューラ回路は、
前記複数の命令のそれぞれ１つに関するそれぞれのデータに対してディスパッチされた、ヒットした各プリフェッチアクセスに応じて、前記それぞれの命令に関する前記要求アクセスが、前記それぞれの命令に関連付けられた、前記それぞれのデータを保存するそれぞれのキャッシュエントリへのポインタを使用して前記少なくとも１つのキャッシュ内の前記それぞれのデータにアクセスするように、前記それぞれの命令を、有効指示と、前記ポインタと、に関連付けるように、および、
前記複数の命令のそれぞれ１つに関するそれぞれのデータに対してディスパッチされた、ミスした各プリフェッチアクセスに応じて、次のレベルのメモリから前記それぞれのデータをロードするための読み出しサイクルを開始し、前記少なくとも１つのキャッシュ内に前記それぞれのデータをキャッシュするように、
適合される、
ジョイントスケジューラ。
続きを表示（約 1,900 文字）【請求項２】
前記ジョイントスケジューラ回路は、ミスしたそれぞれのプリフェッチアクセスの後で、前記次のレベルのメモリからそれぞれのデータをロードし、前記少なくとも１つのキャッシュ内に前記それぞれのデータをキャッシュするために開始されたそれぞれの読み出しサイクルの完了が成功したことに応じて、前記それぞれの命令を、前記有効指示と、キャッシュされた前記それぞれのデータを保存する前記それぞれのキャッシュエントリへの前記ポインタと、に関連付けるように適合される、
請求項１に記載のジョイントスケジューラ。
【請求項３】
前記ジョイントスケジューラ回路は、ミスしたそれぞれのプリフェッチアクセスの後で、前記次のレベルのメモリからそれぞれのデータをロードし、前記少なくとも１つのキャッシュ内に前記それぞれのデータをキャッシュするために開始されたそれぞれの読み出しサイクルの完了が成功したことに応じて、別のプリフェッチアクセスをディスパッチして、前記有効指示と、キャッシュされた前記それぞれのデータを保存する前記それぞれのキャッシュエントリへの前記ポインタと、を更新するように適合される、
請求項１に記載のジョイントスケジューラ。
【請求項４】
前記ジョイントスケジューラ回路は、前記複数のキャッシュエントリの各々に保存されたデータの無効化および／または追い出しを追跡し、前記複数の命令のそれぞれ１つに関するそれぞれのデータを保存するそれぞれのキャッシュエントリの追い出しに応じて、前記それぞれの命令を無効指示と関連付け、別のプリフェッチサイクルを開始して前記それぞれのデータを前記次のレベルのメモリから前記少なくとも１つのキャッシュにロードするようにさらに適合される、
請求項１に記載のジョイントスケジューラ。
【請求項５】
前記ジョイントスケジューラ回路は、各プリフェッチアクセスヒットについて、それぞれのキャッシュエントリにアクティブ指示をマークするようにさらに適合され、前記アクティブ指示は、前記それぞれのキャッシュエントリが、前記命令の少なくとも１つに関連付けられたポインタによってマッピングされることを示し、前記アクティブ指示は、前記それぞれのキャッシュエントリに保存されたデータの無効化および／または追い出しを追跡するために前記ジョイントスケジューラ回路によって使用される、
請求項１に記載のジョイントスケジューラ。
【請求項６】
前記ジョイントスケジューラ回路は、各プリフェッチアクセスミスについて、前記それぞれの命令を、前記それぞれの命令に関する各プリフェッチアクセスおよび／または各要求アクセスがディスパッチのためにブロックされることを示すブロックマークに関連付けるように適合される、
請求項１に記載のジョイントスケジューラ。
【請求項７】
前記ジョイントスケジューラ回路は、プリフェッチサイクルの完了が成功したことに応じて、前記それぞれの命令に関連付けられた前記ブロックマークを除去するように適合される、
請求項６に記載のジョイントスケジューラ。
【請求項８】
前記ジョイントスケジューラ回路は、前記プリフェッチアクセスをディスパッチするための少なくとも１つのプリフェッチポートと、前記要求アクセスをディスパッチするための少なくとも１つの要求ポートと、を備え、前記少なくとも１つのプリフェッチポートは、前記１つ以上の要求ポートとは別個で、前記少なくとも１つの要求ポートから独立している、
請求項１に記載のジョイントスケジューラ。
【請求項９】
少なくとも１つのプリフェッチアクセスおよび少なくとも１つの要求アクセスは、それぞれ、独立した前記少なくとも１つのプリフェッチポートおよび前記少なくとも１つの要求ポートを介して同時にディスパッチされる、
請求項８に記載のジョイントスケジューラ。
【請求項１０】
少なくとも１つの同時にディスパッチされたプリフェッチアクセスおよび共通のキャッシュエントリに関する少なくとも１つの要求アクセスについて、前記少なくとも１つのプリフェッチアクセスの完了に応じて、前記少なくとも１つの要求ポートにおいて、前記少なくとも１つの要求アクセスについて、前記共通のキャッシュエントリへのポインタが直接更新される、
請求項９に記載のジョイントスケジューラ。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、そのいくつかの実施形態では、処理部においてメモリアクセスをスケジューリングすることに関し、より具体的には、限定するものではないが、処理部においてメモリアクセスを、効率の向上、レイテンシの低減、および／または帯域幅の増加によってスケジューリングするためのジョイントスケジューラを使用することに関する。
続きを表示（約 2,500 文字）【０００２】
本出願は、２０２３年１２月１３日に出願された米国特許出願第１８／５３７，９２７号の優先権の利益を主張し、その内容は、参照によりその全体が本明細書に組み込まれる。本出願はまた、２０２４年７月１２日に出願された米国特許出願第１８／７７０，６９０号に関連する。上記出願の内容は、その全体が本明細書に完全に記載されているかのように、参照により本明細書に全て組み込まれる。
【背景技術】
【０００３】
最新式の（ｍｏｄｅｒｎ）コンピューティングシステムにおいて、プロセッサの性能はキャッシュメモリの有効活用に大いに依存している。
【０００４】
高速のメモリデバイスを用いるキャッシュは、頻繁にアクセスされるデータおよび／または命令を保存するために処理部に近接して、しばしばプロセッサ自体内に展開されてもよく、これにより、著しくより低速で、長いアクセス時間を強いるメインメモリからの情報のフェッチングに伴うレイテンシを低減させる。
【０００５】
しかし、従来のキャッシュ管理技術は、データ検索性能に直接影響を与え得る、変動する作業量およびデータアクセスパターンに対する応答性および／または適合性の点で固有の限界を示し得る。
【発明の概要】
【０００６】
本発明の目的は、処理部のスケジューラの効率を向上させてレイテンシを低減し、実行帯域幅を増加させるための方法、システム、およびソフトウェアプログラム製品を提供することである。上記およびその他の目的は、独立請求項の特徴によって達成される。さらなる実装形式は、従属請求項、明細書および図面から明らかである。
【０００７】
本発明の第１の態様によれば、１つ以上の処理回路の実行パイプラインにロードされた複数の命令に関するデータのプリフェッチアクセスおよび要求アクセスをディスパッチするために適合されたジョイントスケジューラ回路を備える、ジョイントスケジューラが提供される。各プリフェッチアクセスは、それぞれのデータが１つ以上のキャッシュの複数のキャッシュエントリのうちの１つにキャッシュされているか否かをチェックすることを含み、各要求アクセスは、それぞれのデータにアクセスすることを含む。ジョイントスケジューラ回路は、（１）複数の命令のそれぞれ１つに関するそれぞれのデータに対してディスパッチされた、ヒットした各プリフェッチアクセスに応じて、それぞれの命令に関する要求アクセスが、それぞれの命令に関連付けられた、それぞれのデータを保存するそれぞれのキャッシュエントリへのポインタを使用して、１つ以上のキャッシュ内のそれぞれのデータにアクセスするように、それぞれの命令を、有効指示と、ポインタと、に関連付けるように、および、（２）複数の命令のそれぞれ１つに関するそれぞれのデータに対してディスパッチされた、ミスした各プリフェッチアクセスに応じて、次のレベルのメモリからそれぞれのデータをロードするための読み出しサイクルを開始し、１つ以上のキャッシュ内にそれぞれのデータをキャッシュするように、適合される。
【０００８】
本発明の第２の態様によれば、１つ以上の処理回路の実行パイプラインにロードされた複数の命令に関するデータのプリフェッチアクセスおよび要求アクセスをディスパッチするために適合されたジョイントスケジューラ回路を用いることを含む、プリフェッチアクセスおよび要求アクセスを共同でスケジューリングする方法が提供される。各プリフェッチアクセスは、それぞれのデータが１つ以上のキャッシュの複数のキャッシュエントリのうちの１つにキャッシュされているか否かをチェックすることを含み、各要求アクセスは、それぞれのデータにアクセスすることを含む。ジョイントスケジューラ回路は、（１）複数の命令のそれぞれ１つに関するそれぞれのデータに対してディスパッチされた、ヒットした各プリフェッチアクセスに応じて、それぞれの命令に関する要求アクセスが、それぞれの命令に関連付けられた、それぞれのデータを保存するそれぞれのキャッシュエントリへのポインタを使用して１つ以上のキャッシュ内のそれぞれのデータにアクセスするように、それぞれの命令を、有効指示と、ポインタと、に関連付けるように、および、（２）複数の命令のそれぞれ１つに関するそれぞれのデータに対してディスパッチされた、ミスした各プリフェッチアクセスに応じて、次のレベルのメモリからそれぞれのデータをロードするための読み出しサイクルを開始し、１つ以上のキャッシュ内にそれぞれのデータをキャッシュするように、適合される。
【０００９】
本発明の第３の態様によれば、１つ以上の処理回路の実行パイプラインにロードされた複数の命令の順不同実行を、複数の命令に関するデータを保存する１つ以上のキャッシュの複数のキャッシュエントリの各々に保存されたデータの無効化および／または追い出しを追跡することと、複数の命令のうちの１つ以上に関する無効化されたおよび／または追い出されたデータをロードすることにより、１つ以上の命令に対してディスパッチされた要求アクセス中にそれぞれのデータを１つ以上のキャッシュにおいて利用可能にするためにプリフェッチサイクルをディスパッチすることと、によって強化するために適合されたジョイントスケジューラ回路を備える、ジョイントスケジューラが提供される。
【００１０】
第１、第２および／または第３の態様のさらなる実装形式において、ジョイントスケジューラ回路は、ミスしたそれぞれのプリフェッチアクセスの後で、次のレベルのメモリからそれぞれのデータをロードし、１つ以上のキャッシュ内にそれぞれのデータをキャッシュするために開始されたそれぞれの読み出しサイクルの完了が成功したことに応じて、それぞれの命令を、有効指示と、キャッシュされたそれぞれのデータを保存するそれぞれのキャッシュエントリへのポインタと、に関連付けるように適合される。
（【００１１】以降は省略されています）

関連特許