特許ウォッチ

公開番号2025176028
公報種別公開特許公報(A)
公開日2025-12-03
出願番号2025135192,2023568049
出願日2025-08-14,2021-05-03
発明の名称特定用途向け機械学習アクセラレータの生成およびグローバルなチューニング
出願人グーグルエルエルシー,Google LLC
代理人弁理士法人深見特許事務所
主分類G06N 3/063 20230101AFI20251126BHJP(計算;計数)
要約【課題】機械学習(ML)ハードウェアアクセラレータを生成およびグローバルにチューニングする方法、設計システム並びに記憶媒体を提供する。
【解決手段】方法は、ベースラインプロセッサ構成を表すアーキテクチャを選択し、MLコストモデルによって、少なくとも、アーキテクチャが、複数の層を含むニューラルネットワークの計算をどのように実行するかをモデリングすることで、アーキテクチャについての性能データを生成し、性能データに基づいて、アーキテクチャを、ニューラルネットワークを実装しかつ標的アプリケーションのための機械学習計算を実行するときに、性能目標を満たすようにダイナミックにチューンし、アーキテクチャをダイナミックにチューニングすることに応答して、システムは、ニューラルネットワークの複数の層の各々を実装するためのカスタマイズされたハードウェア構成を指定するMLアクセラレータの構成を生成する。
【選択図】図5
特許請求の範囲【請求項１】
特定用途向け機械学習（ＭＬ）アクセラレータを生成するためのコンピュータが実行する方法であって、
ベースラインプロセッサ構成を表すアーキテクチャを選択するステップと、
ＭＬコストモデルによって、少なくとも、前記アーキテクチャが、複数の層を含む第１のニューラルネットワークの計算をどのように実行するかをモデリングすることによって、前記アーキテクチャについての性能データを生成するステップと、
前記性能データに基づいて、前記アーキテクチャが前記第１のニューラルネットワークを実装しかつ標的アプリケーションのための機械学習計算を実行するときに性能目標を満たすために前記アーキテクチャをダイナミックにチューニングするステップと、
前記アーキテクチャをダイナミックにチューニングすることに応答して、前記第１のニューラルネットワークの前記複数の層の各々を実装するためのカスタマイズされたハードウェア構成を指定するＭＬアクセラレータの構成を生成するステップと、を含む、特定用途向け機械学習（ＭＬ）アクセラレータを生成するためのコンピュータが実行する方法。
続きを表示（約 1,800 文字）【請求項２】
前記カスタマイズされたハードウェア構成に基づいて特定用途向けハードウェアＭＬアクセラレータを生成するステップをさらに含み、
前記特定用途向けハードウェアＭＬアクセラレータは、前記ニューラルネットワークが、前記標的アプリケーションのための計算を実行するために使用されるときに、前記ニューラルネットワークの異なる層の各々を実装するように最適化されている、請求項１に記載の方法。
【請求項３】
前記性能目標は、複数の別々の目標を含み、前記特定用途向けＭＬアクセラレータを生成するステップは、
前記特定用途向けハードウェアＭＬアクセラレータが前記標的アプリケーションのための計算を実行するときに、前記複数の別々の目標の各々の別々の目標を満たすように構成されている特定用途向けハードウェアＭＬアクセラレータを生成するステップを含む、請求項２に記載の方法。
【請求項４】
前記性能データを生成するステップは、
前記ＭＬコストモデルによって、前記第１のニューラルネットワークの前記複数の層の各々の層を実行するために前記アーキテクチャの使用をモデリングするステップと、
各々の層を実行するために前記アーキテクチャの使用をモデリングすることに応答して、前記ＭＬコストモデルによって、前記複数の層の各々のための前記アーキテクチャの性能パラメータを生成するステップと、を含む、請求項３に記載の方法。
【請求項５】
前記性能パラメータは、前記複数の別々の目標の各々の別々の目標に対応し、
前記複数の別々の目標は、しきい値処理レイテンシ、しきい値電力消費、しきい値データスループット、およびしきい値プロセッサ利用のうちの少なくとも１つを含む、請求項４に記載の方法。
【請求項６】
前記アーキテクチャをダイナミックにチューニングするステップは、
前記特定用途向けハードウェアＭＬアクセラレータに前記ハードウェアＭＬアクセラレータのハードウェア計算ユニットのしきい値パーセンテージを利用させる入力テンソルのための計算のマッピングを決定するステップと、
決定された前記マッピングに基づいて前記アーキテクチャをダイナミックにチューニングするステップと、を含む、請求項２に記載の方法。
【請求項７】
前記アーキテクチャをダイナミックにチューニングするステップは、
グローバルチューナの複数のＭＬコストモデルの各々によって実行されるオペレーションに基づいて前記アーキテクチャをダイナミックにチューニングするステップと、
前記グローバルチューナのランダムチューナまたはシミュレートされたアニーリングチューナのうちの少なくとも１つによって実行されるオペレーションに基づいて前記アーキテクチャをダイナミックにチューニングするステップと、を含む、請求項６に記載の方法。
【請求項８】
前記アーキテクチャは、集積回路の１つまたは複数のハードウェアブロックを表し、前記アーキテクチャをダイナミックにチューニングするステップは、
前記アーキテクチャが、前記標的アプリケーションのための計算を実行するために前記第１のニューラルネットワークを実装するときに、前記１つまたは複数のハードウェアブロックの各々のためのそれぞれの性能目標を満たすように前記アーキテクチャをダイナミックにチューニングするステップを含む、請求項６に記載の方法。
【請求項９】
前記ハードウェアＭＬアクセラレータの構成は、前記第１のニューラルネットワークのためのカスタマイズされたソフトウェア構成を指定し、
前記特定用途向けハードウェアＭＬアクセラレータを生成するステップは、前記カスタマイズされたハードウェア構成および前記カスタマイズされたソフトウェア構成に基づいて前記特定用途向けハードウェアＭＬアクセラレータを生成するステップを含む、請求項６に記載の方法。
【請求項１０】
前記ＭＬコストモデルは、１つまたは複数の個々の分析モデルを含むアーキテクチャ－アウェアコストモデルであり、
前記アーキテクチャ－アウェアコストモデルは、前記アーキテクチャを使用して処理されるデータの決定性データフローに基づいて前記アーキテクチャの性能を推定するように構成されている、請求項６に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
背景
本明細書は、概して、機械学習計算を実行するために使用される集積回路に関する。
続きを表示（約 3,100 文字）【背景技術】
【０００２】
ニューラルネットワークは、受信された入力に対して出力、例えば、分類を生成するためにノードの１つまたは複数の層を使用する機械学習モデルである。幾つかのニューラルネットワークは、出力層に加えて１つまたは複数の隠れ層を含む。幾つかのニューラルネットワークは、画像処理のために構成された畳み込みニューラルネットワーク（ＣＮＮ）または発話および言語処理のために構成されたリカレントニューラルネットワーク（ＲＮＮ）であることができる。分類またはパターン認識、データモデリングを伴う予測、および情報クラスタリングに関する様々なタスクを実行するために異なるタイプのニューラルネットワークアーキテクチャを使用することができる。
【０００３】
ニューラルネットワーク層は、パラメータまたは重みの対応するセットを有することができる。重みは、ニューラルネットワーク推論を計算するための層の対応する出力を生成するために、ニューラルネットワーク層を通じて入力（例えば、入力のバッチ）を処理するために使用される。入力のバッチおよびカーネルのセットは、入力および重みのテンソル、即ち多次元アレイとして表すことができる。ハードウェアアクセラレータは、ニューラルネットワークを実装するための専用集積回路である。回路は、回路の制御論理を使用してトラバースまたはアクセスされ得るテンソルの要素に対応するロケーションを有するメモリを含む。
【０００４】
専用ハードウェアアクセラレータを設計することは、労力が大きく、時間がかかる。例えば、設計プロセスはしばしば、数か月の労力を必要とし、多数の設計反復を含むことができる。さらに、特定用途向け性能およびパワーターゲットを満たすために、設計プロセスは、基礎となるハードウェアにターゲットアプリケーションをマップするためのストラテジを必要とする。ニューラルネットワークの計算グラフはスタティックであるが、マッピング労力は、回路の実際の性能に影響する複数の設計パラメータを伴うことができる。また、設計空間のマニュアル探査はしばしば、異なるセッティングおよび異なるパラメータ間の相互関係の途方もない大きさにより法外である。
【発明の概要】
【０００５】
概要
本明細書は、データ処理アーキテクチャをグローバルにチューニングし、チューンされたアーキテクチャに基づいて特定用途向け機械学習（ＭＬ）アクセラレータを自動的に生成するための技術を記載する。アーキテクチャは、アプリケーションレベル目的のセットに基づいて選択される候補アーキテクチャであることができる。例示的なアプリケーションレベル目標は、プロセッサ利用、電力消費、データスループット、およびレイテンシを含むことができる。幾つかの場合、目標は、例示的なＭＬアクセラレータのユーザの所望の性能属性を表す。目標のうちの幾つか（または全て）は、例示的なハードウェアアクセラレータ設計システムへのユーザ入力として受信されてよい。設計システムは、ユーザ入力から独立して目標の１つまたは複数を決定してもよい。
【０００６】
システムは、候補アーキテクチャをグローバルにチューンしかつダイナミックに最適化するためにアプリケーションレベル目標（例えば、１つまたは複数の入力）を使用する。
例えば、アーキテクチャは、電力消費およびプロセッサ利用などのエリアにおける効率を実現するために特定のタイプのニューラルネットワークを動作させるためにチューンおよび最適化されてよい。アクセラレータ設計システムは、アーキテクチャの様々な態様をチューンするために特定アーキテクチャ向けコストモデルを使用する。コストモデルの出力は、アクセラレータの最終構成を規定するために使用される。最適化およびチューニングの後、システムは、ハードウェアにおいて特定のニューラルネットワークを実装するために最適化された特定用途向け（ＭＬ）アクセラレータを生成するために、スケジューリング／マッピングオプションを含む、様々なアーキテクチャフィーチャを含むハードウェア構成を自動的に生成する。
【０００７】
本明細書に記載された主題の１つの態様は、特定用途向け機械学習（ＭＬ）アクセラレータを生成するための、コンピュータが実行する方法において具体化することができる。方法は、ベースラインプロセッサ構成を表すアーキテクチャを選択し、少なくとも、アーキテクチャが、複数の層を含む第１のニューラルネットワークの計算をどのように実行するかをモデリングすることによって、アーキテクチャについての性能データをＭＬコストモデルによって生成することを含む。方法は、性能データに基づいて、アーキテクチャが、第１のニューラルネットワークを実装しかつターゲットアプリケーションのための機械学習計算を実行するときに性能目標を満たすためにアーキテクチャをダイナミックにチューニングすることを含む。方法は、アーキテクチャをダイナミックにチューニングすることに応答してＭＬアクセラレータの構成を生成することも含む。構成は、第１のニューラルネットワークの複数の層のそれぞれを実装するためのカスタマイズされたハードウェア構成を指定する。
【０００８】
これらの実装およびその他の実装はそれぞれ選択的に、以下の特徴のうちの１つまたは複数を含むことができる。例えば、幾つかの実装において、方法は、さらに、カスタマイズされたハードウェア構成に基づいて特定用途向けハードウェアＭＬアクセラレータを生成することを含む。加えて、特定用途向けハードウェアＭＬアクセラレータは、ニューラルネットワークが、目標アプリケーションのための計算を実行するために使用されるとき、ニューラルネットワークの異なる層のそれぞれを実装するように最適化されることができる。
【０００９】
性能目標は、複数の別々の目標を含み、特定用途向けＭＬアクセラレータを生成することは、特定用途向けハードウェアＭＬアクセラレータが目標アプリケーションのための計算を実行するとき複数の別々の目標の各々の別々の目標を満たすように構成された特定用途向けハードウェアＭＬアクセラレータを生成することを含む。幾つかの実装において、性能データを生成することは、ＭＬコストモデルによって、第１のニューラルネットワークの複数の層の各々の層を実行するためにアーキテクチャの使用をモデリングし、各々の層を実行するためにアーキテクチャの使用をモデリングすることに応答して、ＭＬコストモデルによって、複数の層の各々のアーキテクチャの性能パラメータを生成することを含む。
【００１０】
性能パラメータは、複数の別々の目標の各々の別々の目標に対応することができ、複数の別々の目標は、しきい値処理レイテンシ、しきい値電力消費、しきい値データスループット、およびしきい値プロセッサ利用のうちの少なくとも１つを含む。幾つかの実装において、アーキテクチャをダイナミックにチューニングすることは、特定用途向けハードウェアＭＬアクセラレータにハードウェアＭＬアクセラレータのユニットを計算するハードウェアのしきい値パーセンテージを利用させる入力テンソルのための計算のマッピングを決定し、決定されたマッピングに基づいてアーキテクチャをダイナミックにチューニングすることを含む。
（【００１１】以降は省略されています）

関連特許