特許ウォッチ

公開番号2025177313
公報種別公開特許公報(A)
公開日2025-12-05
出願番号2024084014
出願日2024-05-23
発明の名称実行ハードウエア決定方法
出願人株式会社日立製作所
代理人弁理士法人サンネクスト国際特許事務所
主分類G06F 9/50 20060101AFI20251128BHJP(計算;計数)
要約【課題】ニューラルネットワークモデル実行ハードウエアの選択方法を提供する。
【解決手段】方法は、ニューラルネットワークモデルのユースケース、パフォーマンス条件及び実行ハードウエアの候補ハードウエア制約が記述されたユーザクエリを読み取るクエリ受信処理S201、候補ハードウエアの制約およびパフォーマンス条件の大部分を満たすニューラルネットワークモデルである標準モデルをモデルデータベースから検索する検索処理S202、エネルギー予想モデルにユーザクエリに基づく標準モデルのパフォーマンスメトリック及び候補ハードウエア制約入力から候補ハードウエアにおけるエネルギー消費量を得る試算処理S203並びに得られたエネルギー消費量及び候補ハードウエアに供給されるエネルギーにおける再生可能エネルギーの割合に基づき、ユーザクエリに対応するワークロードを実行する実行ハードウエアを決定する決定処理S204～206と含む。
【選択図】図8
特許請求の範囲【請求項１】
ニューラルネットワークモデルを実行するハードウエアである実行ハードウエアをコンピュータが決定する実行ハードウエア決定方法であって、
ニューラルネットワークモデルのユースケース、パフォーマンス条件、および前記実行ハードウエアの候補である候補ハードウエアの制約が記述されたユーザクエリを読み取るクエリ受信処理と、
前記候補ハードウエアの制約、および前記パフォーマンス条件の大部分を満たすニューラルネットワークモデルである標準モデルをモデルデータベースから検索する検索処理と、
エネルギー予測モデルに前記ユーザクエリに基づく前記標準モデルのパフォーマンスメトリックおよび前記候補ハードウエアの制約を入力し、前記候補ハードウエアにおけるエネルギー消費量を得る試算処理と、
得られた前記エネルギー消費量、および前記候補ハードウエアに供給されるエネルギーにおける再生可能エネルギーの割合であるグリーン電力比に基づき、前記ユーザクエリに対応するワークロードを実行する前記実行ハードウエアを決定する決定処理と、を含む実行ハードウエア決定方法。
続きを表示（約 940 文字）【請求項２】
請求項１に記載の実行ハードウエア決定方法であって、
前記標準モデルを前記実行ハードウエアに対して最適化することで最適化済モデルを生成する最適化処理をさらに含む、実行ハードウエア決定方法。
【請求項３】
請求項１に記載の実行ハードウエア決定方法であって、
前記モデルデータベースには、ニューラルネットワークモデルごとの、ユースケース、モデル性能、およびハードウエア仕様が含まれる実行ハードウエア決定方法。
【請求項４】
請求項１に記載の実行ハードウエア決定方法であって、
前記エネルギー予測モデルを生成するエネルギー予測モデル生成処理をさらに含み、
前記エネルギー予測モデル生成処理は、
利用可能な前記候補ハードウエアを列挙する列挙処理と、
列挙した前記候補ハードウエアのそれぞれを用いて、ダミーデータセットおよび前記標準モデルを用いてテスト演算を実行して、パフォーマンスおよびエネルギー消費量を測定する測定処理と、
前記候補ハードウエアのハードウエア構成および前記測定処理において測定した前記パフォーマンスを入力とし、前記測定処理において測定した前記エネルギー消費量を出力とする前記エネルギー予測モデルを生成する生成処理とを含む、実行ハードウエア決定方法。
【請求項５】
請求項２に記載の実行ハードウエア決定方法であって、
前記最適化済モデルを前記実行ハードウエアにおいて実行させる実行処理と、
前記候補ハードウエアにおける前記グリーン電力比に変化があると、前記決定処理および前記最適化処理を再度実行する実行中最適化処理をさらに含む、実行ハードウエア決定方法。
【請求項６】
請求項２に記載の実行ハードウエア決定方法であって、
前記最適化処理には、モデル圧縮技術を含む、実行ハードウエア決定方法。
【請求項７】
請求項１に記載の実行ハードウエア決定方法であって、
インターネットからデータを収集して前記モデルデータベースを作成するモデルデータベース作成処理をさらに含む、実行ハードウエア決定方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、実行ハードウエア決定方法に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
ニューラルネットワークモデルは、実行するハードウエアにあわせて最適化することが望ましい。特許文献１には、機械学習モデルをトレーニングおよび最適化する方法であって、最適化のために機械学習モデルを選択するステップと、機械学習モデルの派生バリアントのセットを生成するステップと、導出された変種の各々について、派生バリアント内の数値パラメータを量子化するステップと、派生バリアントをコンパイルしてランタイムアーティファクトを生成することと、派生バリアントのセットをターゲットハードウエアアーキテクチャ内でのレイテンシについて評価し、レイテンシ基準を満たす１つ以上の派生バリアントを特定することと、１つ以上のバリアントのみをトレーニングすることと、訓練された１つまたは複数のバリアントの精度を評価することを含む方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
米国特許出願公開第２０２３／０２９７８３５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されている発明では、ブラウンエネルギーの消費量の観点からニューラルネットワークモデルの実行に適したハードウエアを選択できない。
【課題を解決するための手段】
【０００５】
本発明の第１の態様による実行ハードウエア決定方法は、ニューラルネットワークモデルを実行するハードウエアである実行ハードウエアをコンピュータが決定する実行ハードウエア決定方法であって、ニューラルネットワークモデルのユースケース、パフォーマンス条件、および前記実行ハードウエアの候補である候補ハードウエアの制約が記述されたユーザクエリを読み取るクエリ受信処理と、前記候補ハードウエアの制約、および前記パフォーマンス条件の大部分を満たすニューラルネットワークモデルである標準モデルをモデルデータベースから検索する検索処理と、エネルギー予測モデルに前記ユーザクエリに基づく前記標準モデルのパフォーマンスメトリックおよび前記候補ハードウエアの制約を入力し、前記候補ハードウエアにおけるエネルギー消費量を得る試算処理と、得られた前記エネルギー消費量、および前記候補ハードウエアに供給されるエネルギーにおける再生可能エネルギーの割合であるグリーン電力比に基づき、前記ユーザクエリに対応するワークロードを実行する前記実行ハードウエアを決定する決定処理と、を含む。
【発明の効果】
【０００６】
本発明によれば、ブラウンエネルギーの消費量の観点からニューラルネットワークモデルの実行に適したハードウエアを選択できる。
【図面の簡単な説明】
【０００７】
実行ハードウエア決定システムを含む全体構成図
実行ハードウエア決定システムの構成図
ユーザクエリの一例を示す図
モデルデータベースの一例を示す図
グリーン電力比表の一例を示す図
プログラムおよびニューラルネットワークモデルの相関を示す図
予測モデルの生成方法を示すフローチャート
実行ハードウエア決定処理を示すフローチャート
実行ハードウエア決定プログラムの計算例を示す図
最適化処理を示すフローチャート
コンソールに表示されるユーザインタフェースの一例を示す図
変形例１における実行中最適化処理を示すフローチャート
【発明を実施するための形態】
【０００８】
本明細書では、再生可能エネルギーを用いて生成した電気を「グリーン電力」と呼び、再生可能エネルギー以外を用いて生成した電気を「ブラウン電力」と呼ぶ。また以下では、グリーン電力とブラウン電力の比率を「グリーン電力比」と呼ぶ。電力構成比はたとえば０～１の値であり、０は全てがブラウン電力を意味し、１は全てがグリーン電力を意味し、０．５はブラウン電力とグリーン電力が半分ずつであることを意味する。たとえば風力、地熱、太陽光などを用いて生成された電気がグリーン電力であり、化石燃料を用いて生成された電気がブラウン電力である。本明細書では、ニューラルネットワークモデルを特定のハードウエアに対して最適化したモデルを「最適化済モデル」と呼び、最適化していないモデルを「標準モデル」と呼ぶ。
【０００９】
―実施の形態―
以下、図１～図１１を参照して、実行ハードウエア決定システムの実施の形態を説明する。
【００１０】
図１は、実行ハードウエア決定システム４００を含む全体構成図である。実行ハードウエア決定システム４００は、第１推論ハードウエア１００－１、第２推論ハードウエア１００－２、・・・、第Ｎ推論ハードウエア１００－Ｎ、およびクライアント５００とネットワーク６００を介して接続される。以下では、第１推論ハードウエア１００－１、第２推論ハードウエア１００－２、・・・、および第Ｎ推論ハードウエア１００－Ｎをまとめて推論ハードウエア１００と呼ぶ。それぞれの推論ハードウエア１００は、ハードウエア構成、電力構成比、および電力定格の少なくとも１つが異なる。それぞれの推論ハードウエア１００は、同一のデータセンターに配置されてもよいし、異なるデータセンターに配置されてもよい。
（【００１１】以降は省略されています）

関連特許