特許ウォッチ

公開番号2024169214
公報種別公開特許公報(A)
公開日2024-12-05
出願番号2023086498
出願日2023-05-25
発明の名称リソース最適化システム、及びリソース最適化方法
出願人株式会社日立製作所
代理人藤央弁理士法人
主分類G06F 9/50 20060101AFI20241128BHJP(計算;計数)
要約【課題】スケーリングが可能な分散分析基盤を用いてタスク実行を処理の中に複数持つアプリケーションにおいて、分散分析処理をする際に、アプリケーション実行の総完了の時間及びリソースの利用効率のバランスのとれた最適なリソース量を各タスクに対して瞬時に判断する。
【解決手段】リソース最適化システムは、1以上の演算装置と、1以上のメモリリソースと、1以上の記憶装置と、を備え、前記演算装置は、アプリケーションが実行する処理を表すソースコードの中からリソース最適化処理の対象となる対象タスクを検出し、前記対象タスクに対する入力データのデータ量を測定し、測定した前記データ量、及びリソース量推定モデルに基づいて、前記対象タスクの実行時間を短縮するために最適なリソース量を推定することを特徴とする。
【選択図】図1
特許請求の範囲【請求項１】
リソース最適化システムであって、
１以上の演算装置と、１以上のメモリリソースと、１以上の記憶装置と、を備え、
前記演算装置は、
アプリケーションが実行する処理を表すソースコードの中からリソース最適化処理の対象となる対象タスクを検出し、
前記対象タスクに対する入力データのデータ量を測定し、
測定した前記データ量、及びリソース量推定モデルに基づいて、前記対象タスクの実行時間を短縮するために最適なリソース量を推定する
ことを特徴とするリソース最適化システム。
続きを表示（約 1,300 文字）【請求項２】
請求項１に記載のリソース最適化システムであって、
前記演算装置は、
推定した前記リソース量に従い、分散分析基盤のリソース量を調整し、前記分散分析基盤に前記対象タスクを実行させる
ことを特徴とするリソース最適化システム。
【請求項３】
請求項２に記載のリソース最適化システムであって、
前記演算装置は、
前記分散分析基盤のリソース量を調整している期間、前記ソースコードに対応する処理をホールドする
ことを特徴とするリソース最適化システム。
【請求項４】
請求項２に記載のリソース最適化システムであって、
前記演算装置は、
前記分散分析基盤を監視し、監視結果を保持する
ことを特徴とするリソース最適化システム。
【請求項５】
請求項１に記載のリソース最適化システムであって、
１以上の前記対象タスクにそれぞれ対応する前記リソース量推定モデルが格納されたリソース量推定モデルデータベース、を備える
ことを特徴とするリソース最適化システム。
【請求項６】
請求項５に記載のリソース最適化システムであって、
前記演算装置は、
前記ソースコードから検出した前記対象タスクに対応する前記リソース量推定モデルを前記リソース量推定モデルデータベースの中から選定し、測定した前記データ量、及び選定した前記リソース量推定モデルに基づいて、前記対象タスクの実行時間を短縮するために最適なリソース量を推定する
ことを特徴とするリソース最適化システム。
【請求項７】
請求項２に記載のリソース最適化システムであって、
前記演算装置は、
前記分散分析基盤によって前記対象タスクを実行した際のデータ量、リソース量、及び実行時間を学習データとして前記リソース量推定モデルを再学習する
ことを特徴とするリソース最適化システム。
【請求項８】
請求項１に記載のリソース最適化システムであって、
前記演算装置は、
データ量が異なる複数のサンプル入力データと、複数のリソース量との組み合わせを適用して前記対象タスクを実行し、データ量、リソース量、及び実行時間を学習データとして前記リソース量推定モデルを生成する
ことを特徴とするリソース最適化システム。
【請求項９】
リソース最適化システムによるリソース最適化方法であって、
前記リソース最適化システムは、１以上の演算装置と、１以上のメモリリソースと、１以上の記憶装置と、を有し、
前記リソース最適化方法は、
前記演算装置が、アプリケーションが実行する処理を表すソースコードの中からリソース最適化処理の対象となる対象タスクを検出するステップと、
前記演算装置が、前記対象タスクに対する入力データのデータ量を測定するステップと、
前記演算装置が、測定した前記データ量、及びリソース量推定モデルに基づいて、前記対象タスクの実行時間を短縮するために最適なリソース量を推定するステップと、
を含むことを特徴とするリソース最適化方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、リソース最適化システム、及びリソース最適化方法に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
分散分析基盤のリソース量を推定する技術に関し、例えば特許文献１には「分散型システムのリソーススケジューリングの方法及び装置を開示する。この装置は、ユーザの要求に応じてタスクの総完了の時間及びコストのバランスをとり、リソース利用率向上ならびにタスク実行の加速を図る。タスクに対するユーザの処理要求に応じるため、装置にタスクが新規で入力された際、タスク処理要求を評価して優先度を付与し、その優先度に対応するスケジューリング待ち行列にタスクを割り振り、優先度が高い待ち行列から予め設定されたポリシーに従って分散ノードリソースに割り当てる。待ち行列はそれが有するタスクの待ち時間や重み係数（ユーザーの希望値）等から評価関数を算出し、他の待ち行列と評価関数を比較することで、待ち行列間で実行の優先順位が決まる。」と記載されている。
【０００３】
また、非特許文献１には「クラウド指向のシステムにおいて運用コスト削減のためビッグデータ分析におけるリソース割当の最適化の方法及び装置を開示する。この装置は、処理実行の前段階にあるタスクに対するリソース割当量と性能（処理時間）の関係を表す性能特性曲線を算出し、前記タスク実行時に最適リソース割当を推定する。リソース量が多くなればなるほど性能向上の変化が逓減することより性能特性曲線は指数関数的減衰となるとみなし、学習データから近似線を見つけることで個々のタスクの性能特性を表す。学習データは、計算コスト削減のため独自のデータ拡張技術を用いてわずかな実データから十分な学習データを生成する。またここでは、処理性能の低下や待ち時間の増加等を防ぐために、ピークリソース（リソースの利用率が１０割に近い、もしくは規定の制限値に近いリソース）へのタスクの割り当てを避け、リソースコストとランタイムを最適にトレードオフする、最大リソース量を最適リソース割当とする。」と記載されている。
【先行技術文献】
【特許文献】
【０００４】
中国特許出願公開１０８３４５５０１号明細書
【非特許文献】
【０００５】
ＡｎｉｓｈＰｉｍｐｌｅｙ，ＳｈｕｏＬｉ，ＲａｔｈｉｊｉｔＳｅｎ，ＳｏｕｎｄａｒａｒａｊａｎＳｒｉｎｉｖａｓａｎ，ＡｌｅｋｈＪｉｎｄａｌ， ”ＴｏｗａｒｄｓＯｐｔｉｍａｌＲｅｓｏｕｒｃｅＡｌｌｏｃａｔｉｏｎｆｏｒＢｉｇＤａｔａＡｎａｌｙｔｉｃｓ”，ＯｐｅｎＰｒｏｃｅｅｄｉｎｇｓ．ｏｒｇ，ＩＳＢＮ：９７８－３－８９３１８－０８５－７，ＥｌｅｃｔｒｏｎｉｃＥｄｉｔｉｏｎ，ｐ．３３８－３５０（２０２２）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に記載の技術は、分散処理ではデータの分散に伴う転送遅延等のオーバーヘッドあり、当該オーバーヘッドは分析対象のデータ量に依存するにも拘わらず、与えるタスクは単一、且つ入力されるデータは一定の容量であると仮定している。そのため、実環境で運用する分散分析アプリケーションに適用することができない。また、分析対象のデータ量が変わる場合は適切に予測できない。加えて、分析するデータ量は本番環境でリクエストを受け付けるまで分からない。
【０００７】
特許文献１に記載の技術は、現状あるリソースの中から処理を最短化するスケジューリング手法を探索するものであるため、リソース量が可変な分散分析基盤において最適なスケジュール方法を見つけることができない。
【０００８】
非特許文献１に記載の技術、及び特許文献１に記載の技術は、処理の中で分散分析を複数回行うような分析アプリケーションを対象とした場合、リソースを最適化できるのは特定の分散分析に限られてしまう。
【０００９】
本発明は、前述の点に鑑みてなされたものであり、スケーリングが可能な分散分析基盤を用いたタスク実行を処理の中に複数持つアプリケーションにおいて、分散分析処理をする際に、アプリケーション実行の総完了の時間及びコストのバランスをとり、最適なリソース量を各タスクに対して短時間で判断できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本願は、前述した課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。
（【００１１】以降は省略されています）

関連特許