特許ウォッチ

公開番号2025135176
公報種別公開特許公報(A)
公開日2025-09-18
出願番号2024032849
出願日2024-03-05
発明の名称計算機システム及びデータパイプライン処理の制御方法
出願人株式会社日立製作所
代理人藤央弁理士法人
主分類G06F 9/50 20060101AFI20250910BHJP(計算;計数)
要約【課題】新たなデータパイプラインを追加する場合、既存のデータパイプラインに変更及び影響を与えず、制約時間内にプロセスを完了できるようにデータパイプラインを制御する。
【解決手段】計算機システムは、データレイクサーバと、データベースサーバと、データパイプライン処理を実行する複数のデータパイプラインサーバとを備える。複数のデータパイプラインサーバは、制御データパイプラインサーバと、非制御データパイプラインサーバとを含む。計算機システムは制御情報生成部を有する。制御情報生成部は、データベースサーバから取得した負荷情報及び制御データパイプラインサーバのデータパイプライン処理の進捗情報に基づいて、データベースサーバの負荷が所定の閾値より小さく、かつ、データパイプライン処理が制約時間内に終了可能な制御パラメータを算出し、制御データパイプラインサーバに送信する。
【選択図】図2
特許請求の範囲【請求項１】
ＩｏＴデータを扱う計算機システムであって、
ＩｏＴデータを格納するデータレイクを管理するデータレイクサーバと、
データ処理が行われた前記ＩｏＴデータを格納するデータベースを管理するデータベースサーバと、
前記データレイクからの前記ＩｏＴデータの取得、前記ＩｏＴデータに対する前記データ処理の実行、及び前記データベースへの前記データ処理が行われた前記ＩｏＴデータの書込を行うデータパイプライン処理を実行する複数のデータパイプラインサーバと、
を備え、
前記複数のデータパイプラインサーバは、前記データパイプライン処理の制御が可能な制御データパイプラインサーバと、前記データパイプライン処理の制御が不可能な非制御データパイプラインサーバと、を含み、
前記計算機システムは、前記制御データパイプラインサーバの前記データパイプライン処理を制御するための制御パラメータを調整するための制御情報を生成する制御情報生成部を有し、
前記制御情報生成部は、
前記データベースサーバから負荷情報を取得し、
前記制御データパイプラインサーバから前記データパイプライン処理の制約時間及び進捗状況に関する進捗情報を取得し、
前記負荷情報及び前記進捗状況に基づいて、前記データベースサーバの負荷が所定の閾値より小さく、かつ、前記データパイプライン処理が制約時間内に終了可能な前記制御パラメータ又は前記制御パラメータの範囲を算出し、前記制御パラメータ又は前記制御パラメータの範囲を含む前記制御情報を生成し、
前記制御データパイプラインサーバに前記制御情報を送信することを特徴とする計算機システム。
続きを表示（約 2,800 文字）【請求項２】
請求項１に記載の計算機システムであって、
前記制御情報生成部は、
前記負荷情報に基づいて、前記データベースサーバにかける負荷が所定の閾値より小さくなる前記データパイプライン処理の処理性能を表す第１指標を算出し、
前記進捗状況に基づいて、前記制約時間内に前記データパイプライン処理を終了させるために必要な前記データパイプライン処理の処理性能を表す第２指標を算出し、
前記第１指標及び前記第２指標に基づいて、前記制御パラメータ又は前記制御パラメータの範囲を算出することを特徴とする計算機システム。
【請求項３】
請求項２に記載の計算機システムであって、
複数の前記制御データパイプラインサーバと接続し、前記制御情報生成部を有する制御サーバを含み、
前記制御情報生成部は、
前記負荷情報及び前記複数の制御データパイプラインサーバの各々の前記進捗情報に基づいて、前記複数の制御データパイプラインサーバの各々の前記第２指標を算出し、
前記複数の制御データパイプラインサーバの各々について、前記第１指標及び複数の前記第２指標に基づいて前記制御パラメータ又は前記制御パラメータの範囲を算出することを特徴とする計算機システム。
【請求項４】
請求項２に記載の計算機システムであって、
前記制御情報生成部は、前記制御データパイプラインサーバが有することを特徴とする計算機システム。
【請求項５】
請求項２に記載の計算機システムであって、
前記データパイプライン処理は、
前記データレイクからの前記ＩｏＴデータの取得を行う第１タスクと、
前記ＩｏＴデータに対する前記データ処理の実行及び前記データベースへの前記データ処理が行われた前記ＩｏＴデータの書き込みを行う第２タスクと、
前記第２タスクへ、前記第１タスクによって取得された前記ＩｏＴデータを振り分ける第３タスクと、
を含み、
前記制御情報生成部は、前記第１タスク及び前記第３タスクの少なくともいずれかを制御するための前記制御パラメータ又は前記制御パラメータの範囲を算出することを特徴とする計算機システム。
【請求項６】
請求項５に記載の計算機システムであって、
前記制御情報生成部は、前記第２タスクの並列数又は並列数の範囲、及び、前記データ処理が行われた前記ＩｏＴデータの書き込みが失敗した場合に前記第２タスクを再度実行するための待ち時間又は待ち時間の範囲の少なくともいずれかを算出することを特徴とする計算機システム。
【請求項７】
ＩｏＴデータを扱う計算機システムにおけるデータパイプライン処理の制御方法であって、
前記計算機システムは、
ＩｏＴデータを格納するデータレイクを管理するデータレイクサーバと、
データ処理が行われた前記ＩｏＴデータを格納するデータベースを管理するデータベースサーバと、
前記データレイクからの前記ＩｏＴデータの取得、前記ＩｏＴデータに対する前記データ処理の実行、及び前記データベースへの前記データ処理が行われた前記ＩｏＴデータの書込を行うデータパイプライン処理を実行する複数のデータパイプラインサーバと、
を含み、
前記複数のデータパイプラインサーバは、前記データパイプライン処理の制御が可能な制御データパイプラインサーバと、前記データパイプライン処理の制御が不可能な非制御データパイプラインサーバと、を含み、
前記計算機システムは、前記制御データパイプラインサーバの前記データパイプライン処理を制御するための制御パラメータを調整するための制御情報を生成する制御情報生成部を有し、
前記データパイプライン処理の制御方法は、
前記制御情報生成部が、前記データベースサーバから負荷情報を取得する第１のステップと、
前記制御情報生成部が、前記制御データパイプラインサーバから前記データパイプライン処理の制約時間及び進捗状況に関する進捗情報を取得する第２のステップと、
前記制御情報生成部が、前記負荷情報及び前記進捗状況に基づいて、前記データベースサーバの負荷が所定の閾値より小さく、かつ、前記データパイプライン処理が制約時間内に終了可能な前記制御パラメータ又は前記制御パラメータの範囲を算出し、前記制御パラメータ又は前記制御パラメータの範囲を含む前記制御情報を生成する第３のステップと、
前記制御情報生成部が、前記制御データパイプラインサーバに前記制御情報を送信する第４のステップと、
を含むことを特徴とするデータパイプライン処理の制御方法。
【請求項８】
請求項７に記載のデータパイプライン処理の制御方法であって、
前記第３のステップは、
前記制御情報生成部が、前記負荷情報に基づいて、前記データベースサーバにかける負荷が所定の閾値より小さくなる前記データパイプライン処理の処理性能を表す第１指標を算出する第５のステップと、
前記制御情報生成部が、前記進捗状況に基づいて、前記制約時間内に前記データパイプライン処理を終了させるために必要な前記データパイプライン処理の処理性能を表す第２指標を算出する第６のステップと、
前記制御情報生成部が、前記第１指標及び前記第２指標に基づいて、前記制御パラメータ又は前記制御パラメータの範囲を算出する第７のステップと、を含むことを特徴とするデータパイプライン処理の制御方法。
【請求項９】
請求項８に記載のデータパイプライン処理の制御方法であって、
複数の前記制御データパイプラインサーバと接続し、前記制御情報生成部を有する制御サーバを含み、
前記第６のステップは、前記制御情報生成部が、前記負荷情報及び前記複数の制御データパイプラインサーバの各々の前記進捗情報に基づいて、前記複数の制御データパイプラインサーバの各々の前記第２指標を算出するステップを含み、
前記第７のステップは、前記制御情報生成部が、前記複数の制御データパイプラインサーバの各々について、前記第１指標及び複数の前記第２指標に基づいて前記制御パラメータ又は前記制御パラメータの範囲を算出するステップを含むことを特徴とするデータパイプライン処理の制御方法。
【請求項１０】
請求項８に記載のデータパイプライン処理の制御方法であって、
前記制御情報生成部は、前記制御データパイプラインサーバが有することを特徴とするデータパイプライン処理の制御方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ＩｏＴシステムにおけるデータパイプラインの制御技術に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
ＩｏＴデータを取り扱うＩｏＴシステムには、ＩｏＴデバイスから取得したデータを格納するデータレイクから、データの抽出及び加工を行い、データベースに格納するデータキュレーションプロセスを実行するデータパイプラインが存在する。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－１３９５２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＩｏＴシステムに新たなデータパイプラインを追加する場合、既存のデータパイプラインに変更及び影響を与えないことが要求される。一方、データパイプラインは、制約時間内にプロセスを完了する必要がある。
【０００５】
データパイプラインが、制約時間内にプロエスを完了させるために大量のデータをデータベースへ書き込んだ場合、データベースの負荷が増大し、リトライ及びタイムアウトが発生する。そのため、他のデータパイプラインに影響を与える。一方、データベースの負荷が増大しないようにデータパイプラインによるデータベースへの書込量を制限しすぎると、制約時間内にプロセスを完了できない。したがって、データパイプラインの処理量及びデータベースの負荷を調整する必要がある。
【０００６】
システムで実行される処理の調整を行う技術として特許文献１に記載の技術が知られている。特許文献１には、「情報処理装置が、観測部と、予測部と、調整部と、指示部とを有する。観測部は、分散処理システム上に配置された複数のコンポーネントの内、コンポーネント間に依存関係がある変更対象コンポーネントの負荷実測値を観測する。予測部は、変更対象コンポーネントの負荷実測値に基づき、全ての変更対象コンポーネントの変更処理が完了するまでの負荷予測値を算出する。調整部は、負荷予測値が閾値を超えた場合に変更処理前の変更対象コンポーネントに対して、変更処理の開始を指示する変更指示の送信間隔を調整する。指示部は、調整部にて調整された前記送信間隔に基づき、変更処理前の変更対象コンポーネントに対して前記変更指示を指示する。」ことが記載されている。
【０００７】
特許文献１に記載の技術では、変更対象コンポーネントの制約が考慮されていないため、特許文献１に記載の技術を用いても前述した課題を解決することは難しい。
【課題を解決するための手段】
【０００８】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、ＩｏＴデータを扱う計算機システムであって、ＩｏＴデータを格納するデータレイクを管理するデータレイクサーバと、データ処理が行われた前記ＩｏＴデータを格納するデータベースを管理するデータベースサーバと、前記データレイクからの前記ＩｏＴデータの取得、前記ＩｏＴデータに対する前記データ処理の実行、及び前記データベースへの前記データ処理が行われた前記ＩｏＴデータの書込を行うデータパイプライン処理を実行する複数のデータパイプラインサーバと、を備え、前記複数のデータパイプラインサーバは、前記データパイプライン処理の制御が可能な制御データパイプラインサーバと、前記データパイプライン処理の制御が不可能な非制御データパイプラインサーバと、を含み、前記計算機システムは、前記制御データパイプラインサーバの前記データパイプライン処理を制御するための制御パラメータを調整するための制御情報を生成する制御情報生成部を有し、前記制御情報生成部は、前記データベースサーバから負荷情報を取得し、前記制御データパイプラインサーバから前記データパイプライン処理の制約時間及び進捗状況に関する進捗情報を取得し、前記負荷情報及び前記進捗状況に基づいて、前記データベースサーバの負荷が所定の閾値より小さく、かつ、前記データパイプライン処理が制約時間内に終了可能な前記制御パラメータ又は前記制御パラメータの範囲を算出し、前記制御パラメータ又は前記制御パラメータの範囲を含む前記制御情報を生成し、前記制御データパイプラインサーバに前記制御情報を送信する。
【発明の効果】
【０００９】
本発明によれば、非制御データパイプラインサーバへ影響を与えず、かつ、制約時間内に処理が終了するように、制御データパイプラインサーバのデータパイプライン処理を調整できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【００１０】
実施例１のＩｏＴシステムの構成例を示す図である。
実施例１のＩｏＴシステムの機能構成及び処理の流れを説明する図である。
実施例１のデータパイプラインサーバのハードウェア構成の一例を示す図である。
実施例１の制御データパイプラインサーバにおける処理の流れを説明するシーケンス図である。
実施例１の調整部の制御情報生成部が実行する処理の一例を説明するフローチャートである。
実施例１の負荷情報の一例を示す図である。
実施例１の進捗情報の一例を示す図である。
実施例１の制御パラメータ情報の一例を示す図である。
実施例１の入出力部が提示する画面の一例を示す図である。
実施例２のＩｏＴシステムの機能構成及び処理の流れを説明する図である。
実施例２の調整部の制御情報生成部が実行する処理の一例を説明するフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許