特許ウォッチ

公開番号2024167074
公報種別公開特許公報(A)
公開日2024-11-29
出願番号2024080610
出願日2024-05-17
発明の名称フレキシブル抽出、変換、読み込み(ETL)プロセス
出願人サーモエレクトロンノースアメリカエルエルシー,サーモフィニガンエルエルシー,Thermo Finnigan LLC,ハイケムエス.アール.オー.
代理人個人,個人
主分類G06F 16/25 20190101AFI20241122BHJP(計算;計数)
要約【課題】処理デバイスによって実行される抽出、変換、読み込み(ETL)処理のためのシステム、方法、コンピューティングデバイス及びコンピュータ可読媒体を提供する。
【解決手段】方法は、データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することと、ETL処理キューから、メタデータを含み、かつ、アプリケーションデータに関連するレコード又はデータファイルが処理の準備ができていることを示す信号を受信することと、メタデータを処理して、レコード又はデータファイルの場所を識別し、識別された場所からレコード又はデータファイルを取り出すことによって、ソースデータを決定することと、ターゲットスキーマに従って定義されたビッグデータテーブルにソースデータを提供することと、を含む。
【選択図】図3
特許請求の範囲【請求項１】
処理デバイスによって実行される抽出、変換、読み込み（ＥＴＬ）処理のための方法であって
データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することと、
ＥＴＬ処理キューから、メタデータを含み、かつ、前記アプリケーションデータに関連するレコード又はデータファイルが処理の準備ができていることを示す信号を受信することと、
前記メタデータを処理して前記レコード又は前記データファイルの場所を識別し、前記識別された場所から前記レコード又は前記データファイルを取り出すことによって、ソースデータを決定することと、
前記ターゲットスキーマに従って定義されたテーブルにソースデータを提供することとを含む、方法。
続きを表示（約 720 文字）【請求項２】
前記フィールドマッピングが、アプリケーション又はサーバによって前記データカタログに格納される、請求項１に記載の方法。
【請求項３】
前記アプリケーションは、前記アプリケーションデータを使用するように構成される、請求項２に記載の方法。
【請求項４】
前記アプリケーションが、利用可能であれば、新しいレコード又は新しいソースデータファイルを前記データカタログに登録するように構成される、請求項２に記載の方法。
【請求項５】
前記レコード又は前記データファイルが、前記アプリケーションによる処理の準備ができているものとして、前記データカタログに登録されている、請求項２に記載の方法。
【請求項６】
前記レコード又は前記データファイルは、前記データカタログによって前記ターゲットスキーマと整合されている、請求項５に記載の方法。
【請求項７】
前記信号は、前記データカタログによって、前記ＥＴＬ処理キューに挿入される、請求項５に記載の方法。
【請求項８】
前記フィールドマッピングは、前記アプリケーションデータの種類に従って定義される、請求項７に記載の方法。
【請求項９】
前記アプリケーションデータの前記種類に一致する前記レコード又は前記データファイルの種類に基づいて、前記信号は、前記データカタログによって挿入される、請求項８に記載の方法。
【請求項１０】
前記ターゲットスキーマは、前記データカタログ内のターゲットテーブルに展開される、請求項１に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０２３年５月１９日に出願された米国仮特許出願第６３／５０３，３９９号の通常出願であり、この利益を主張し、その全内容は参照により本明細書で援用される。
続きを表示（約 3,700 文字）【０００２】
（発明の分野）
データ分析における近年の考え方によれば、ビッグデータストアのデータを変換する必要性は、抽出、変換、読み込み（extract, transform, and load、ＥＴＬ）の慣行に従って、大幅に削減される。一般に、ＥＴＬは、複数のデータソースからのデータを、データウェアハウス、又は他のターゲットシステムにロードされる単一の一貫したデータストアに組み合わせる、データ統合プロセスである。ＥＴＬプロセスは、データ分析、及び機械学習ワークストリームの基礎を提供する。一連の論理ルールを通して、ＥＴＬプロセスは、特定の情報のニーズに対処するだけでなく、バックエンドプロセス、又はエンドユーザ体験を向上させ得る、より高度な分析にも対応するように、データをクレンジングし、整理する。
【発明の概要】
【０００３】
本明細書に開示されるのは、システム、並びに関連する方法、コンピューティングデバイス、及びコンピュータ可読媒体である。例えば、いくつかの実施形態では、処理デバイスによって実行されるＥＴＬ処理のための方法は、データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することと、ＥＴＬ処理キューから、メタデータを含み、かつ、アプリケーションデータに関連するレコード、又はデータファイルが処理の準備ができていることを示す信号を受信することと、メタデータを処理して、レコード又はデータファイルの場所を識別し、識別された場所からレコード又はデータファイルを取り出すことによって、ソースデータを決定することと、ターゲットスキーマに従って定義されたビッグデータテーブルにソースデータを提供することと、を含む。
【図面の簡単な説明】
【０００４】
実施形態は、添付図面と併せて以下の詳細な説明により容易に理解されるであろう。本説明を容易にするために、同様の参照数字は、同様の構造要素を示す。実施形態は、添付図面の図において、限定するものとしてではなく、例として示されている。
様々な実施形態に係る、例示的なコンテナ図を示す。
様々な実施形態に係る、フレキシブルＥＴＬ処理用の例示的な支援モジュールのブロック図である。
様々な実施形態に係る、フレキシブルＥＴＬ処理を提供するための例示的な方法のフロー図である。
様々な実施形態に係る、本明細書で開示される支援方法の一部、又は全ての実行で使用され得る、グラフィカルユーザインターフェイスの一例である。
様々な実施形態に係る、本明細書で開示される支援方法の一部、又は全てを実行し得る、例示的なコンピューティングデバイスのブロック図である。
【発明を実施するための形態】
【０００５】
データ分析では、通常、特定のユースケースを支援するために、膨大なカスタムモデリングを必要とする。オンライン分析処理（online analytical processing、ＯＬＡＰ）構造が広範囲のユースケースを支援するために作成されるデータウェアハウジングでさえも、これらの構造をモデリングし、ＥＴＬパイプラインにデータを投入するには、その範囲の適用性を提供するために、データソースに関する特定の知識と、ファクトテーブル及びディメンジョンテーブルのカスタムモデリングが必要である。更に、プラットフォームチームがこのカスタムモデリング、及び専用パイプライン開発を担う場合、チームはカスタム開発の際限のないサイクルに陥り、プラットフォームの展開を複雑にして、プラットフォームの採用を妥協する恐れがある。
【０００６】
その上、データをビッグデータストアに移動させることは、ＥＴＬジョブのカスタムコーディング、及びスケジューリングを必要とすることが多い。同様に、データカタログ内のデータ系統を追跡するには、データマッピングを取り出すためにデータカタログをデータコネクタ、及び／又はＥＴＬツールにリンクする必要がある。そうでなければ、データ系統の手動キュレーションが必要になり得る。通常、こうした技術は、従来のエンタープライズビッグデータストアを管理する際に、採用される。しかしながら、こうしたエンタープライズデータ技術を適用することによって、データプラットフォーム上でビッグデータを管理することは、特に効率的でも、管理可能でもない。いくつかの実施形態では、本明細書に記載される技術は、従来のエンタープライズデータ技術における動作の順序を逆転させることによって、こうした問題を解決する。例えば、いくつかの実施形態において、データ系統は、最初にデータカタログ内に構成され、それによって、ＥＴＬプロセスが実装するデータ移動を定義する。これにより、様々なデータソース、データ種類、及び／又は、ターゲットシステムにわたって幅広く適用可能、かつ／又は拡張され得るＥＴＬジョブをフレキシブルに定義できる。したがって、本明細書に記載されるフレキシブルＥＴＬプロセスは、必要とされるカスタムコーディングの量を低減させることができる。更に、データ系統がデータカタログにおいて最初に定義されるので、こうしたデータ関係のキュレーションは、正確で、最新のままであり得る。
【０００７】
したがって、記載のシステム、及び方法は、データカタログのデータ系統機能を採用する、フレキシブルＥＴＬプロセスを提供する。一般に、採用されるデータ系統は、ＥＴＬプロセスによって必要とされるデータマッピングを定義し、データがファイル、又は運用データベースなどのデータソースから、例えば、ビッグデータテーブルにどのように移動するかを追跡する。いくつかの実施形態では、フレキシブルＥＴＬプロセスは、データカタログからのデータソース、及びターゲットに関するメタデータを使用して、カスタムコーディング無しに、入力データをソースからターゲットに移動させる。フレキシブルＥＴＬプロセスを実装すると、分析及び報告目的用に新しいデータソースを取り込むために必要とされる手間の度合が減少する。更に、フレキシブルＥＴＬプロセスを実装すると、新しいデータソースとの統合が加速し、維持するコードの量が低減され、かつ／又は、新しいデータカタログと自動的に整合される。更に、汎用ＥＴＬを実装すると、レイテンシ及びメモリ要件が低減され、運用データベースの最適化が促進される。
【０００８】
いくつかの実施形態において、記載のフレキシブルＥＴＬプロセスを使用して、バッチ処理で各ファイルを個別に読み取る必要なく、多数の別個のデータファイルにわたってデータをクエリする機能を提供する必要性に対処し、様々なソースからのデータを効率的に結合し、必ずしも特定のアプリケーションに依存しないユースケースに対処するために、ダッシュボードでデータを視覚化する機能を提供する。
【０００９】
本明細書に記載されるフレキシブルＥＴＬプロセスを実装することにより、ＥＴＬ、データレイク、レイクショアマート、及びビジネスインテリジェンスなど、全てが企業コンピューティングの典型的な構成要素とされる、多くの従来の情報技術分野が改善される。こうした技術を展開することは、企業環境において一般的であり得るように、複数の展開モデルを利用し、アラートに即時に対応する専用サポートスタッフが不足しているプラットフォームでは困難となる。更に、必要に応じて、追加のコモディティハードウェアをクラスタに追加することが比較的簡単であり得る企業展開とは異なり、性能を向上させるために、こうした展開をスケーリングすることも困難であり得る。その結果、本明細書に記載されるフレキシブルＥＴＬプロセス、及び関連アーキテクチャは、最小限のリソースを使用して性能を最大化する一方、データの一貫性、及び／又は可用性を維持するための定期的な支援の必要性を大幅に低減し、かつ／又は無くす。
【００１０】
ソースファイルからクエリ可能テーブルへのデータ移動を追跡する必要性は、データカタログ形式でプラットフォーム内のデータを記述する必要性と一致する。こうした問題、及び他の技術的問題に対処するために、フレキシブルＥＴＬプロセスは、ソースデータファイルとターゲットテーブルとの間のマッピングを維持することにより、ビッグデータストアへのデータ転送がどのように実行されるべきかを示すことが可能となる。更に、フレキシブルＥＴＬプロセスは、プラットフォーム内のデータ移動に関する来歴情報を提供する。更に、データカタログ内の文書種類、関連付けられたスキーマ、及びデータフィールドの表現には、当該データの意味を定義するセマンティック情報が付随しているので、プラットフォーム内外のデータの互換性が可能になる。
（【００１１】以降は省略されています）

関連特許