TOP特許意匠商標
特許ウォッチ Twitter
公開番号2024167074
公報種別公開特許公報(A)
公開日2024-11-29
出願番号2024080610
出願日2024-05-17
発明の名称フレキシブル抽出、変換、読み込み(ETL)プロセス
出願人サーモ エレクトロン ノース アメリカ エルエルシー,サーモ フィニガン エルエルシー,Thermo Finnigan LLC,ハイ ケム エス.アール.オー.
代理人個人,個人
主分類G06F 16/25 20190101AFI20241122BHJP(計算;計数)
要約【課題】処理デバイスによって実行される抽出、変換、読み込み(ETL)処理のためのシステム、方法、コンピューティングデバイス及びコンピュータ可読媒体を提供する。
【解決手段】方法は、データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することと、ETL処理キューから、メタデータを含み、かつ、アプリケーションデータに関連するレコード又はデータファイルが処理の準備ができていることを示す信号を受信することと、メタデータを処理して、レコード又はデータファイルの場所を識別し、識別された場所からレコード又はデータファイルを取り出すことによって、ソースデータを決定することと、ターゲットスキーマに従って定義されたビッグデータテーブルにソースデータを提供することと、を含む。
【選択図】図3
特許請求の範囲【請求項1】
処理デバイスによって実行される抽出、変換、読み込み(ETL)処理のための方法であって
データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することと、
ETL処理キューから、メタデータを含み、かつ、前記アプリケーションデータに関連するレコード又はデータファイルが処理の準備ができていることを示す信号を受信することと、
前記メタデータを処理して前記レコード又は前記データファイルの場所を識別し、前記識別された場所から前記レコード又は前記データファイルを取り出すことによって、ソースデータを決定することと、
前記ターゲットスキーマに従って定義されたテーブルにソースデータを提供することとを含む、方法。
続きを表示(約 720 文字)【請求項2】
前記フィールドマッピングが、アプリケーション又はサーバによって前記データカタログに格納される、請求項1に記載の方法。
【請求項3】
前記アプリケーションは、前記アプリケーションデータを使用するように構成される、請求項2に記載の方法。
【請求項4】
前記アプリケーションが、利用可能であれば、新しいレコード又は新しいソースデータファイルを前記データカタログに登録するように構成される、請求項2に記載の方法。
【請求項5】
前記レコード又は前記データファイルが、前記アプリケーションによる処理の準備ができているものとして、前記データカタログに登録されている、請求項2に記載の方法。
【請求項6】
前記レコード又は前記データファイルは、前記データカタログによって前記ターゲットスキーマと整合されている、請求項5に記載の方法。
【請求項7】
前記信号は、前記データカタログによって、前記ETL処理キューに挿入される、請求項5に記載の方法。
【請求項8】
前記フィールドマッピングは、前記アプリケーションデータの種類に従って定義される、請求項7に記載の方法。
【請求項9】
前記アプリケーションデータの前記種類に一致する前記レコード又は前記データファイルの種類に基づいて、前記信号は、前記データカタログによって挿入される、請求項8に記載の方法。
【請求項10】
前記ターゲットスキーマは、前記データカタログ内のターゲットテーブルに展開される、請求項1に記載の方法。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
(関連出願の相互参照)
本願は、2023年5月19日に出願された米国仮特許出願第63/503,399号の通常出願であり、この利益を主張し、その全内容は参照により本明細書で援用される。
続きを表示(約 3,700 文字)【0002】
(発明の分野)
データ分析における近年の考え方によれば、ビッグデータストアのデータを変換する必要性は、抽出、変換、読み込み(extract, transform, and load、ETL)の慣行に従って、大幅に削減される。一般に、ETLは、複数のデータソースからのデータを、データウェアハウス、又は他のターゲットシステムにロードされる単一の一貫したデータストアに組み合わせる、データ統合プロセスである。ETLプロセスは、データ分析、及び機械学習ワークストリームの基礎を提供する。一連の論理ルールを通して、ETLプロセスは、特定の情報のニーズに対処するだけでなく、バックエンドプロセス、又はエンドユーザ体験を向上させ得る、より高度な分析にも対応するように、データをクレンジングし、整理する。
【発明の概要】
【0003】
本明細書に開示されるのは、システム、並びに関連する方法、コンピューティングデバイス、及びコンピュータ可読媒体である。例えば、いくつかの実施形態では、処理デバイスによって実行されるETL処理のための方法は、データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することと、ETL処理キューから、メタデータを含み、かつ、アプリケーションデータに関連するレコード、又はデータファイルが処理の準備ができていることを示す信号を受信することと、メタデータを処理して、レコード又はデータファイルの場所を識別し、識別された場所からレコード又はデータファイルを取り出すことによって、ソースデータを決定することと、ターゲットスキーマに従って定義されたビッグデータテーブルにソースデータを提供することと、を含む。
【図面の簡単な説明】
【0004】
実施形態は、添付図面と併せて以下の詳細な説明により容易に理解されるであろう。本説明を容易にするために、同様の参照数字は、同様の構造要素を示す。実施形態は、添付図面の図において、限定するものとしてではなく、例として示されている。
様々な実施形態に係る、例示的なコンテナ図を示す。
様々な実施形態に係る、フレキシブルETL処理用の例示的な支援モジュールのブロック図である。
様々な実施形態に係る、フレキシブルETL処理を提供するための例示的な方法のフロー図である。
様々な実施形態に係る、本明細書で開示される支援方法の一部、又は全ての実行で使用され得る、グラフィカルユーザインターフェイスの一例である。
様々な実施形態に係る、本明細書で開示される支援方法の一部、又は全てを実行し得る、例示的なコンピューティングデバイスのブロック図である。
【発明を実施するための形態】
【0005】
データ分析では、通常、特定のユースケースを支援するために、膨大なカスタムモデリングを必要とする。オンライン分析処理(online analytical processing、OLAP)構造が広範囲のユースケースを支援するために作成されるデータウェアハウジングでさえも、これらの構造をモデリングし、ETLパイプラインにデータを投入するには、その範囲の適用性を提供するために、データソースに関する特定の知識と、ファクトテーブル及びディメンジョンテーブルのカスタムモデリングが必要である。更に、プラットフォームチームがこのカスタムモデリング、及び専用パイプライン開発を担う場合、チームはカスタム開発の際限のないサイクルに陥り、プラットフォームの展開を複雑にして、プラットフォームの採用を妥協する恐れがある。
【0006】
その上、データをビッグデータストアに移動させることは、ETLジョブのカスタムコーディング、及びスケジューリングを必要とすることが多い。同様に、データカタログ内のデータ系統を追跡するには、データマッピングを取り出すためにデータカタログをデータコネクタ、及び/又はETLツールにリンクする必要がある。そうでなければ、データ系統の手動キュレーションが必要になり得る。通常、こうした技術は、従来のエンタープライズビッグデータストアを管理する際に、採用される。しかしながら、こうしたエンタープライズデータ技術を適用することによって、データプラットフォーム上でビッグデータを管理することは、特に効率的でも、管理可能でもない。いくつかの実施形態では、本明細書に記載される技術は、従来のエンタープライズデータ技術における動作の順序を逆転させることによって、こうした問題を解決する。例えば、いくつかの実施形態において、データ系統は、最初にデータカタログ内に構成され、それによって、ETLプロセスが実装するデータ移動を定義する。これにより、様々なデータソース、データ種類、及び/又は、ターゲットシステムにわたって幅広く適用可能、かつ/又は拡張され得るETLジョブをフレキシブルに定義できる。したがって、本明細書に記載されるフレキシブルETLプロセスは、必要とされるカスタムコーディングの量を低減させることができる。更に、データ系統がデータカタログにおいて最初に定義されるので、こうしたデータ関係のキュレーションは、正確で、最新のままであり得る。
【0007】
したがって、記載のシステム、及び方法は、データカタログのデータ系統機能を採用する、フレキシブルETLプロセスを提供する。一般に、採用されるデータ系統は、ETLプロセスによって必要とされるデータマッピングを定義し、データがファイル、又は運用データベースなどのデータソースから、例えば、ビッグデータテーブルにどのように移動するかを追跡する。いくつかの実施形態では、フレキシブルETLプロセスは、データカタログからのデータソース、及びターゲットに関するメタデータを使用して、カスタムコーディング無しに、入力データをソースからターゲットに移動させる。フレキシブルETLプロセスを実装すると、分析及び報告目的用に新しいデータソースを取り込むために必要とされる手間の度合が減少する。更に、フレキシブルETLプロセスを実装すると、新しいデータソースとの統合が加速し、維持するコードの量が低減され、かつ/又は、新しいデータカタログと自動的に整合される。更に、汎用ETLを実装すると、レイテンシ及びメモリ要件が低減され、運用データベースの最適化が促進される。
【0008】
いくつかの実施形態において、記載のフレキシブルETLプロセスを使用して、バッチ処理で各ファイルを個別に読み取る必要なく、多数の別個のデータファイルにわたってデータをクエリする機能を提供する必要性に対処し、様々なソースからのデータを効率的に結合し、必ずしも特定のアプリケーションに依存しないユースケースに対処するために、ダッシュボードでデータを視覚化する機能を提供する。
【0009】
本明細書に記載されるフレキシブルETLプロセスを実装することにより、ETL、データレイク、レイクショアマート、及びビジネスインテリジェンスなど、全てが企業コンピューティングの典型的な構成要素とされる、多くの従来の情報技術分野が改善される。こうした技術を展開することは、企業環境において一般的であり得るように、複数の展開モデルを利用し、アラートに即時に対応する専用サポートスタッフが不足しているプラットフォームでは困難となる。更に、必要に応じて、追加のコモディティハードウェアをクラスタに追加することが比較的簡単であり得る企業展開とは異なり、性能を向上させるために、こうした展開をスケーリングすることも困難であり得る。その結果、本明細書に記載されるフレキシブルETLプロセス、及び関連アーキテクチャは、最小限のリソースを使用して性能を最大化する一方、データの一貫性、及び/又は可用性を維持するための定期的な支援の必要性を大幅に低減し、かつ/又は無くす。
【0010】
ソースファイルからクエリ可能テーブルへのデータ移動を追跡する必要性は、データカタログ形式でプラットフォーム内のデータを記述する必要性と一致する。こうした問題、及び他の技術的問題に対処するために、フレキシブルETLプロセスは、ソースデータファイルとターゲットテーブルとの間のマッピングを維持することにより、ビッグデータストアへのデータ転送がどのように実行されるべきかを示すことが可能となる。更に、フレキシブルETLプロセスは、プラットフォーム内のデータ移動に関する来歴情報を提供する。更に、データカタログ内の文書種類、関連付けられたスキーマ、及びデータフィールドの表現には、当該データの意味を定義するセマンティック情報が付随しているので、プラットフォーム内外のデータの互換性が可能になる。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する
Flag Counter

関連特許

個人
認証システム
13日前
個人
マウス用テーブル
1か月前
個人
保証金管理システム
7日前
個人
鑑定証明システム
13日前
個人
人的価値発掘システム
1か月前
アズビル株式会社
防爆装置
1か月前
個人
業界地図作成システム
1か月前
株式会社セガフェイブ
遊戯機
1か月前
キヤノン電子株式会社
情報処理装置
1か月前
株式会社MRC
集客システム
7日前
個人
技術マッチングシステム
19日前
株式会社宗建
SNSサーバー
1か月前
株式会社ネットブリッジ
展示販売装置
14日前
トヨタ自動車株式会社
分析装置
7日前
個人
選択操作音声出力システム
1か月前
ミサワホーム株式会社
管理装置
1か月前
株式会社ジール
文章の分析装置
1か月前
個人
配送システムおよび同包箱
1か月前
ミサワホーム株式会社
システム
1か月前
キヤノン株式会社
印刷制御装置
28日前
キヤノン株式会社
印刷管理装置
5日前
ミサワホーム株式会社
プログラム
13日前
個人
文字入力方法、文字入力プログラム
20日前
大同特殊鋼株式会社
棒材計数装置
1か月前
アスエネ株式会社
森林管理の方法
1か月前
個人
動作のデザイン評価の方法及び装置
1か月前
オムロン株式会社
認証中継サーバ
1か月前
株式会社八咲
イベント管理システム
1か月前
トヨタ自動車株式会社
作業評価装置
26日前
トヨタ自動車株式会社
部品管理装置
13日前
個人
後払いポイントシステム「先用後利」
14日前
株式会社LIFE
送迎管理システム
6日前
株式会社チノー
ユーザ認証システム
1か月前
トヨタ自動車株式会社
車載機
13日前
株式会社インザック
コンピュータシステム
19日前
個人
口座悪用を防止する口座管理システム
1か月前
続きを見る