特許ウォッチ

公開番号2024126486
公報種別公開特許公報(A)
公開日2024-09-20
出願番号2023034882
出願日2023-03-07
発明の名称データベース管理装置及び方法
出願人株式会社日立製作所,国立大学法人東京大学
代理人弁理士法人サンネクスト国際特許事務所
主分類G06F 16/22 20190101AFI20240912BHJP(計算;計数)
要約【課題】検索条件やパーティションキーの有無に関わらず結合処理において内表のスキャン範囲を限定することが可能であり、且つ、結合処理の性能を向上させる。
【解決手段】表に格納されている値のレンジを表す列レンジ索引がある。結合処理の各段の結合において、当段の結合結果が次段の結合に関わる外表となる場合、データベース管理装置は、当段の結合に関わる内表におけるヒット行を次段の結合に関わる内表が含んでいる可能性があるか否かを、当段の結合列に対応の列レンジ索引と、次段の結合列に対応の列レンジ索引とを基に特定する。
【選択図】図1

特許請求の範囲【請求項１】
記憶装置に格納されているデータベースのクエリを受け付けるクエリ受付部と、
前記クエリに応答した処理であるクエリ処理を実行するクエリ実行部と、
内表のスキャン範囲を表すデータであるフィルタを作成するフィルタ作成部と
を備え、
前記記憶装置が、表に格納されている値のレンジを表すデータである列レンジ索引を格納し、
前記クエリ処理は、複数段の結合を含んだ結合処理が行われる処理であり、
前記結合処理の各段の結合において、当段の結合結果が次段の結合に関わる外表となる場合、
前記フィルタ作成部は、フィルタ作成処理を行い、
前記クエリ実行部は、当該次段の結合に関わる内表のうち、当該フィルタ作成処理において作成されたフィルタが表す範囲のみをスキャンし、
前記フィルタ作成処理は、当段の結合に関わる内表におけるヒット行を次段の結合に関わる内表が含んでいる可能性があるか否かを、当段の結合列に対応の列レンジ索引と、次段の結合列に対応の列レンジ索引とを基に特定することを含む、
データベース管理装置。
続きを表示（約 1,900 文字）【請求項２】
前記フィルタ作成処理は、更に、次段の結合に関わる内表が当段の結合に関わる内表におけるヒット行を含んでいる可能性がある場合は次段の結合に関わる内表のスキャンの実施を決定することを含む、
請求項１に記載のデータベース管理装置。
【請求項３】
前記データベースにおける表が、複数のセグメントで構成されており、
前記複数のセグメントの各々は、行より大きな単位であり、前記表のうちの二つ以上の行で構成されており、前記表が有する複数の列を有し、
前記列レンジ索引が、セグメント毎に存在し、
各列レンジ索引は、当該列レンジ索引に対応のセグメントの列に格納されている値のレンジを表すデータであり、
前記フィルタ作成処理は、
当段の結合に関わる内表におけるヒット行を含んだセグメントのレンジの少なくとも一部に重複するレンジを持つセグメントを、当段の結合列に対応の列レンジ索引と、次段の結合列に対応の列レンジ索引とを基に特定することと、
特定されたセグメントを表すデータをフィルタに追加することと
を含む、
請求項１に記載のデータベース管理装置。
【請求項４】
前記フィルタ作成部は、セグメントに最初のヒット行がある場合に、前記フィルタ作成処理を行う、
請求項３に記載のデータベース管理装置。
【請求項５】
前記クエリ処理が前記複数段の結合を含んだ前記結合処理を含む場合、前記クエリ処理が各列についてセグメント間のレンジの重複が小さいか否か、又は、前記データベースに格納されている値が使用されるアプリケーションが所定のアプリケーションか否かの判定である作成判定を行う作成判定部、
を更に備え、
前記フィルタ作成部は、前記作成判定の結果が真の場合に、前記フィルタ作成処理を行う、
請求項３に記載のデータベース管理装置。
【請求項６】
前記データベースにおける表が、複数のチャンクで構成されており、
各チャンクは、二つ以上のセグメントで構成されており、
前記フィルタ作成部は、前記特定されたセグメントの数に応じて、スキャン単位をセグメント、チャンク及び内表全体のいずれにするかを選択し、当該選択したスキャン単位に応じて、前記フィルタを更新、又は、前記フィルタを作成しない、
請求項３に記載のデータベース管理装置。
【請求項７】
前記特定されたセグメントの数が、セグメント数が小であるとの条件を満たす場合、前記スキャン単位は、セグメントであり、
前記特定されたセグメントの数が、セグメント数が中であるとの条件を満たす場合、前記スキャン単位は、チャンクであり、
前記特定されたセグメントの数が、セグメント数が大であるとの条件を満たす場合、前記スキャン単位は、内表全体である、
請求項６に記載のデータベース管理装置。
【請求項８】
前記結合処理は、再帰結合処理であり、
前記フィルタ作成処理は、
当段の結合に関わる内表におけるヒット行を含んだセグメントのレンジを、次段の結合列に対応の列レンジ索引から特定することと、
当該特定されたレンジの少なくとも一部に重複するレンジを持つセグメントを、当段の結合列に対応の列レンジ索引から特定することと、
当該特定されたセグメントを表すデータをフィルタに追加することと
を含む、
請求項３に記載のデータベース管理装置。
【請求項９】
前記結合処理は、多段結合処理であり、
前記フィルタ作成処理は、
当段の結合に関わる内表におけるヒット行を含んだセグメントのレンジを、当段の結合列に対応の列レンジ索引から特定することと、
当該特定されたレンジの少なくとも一部に重複するレンジを持つセグメントを、次段の結合列に対応の列レンジ索引から特定することと、
当該特定されたセグメントを表すデータをフィルタに追加することと
を含む、
請求項３に記載のデータベース管理装置。
【請求項１０】
前記クエリ処理が前記複数段の結合を含んだ前記結合処理を含む場合、前記データベースに格納されている値が使用されるアプリケーションが所定のアプリケーションか否かの判定である作成判定を行う作成判定部、
を更に備え、
前記フィルタ作成部は、前記作成判定の結果が真の場合に、前記フィルタ作成処理を行う、
請求項１に記載のデータベース管理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、概して、データベース管理に関し、特に、データベースの表の結合に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
外表と内表の結合に関し、例えば、特許文献１及び非特許文献１乃至３に開示の技術が知られている。特許文献１及び非特許文献１乃至３のいずれの文献も、内表のスキャン範囲を限定する方法を開示している。
【０００３】
具体的には、例えば、特許文献１及び非特許文献３は、外表の行セットを用いた内表のスキャン範囲限定の方法を開示する。非特許文献２は、外表の結合列に付与された検索条件を用いたスキャン範囲限定の方法を開示する。非特許文献３は、ブルームフィルタを用いたスキャン範囲限定の方法を開示する。
【先行技術文献】
【特許文献】
【０００４】
ＵＳ１０，８１０，２０
【非特許文献】
【０００５】
ＳｒｉｋａｎｔｈＫａｎｄｕｌａ等著，「ＰｕｓｈｉｎｇＤａｔａ－ＩｎｄｕｃｅｄＰｒｅｄｉｃａｔｅｓＴｈｒｏｕｇｈＪｏｉｎｓｉｎＢｉｇ－ＤａｔａＣｌｕｓｔｅｒｓ」，ＶＬＤＢ２００４
杉江伸祐著，「ＳＱＬ実行時のブルームフィルタ（ＢｌｏｏｍＦｉｌｔｅｒ）アルゴリズム」，２０１６年１０月３１日https://future-architect.github.io/articles/20161031/
ＡｌｉＡｆｒｏｏｚｅｈ等著，「ＦａｓｔｅｒＳＱＬＱｕｅｒｉｅｓｏｎＤｅｌｔａＬａｋｅｗｉｔｈＤｙｎａｍｉｃＦｉｌｅＰｒｕｎｉｎｇ」，２０２０年４月３０日https://www.databricks.com/blog/2020/04/30/faster-sql-queries-on-delta-lake-with-dynamic-file-pruning.html
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１及び非特許文献３によれば、行ごとに内表のレンジの探索が必要となり、故に、結合の処理性能が低下する。
【０００７】
非特許文献１によれば、検索条件が付与されない場合は内表のスキャン範囲を限定することができない。
【０００８】
非特許文献２によれば、結合がパーティションキーを用いた結合でなければ内表のスキャン範囲を限定することができない。また、非特許文献２によれば、行ごとに該当のパーティションを探索する必要があり、故に、結合の処理性能が低下する。
【課題を解決するための手段】
【０００９】
データベース管理装置は、記憶装置に格納されているデータベースのクエリに応答した処理であるクエリ処理を行う。クエリ処理が、複数段の結合を含んだ結合処理が行われる処理であり、且つ、当該結合処理の各段の結合において、当段の結合結果が次段の結合に関わる外表となる場合、データベース管理装置は、フィルタ作成処理を行い、当該次段の結合に関わる内表のうち、当該フィルタ作成処理において作成されたフィルタ（内表のスキャン範囲を表すデータ）が表す範囲のみをスキャンする。記憶装置が、表に格納されている値のレンジを表すデータである列レンジ索引を格納する。フィルタ作成処理は、当段の結合に関わる内表におけるヒット行を次段の結合に関わる内表が含んでいる可能性があるか否かを、当段の結合列に対応の列レンジ索引と、次段の結合列に対応の列レンジ索引とを基に特定ることを含む。
【発明の効果】
【００１０】
本発明によれば、検索条件やパーティションキーの有無に関わらず結合処理において内表のスキャン範囲を限定することが可能であり、且つ、結合処理の性能を向上させることができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許