特許ウォッチ

公開番号2025081816
公報種別公開特許公報(A)
公開日2025-05-28
出願番号2023194835
出願日2023-11-16
発明の名称インデックス配列変換装置およびインデックス配列変換方法
出願人日本電気株式会社
代理人個人,個人
主分類G06F 16/22 20190101AFI20250521BHJP(計算;計数)
要約【課題】ターゲット配列が断片化されたままインデックスで指定された行のデータだけを取り出すことができるインデックス配列変換装置を提供する。
【解決手段】インデックス配列変換装置20は、複数のインデックスが昇順に格納されたインデックス配列情報と、インデックスがそれぞれ付与された複数のデータが格納されたターゲット配列情報がN分割されることによって生成された、d₁、d₂、・・・、d_Nの長さをそれぞれ示す部分ターゲット配列情報D₁、D₂、・・・、D_Nとを用いて、Σ^i-1 _t=0(d_t)以上Σⁱ _t=0(d_t)未満(d₀=0)のインデックスが昇順に格納された部分インデックス配列情報K_iを生成する生成処理を、i=1～Nに渡ってそれぞれ実行する生成部21と、生成された部分インデックス配列情報K_iに格納されたインデックスからΣ^i-1 _t=0(d_t)を減算する減算処理を、i=1～Nに渡ってそれぞれ実行する減算部22とを備える。
【選択図】図15
特許請求の範囲【請求項１】
複数のインデックスが昇順に格納されたインデックス配列情報と、前記インデックスがそれぞれ付与された複数のデータが格納されたターゲット配列情報がN分割（Nは２以上の整数）されることによって生成された、d
1
、d
2
、・・・、d
N
（d
1
～d
N
はそれぞれ１以上の整数）の長さをそれぞれ示す部分ターゲット配列情報D
1
、D
2
、・・・、D
N
とを用いて、Σ
i-1
t=0
(d
t
)以上Σ
i
t=0
(d
t
)未満（d
0
=0）の前記インデックスが昇順に格納された部分インデックス配列情報K
i
を生成する生成処理を、i=1～Nに渡ってそれぞれ実行する生成部と、
生成された部分インデックス配列情報K
i
に格納された前記インデックスからΣ
i-1
t=0
(d
t
)を減算する減算処理を、i=1～Nに渡ってそれぞれ実行する減算部とを備える
ことを特徴とするインデックス配列変換装置。
続きを表示（約 1,600 文字）【請求項２】
減算処理が行われた部分インデックス配列情報K
i
を用いて、新たなインデックスがそれぞれ付与された１つ以上のデータが格納された部分ターゲット配列情報D
i
からデータを抽出結果R
i
として抽出する抽出部を備える
請求項１記載のインデックス配列変換装置。
【請求項３】
抽出部は、
抽出結果R
i
を抽出する抽出処理を、i=1～Nに渡ってそれぞれ実行し、
R
1
、R
2
、・・・、R
N
の順に縦に並べられたデータを出力する
請求項２記載のインデックス配列変換装置。
【請求項４】
複数のインデックス配列情報で構成されたインデックス情報を分割することによって前記複数のインデックス配列情報をそれぞれ生成する分割部を備える
請求項１記載のインデックス配列変換装置。
【請求項５】
部分ターゲット配列情報D
1
～D
N
は、分散した状態でメモリにそれぞれ保存されている
請求項１から請求項４のうちのいずれか１項に記載のインデックス配列変換装置。
【請求項６】
複数のインデックスが昇順に格納されたインデックス配列情報と、前記インデックスがそれぞれ付与された複数のデータが格納されたターゲット配列情報がN分割（Nは２以上の整数）されることによって生成された、d
1
、d
2
、・・・、d
N
（d
1
～d
N
はそれぞれ１以上の整数）の長さをそれぞれ示す部分ターゲット配列情報D
1
、D
2
、・・・、D
N
とを用いて、Σ
i-1
t=0
(d
t
)以上Σ
i
t=0
(d
t
)未満（d
0
=0）の前記インデックスが昇順に格納された部分インデックス配列情報K
i
を生成する生成処理を、i=1～Nに渡ってそれぞれ実行し、
生成された部分インデックス配列情報K
i
に格納された前記インデックスからΣ
i-1
t=0
(d
t
)を減算する減算処理を、i=1～Nに渡ってそれぞれ実行する
ことを特徴とするインデックス配列変換方法。
【請求項７】
コンピュータに、
複数のインデックスが昇順に格納されたインデックス配列情報と、前記インデックスがそれぞれ付与された複数のデータが格納されたターゲット配列情報がN分割（Nは２以上の整数）されることによって生成された、d
1
、d
2
、・・・、d
N
（d
1
～d
N
はそれぞれ１以上の整数）の長さをそれぞれ示す部分ターゲット配列情報D
1
、D
2
、・・・、D
N
とを用いて、Σ
i-1
t=0
(d
t
)以上Σ
i
t=0
(d
t
)未満（d
0
=0）の前記インデックスが昇順に格納された部分インデックス配列情報K
i
を生成する生成処理を、i=1～Nに渡ってそれぞれ実行させ、
生成された部分インデックス配列情報K
i
に格納された前記インデックスからΣ
i-1
t=0
(d
t
)を減算する減算処理を、i=1～Nに渡ってそれぞれ実行させる
ためのインデックス配列変換プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、インデックス配列変換装置、インデックス配列変換方法およびインデックス配列変換プログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
データ整備は、データレイク中の多くの種類のデータを学習用データに整える種々の前処理を意味する。図１６は、分析システムの例を示す説明図である。図１６に示す分析システムは、データ整備のためのプラットフォームとして利用される。
【０００３】
図１６に示す分析システムは、データレイクと、データ整備部と、学習用データ記憶部と、学習部と、モデル記憶部とを含む。分析システムは、例えば社内の様々な部署に関するデータや、ソースが様々なデータを収集する。データレイクは、収集された多種多様なデータ群を記憶する。
【０００４】
データ整備部は、データレイクに記憶されたデータ群を学習用データに整える。なお、データ整備部は、単純な前処理だけでなく、AI(Artificial Intelligence)または機械学習が利用された複雑なアルゴリズムに従ってデータを整えてもよい。
【０００５】
データ整備部は、整えられた学習用データを学習用データ記憶部に格納する。次いで、学習部は、学習用データ記憶部に格納された学習用データを用いてモデルを学習する。次いで、学習部は、学習されたモデルをモデル記憶部に格納する。分析システムは、モデル記憶部に格納されたモデルを活用する。
【０００６】
扱う対象のデータの規模が増大するほど、データ整備がデータ分析におけるボトルネックになりやすい。例えば、データ整備に要する時間が、データ分析全体に要する時間の８割を占める場合もある。よって、データ整備の高速化が求められている。
【０００７】
データ整備における高速化対象の処理の中に、ターゲット配列情報（以下、単にターゲット配列とも呼ぶ。）を構成する各行のうち、インデックスで指定された行のデータだけを取り出す処理がある。図１７は、インデックスで指定された行のデータだけを取り出す処理の例を示す説明図である。
【０００８】
図１７の左部に示すように、本処理ではターゲット配列情報とインデックス配列情報（以下、単にインデックス配列とも呼ぶ。）とが利用される。先頭に“value”と記載されたターゲット配列には、インデックス（枠の左に記載された０～１１）がそれぞれ付与された複数のデータが格納されている。また、先頭に“index”と記載されたインデックス配列には、複数のインデックスが格納されている。
【０００９】
図１７の右部に示すように、本処理では、インデックス配列に格納されたインデックスで指定された行のデータがターゲット配列から取得される。例えば、インデックス「５」で指定された行のデータ「８」が、ターゲット配列から取得される。取得された順に取得された各データが格納された、図１７の右部に示す先頭に“result”と記載された配列が、本処理の結果に相当する。
【００１０】
図１７に示す処理は、テーブルに格納されたデータに対する、GroupByやSort等のアルゴリズムにおいて頻出の要素処理である。なお、要素は、配列に格納されたデータやインデックスである。また、図１７に示す処理は、例えばtake処理やgather処理とも呼ばれる。
（【００１１】以降は省略されています）

関連特許