特許ウォッチ

公開番号2025125973
公報種別公開特許公報(A)
公開日2025-08-28
出願番号2024022296
出願日2024-02-16
発明の名称欠損データ補完装置及び欠損データ補完方法
出願人株式会社日立製作所
代理人弁理士法人サンネクスト国際特許事務所
主分類G06F 16/215 20190101AFI20250821BHJP(計算;計数)
要約【課題】
補完すべき欠損データをより少なく抑えつつ欠損データを含む学習データの全体予測精度を高めること。
【解決手段】
特定の列データ項目の各データのうち、補完量調整パラメータによって定義された所定の割合に含まれる少なくとも1つのエントリに補完優先度フラグを付与する補完優先度フラグ付与部と、データテーブルに含まれる各エントリについて補完優先度フラグが付与された各エントリの個数をカウントし、補完優先度フラグの個数が多い順に統合補完優先度順位を決定する優先度順位決定部と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
列方向に複数の列データ項目が定義されているとともに、行方向に前記複数の列データ項目の各データで構成される複数のエントリを有し、各前記エントリのうちの一部のエントリにおける特定の列データ項目に欠損データが存在するデータテーブルと、
前記特定の列データ項目のデータに対して補完が必要な割合を調整するのに用いられる補完量調整パラメータを定義するパラメータ定義部と、
前記データテーブルを構成する前記複数のエントリにおける、前記特定の列データ項目以外の他の列データ項目のデータ、及び、前記特定の列データ項目のデータに基づいて、前記特定の列データ項目の前記欠損データを予測する欠損データ予測部と、
前記特定の列データ項目の各データのうち、前記補完量調整パラメータによって定義された所定の割合に含まれる少なくとも１つの前記エントリを抽出する抽出部と、
前記所定の割合に含まれる少なくとも１つの前記エントリに補完優先度フラグを付与する補完優先度フラグ付与部と、
前記データテーブルに含まれる各前記エントリについて前記補完優先度フラグが付与された各前記エントリの個数をカウントし、前記補完優先度フラグの個数が多い順に統合補完優先度順位を決定する優先度順位決定部と、
を備えることを特徴とする欠損データ補完装置。
続きを表示（約 2,000 文字）【請求項２】
前記欠損データを含むエントリごとに、前記特定の列データ項目ごとのデータ及び前記統合補完優先度順位のリストデータを表示する表示部を備える
ことを特徴とする請求項１に記載の欠損データ補完装置。
【請求項３】
前記補完優先度フラグ付与部は、
前記補完量調整パラメータとして定義された複数の前記所定の割合ごとに前記補完優先度フラグを付与し、
前記表示部は、
前記リストデータに基づくデータ補完測定工数量と、前記欠損データ予測部による前記特定の列データ項目のデータに関する予測精度と、を表示する
ことを特徴とする請求項２に記載の欠損データ補完装置。
【請求項４】
前記欠損データ予測部は、
前記欠損データを含む学習データの全体予測精度が目標精度を満たすように、前記補完量調整パラメータとして定義された複数の前記所定の割合から１つの所定の割合を選択する
ことを特徴とする請求項３に記載の欠損データ補完装置。
【請求項５】
前記欠損データ予測部は、
前記データテーブルを構成する前記複数のエントリにおける、前記特定の列データ項目以外の他の列データ項目のデータを説明変数とするとともに前記特定の列データ項目のデータを目的変数としてモデルを学習し、前記モデルを用いて前記特定の列データ項目の前記欠損データを機械学習によって予測する
ことを特徴とする請求項１に記載の欠損データ補完装置。
【請求項６】
列方向に複数の列データ項目が定義されているとともに、行方向に前記複数の列データ項目の各データで構成される複数のエントリを有し、各前記エントリのうちの一部のエントリにおける特定の列データ項目に欠損データが存在するデータテーブルにおける前記特定の列データ項目のデータに対して補完が必要な割合を調整するのに用いられる補完量調整パラメータをパラメータ定義部に定義するパラメータ定義ステップと、
欠損データ予測部が、前記データテーブルを構成する前記複数のエントリにおける、前記特定の列データ項目以外の他の列データ項目のデータ、及び、前記特定の列データ項目のデータに基づいて、前記特定の列データ項目の前記欠損データを予測する欠損データ予測ステップと、
抽出部が、前記特定の列データ項目の各データのうち、前記補完量調整パラメータによって定義された所定の割合に含まれる少なくとも１つの前記エントリを抽出する抽出ステップと、
補完優先度フラグ付与部が、前記所定の割合に含まれる少なくとも１つの前記エントリに補完優先度フラグを付与する補完優先度フラグ付与ステップと、
優先度順位決定部が、前記データテーブルに含まれる各前記エントリについて前記補完優先度フラグが付与された各前記エントリの個数をカウントし、前記補完優先度フラグの個数が多い順に統合補完優先度順位を決定する優先度順位決定ステップと、
を有することを特徴とする欠損データ補完方法。
【請求項７】
前記欠損データを含むエントリごとに、前記特定の列データ項目ごとのデータ及び前記統合補完優先度順位のリストデータを表示部に表示する表示ステップを有する
ことを特徴とする請求項６に記載の欠損データ補完方法。
【請求項８】
前記補完優先度フラグ付与部は、
前記補完量調整パラメータとして各々設定された複数の値ごとに前記補完優先度フラグを付与し、
前記表示ステップでは、
前記リストデータに基づくデータ補完測定工数量と、前記欠損データ予測部による前記特定の列データ項目のデータに関する予測精度と、を前記表示部に表示する
ことを特徴とする請求項７に記載の欠損データ補完方法。
【請求項９】
前記欠損データ予測ステップでは、
前記欠損データ予測部が、前記欠損データを含む学習データの全体予測精度が目標精度を満たすように、前記補完量調整パラメータとして定義された複数の前記所定の割合から１つの所定の割合を選択する
ことを特徴とする請求項８に記載の欠損データ補完方法。
【請求項１０】
前記欠損データ予測ステップでは、
前記欠損データ予測部が、前記データテーブルを構成する前記複数のエントリにおける、前記特定の列データ項目以外の他の列データ項目のデータを説明変数とするとともに前記特定の列データ項目のデータを目的変数としてモデルを学習し、前記モデルを用いて前記特定の列データ項目の前記欠損データを機械学習によって予測する
ことを特徴とする請求項６に記載の欠損データ補完方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、欠損データ補完装置及び欠損データ補完方法に関し、例えば、欠損データを補完する技術に関する欠損データ補完装置に適用して好適なものである。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
近年、人工知能を用いた技術の発達によって学習データを用いた機械学習に関する研究が盛んになされている。このような学習データには、その一部に欠損データを含む場合があり、このような場合でも対応できるよう欠損データの補完に関して様々な研究がなされている。特許文献１には、機械学習の前処理として欠損データの補完を行う技術が開示されている。特許文献１に開示された技術では、欠損データの補完精度を向上することを目的とし、具体的には、まず、相関行列計算部が全学習レコードを用いて属性間の相関行列を計算し、回帰補完部が、欠損属性について、相関値の絶対値が相関閾値より大きい属性がある場合に、相関値の絶対値が相関閾値より大きい属性を用いて回帰補完を行う。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０－１５４８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術においては、上述したように欠損データについて回帰補完を行うのみであり、どの程度の欠損データを補完すれば欠損データを含む学習データの全体予測精度を高くできるのかについては検討がなされていなかった。
【０００５】
本発明は以上の点を考慮してなされたもので、補完すべき欠損データをより少なく抑えつつ欠損データを含む学習データの全体予測精度を高めることができる欠損データ補完装置及び欠損データ補完方法を提案しようとするものである。
【課題を解決するための手段】
【０００６】
かかる課題を解決するため本発明においては、列方向に複数の列データ項目が定義されているとともに、行方向に前記複数の列データ項目の各データで構成される複数のエントリを有し、各前記エントリのうちの一部のエントリにおける特定の列データ項目に欠損データが存在するデータテーブルと、前記特定の列データ項目のデータに対して補完が必要な割合を調整するのに用いられる補完量調整パラメータを定義するパラメータ定義部と、前記データテーブルを構成する前記複数のエントリにおける、前記特定の列データ項目以外の他の列データ項目のデータ、及び、前記特定の列データ項目のデータに基づいて、前記特定の列データ項目の前記欠損データを予測する欠損データ予測部と、前記特定の列データ項目の各データのうち、前記補完量調整パラメータによって定義された所定の割合に含まれる少なくとも１つの前記エントリを抽出する抽出部と、前記所定の割合に含まれる少なくとも１つの前記エントリに補完優先度フラグを付与する補完優先度フラグ付与部と、前記データテーブルに含まれる各前記エントリについて前記補完優先度フラグが付与された各前記エントリの個数をカウントし、前記補完優先度フラグの個数が多い順に統合補完優先度順位を決定する優先度順位決定部と、を備えるようにした。
【０００７】
また、本発明においては、列方向に複数の列データ項目が定義されているとともに、行方向に前記複数の列データ項目の各データで構成される複数のエントリを有し、各前記エントリのうちの一部のエントリにおける特定の列データ項目に欠損データが存在するデータテーブルにおける前記特定の列データ項目のデータに対して補完が必要な割合を調整するのに用いられる補完量調整パラメータをパラメータ定義部に定義するパラメータ定義ステップと、欠損データ予測部が、前記データテーブルを構成する前記複数のエントリにおける、前記特定の列データ項目以外の他の列データ項目のデータ、及び、前記特定の列データ項目のデータに基づいて、前記特定の列データ項目の前記欠損データを予測する欠損データ予測ステップと、抽出部が、前記特定の列データ項目の各データのうち、前記補完量調整パラメータによって定義された所定の割合に含まれる少なくとも１つの前記エントリを抽出する抽出ステップと、補完優先度フラグ付与部が、前記所定の割合に含まれる少なくとも１つの前記エントリに補完優先度フラグを付与する補完優先度フラグ付与ステップと、優先度順位決定部が、前記データテーブルに含まれる各前記エントリについて前記補完優先度フラグが付与された各前記エントリの個数をカウントし、前記補完優先度フラグの個数が多い順に統合補完優先度順位を決定する優先度順位決定ステップと、を有するようにした。
【発明の効果】
【０００８】
本発明によれば、補完すべき欠損データをより少なく抑えつつ欠損データを含む学習データの全体予測精度を高めることができる。
【図面の簡単な説明】
【０００９】
第１の実施形態による欠損データ補完装置の構成例を示すシステム構成図である。
欠損データ補完処理の手順の一例を示すフローチャートである。
図２に示す欠損データ処理の手順の一例を示すフローチャートである。
データテーブルの内容の一例を示す図である。
データテーブルの内容の一例を示す図である。
データテーブルの内容の一例を示す図である。
データテーブルの内容の一例を示す図である。
データテーブルの内容の一例を示す図である。
データテーブルの内容の一例を示す図である。
データテーブルの内容の一例を示す図である。
データ補完測定工数量に対する全体予測精度の特性の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面に基づいて、本発明の一実施形態を詳述する。
（【００１１】以降は省略されています）

関連特許