特許ウォッチ

公開番号2024174571
公報種別公開特許公報(A)
公開日2024-12-17
出願番号2023092464
出願日2023-06-05
発明の名称指標計算装置、方法及びプログラム
出願人株式会社東芝
代理人弁理士法人スズエ国際特許事務所
主分類G06N 20/00 20190101AFI20241210BHJP(計算;計数)
要約【課題】学習データ群と運用データ群とのずれを検知することを支援する指標計算装置、方法及びプログラムを提供することにある。
【解決手段】実施形態に係る指標計算装置は、取得手段と、作成手段と、計算手段と、判定手段と、出力手段とを具備する。取得手段は、学習データ群と運用データ群とを取得する。作成手段は、第1階級数に従って、学習データ群の第1ヒストグラムと、運用データ群の第2ヒストグラムとを作成する。計算手段は、第1及び第2ヒストグラムに基づいて指標を計算する。出力手段は、判定手段によって指標が収束したと判定された場合、指標を出力する。判定手段によって指標が収束していないと判定された場合、第2階級数に従って第1及び第2ヒストグラムが再度作成され、再度作成された第1及び第2ヒストグラムに基づいて指標が再度計算される。
【選択図】図7
特許請求の範囲【請求項１】
機械学習モデルを生成するために用いられた複数のデータを含む学習データ群と、予測値を得るために前記機械学習モデルに入力される複数のデータを含む運用データ群とを取得する取得手段と、
第１階級数に従って、前記取得された学習データ群に含まれる複数のデータの分布を表す第１ヒストグラムと、前記取得された運用データ群に含まれる複数のデータの分布を表す第２ヒストグラムとを作成する作成手段と、
前記作成された第１及び第２ヒストグラムに基づいて、前記学習データ群と前記運用データ群との類似性を表す指標を計算する計算手段と、
前記計算された指標が収束したかを判定する判定手段と、
前記計算された指標が収束したと判定された場合、当該指標を出力する出力手段と
を具備し、
前記計算された指標が収束していないと判定された場合、前記第１階級数を増加させた第２階級数に従って前記第１及び第２ヒストグラムが再度作成され、前記再度作成された第１及び第２ヒストグラムに基づいて前記指標が再度計算される
指標計算装置。
続きを表示（約 2,000 文字）【請求項２】
前記出力された指標は、表示装置に表示される請求項１記載の指標計算装置。
【請求項３】
前記出力手段は、前記階級数毎に計算された指標を出力し、
前記階級数毎に計算された指標は、グラフ形式で表示装置に表示される
請求項１記載の指標計算装置。
【請求項４】
前記出力された指標に基づいて前記学習データ群と前記運用データ群とのずれを検知する検知手段を更に具備し、
前記検知結果は、表示装置に表示される
請求項１記載の指標計算装置。
【請求項５】
前記取得手段は、ユーザによって指定された閾値を含む収束条件を取得し、
前記判定手段は、前記計算された指標の変化量が前記取得された収束条件に含まれる閾値未満である場合に当該指標が収束したと判定する
請求項１記載の指標計算装置。
【請求項６】
前記学習データ群に含まれる複数のデータ及び前記運用データ群に含まれる複数のデータのうちの外れ値を処理する処理手段を更に具備し、
前記作成手段は、前記外れ値の処理結果に基づいて、前記第１及び第２ヒストグラムを作成する
請求項１記載の指標計算装置。
【請求項７】
前記学習データ群及び前記運用データ群の各々は、複数の第１種別のデータ及び複数の第２種別のデータを含み、
前記第１ヒストグラムは、前記学習データ群に含まれる複数の第１種別のデータの分布を表す第３ヒストグラム及び前記学習データ群に含まれる複数の第２種別のデータの分布を表す第４ヒストグラムを含み、
前記第２ヒストグラムは、前記運用データ群に含まれる複数の第１種別のデータの分布を表す第５ヒストグラム及び前記運用データ群に含まれる複数の第２種別のデータの分布を表す第６ヒストグラムを含み、
前記指標は、前記第３及び第５ヒストグラムに基づいて計算された第１指標と前記第４及び第６ヒストグラムに基づいて計算された第２指標とを含み、
前記出力手段は、前記第１及び第２指標を含む指標が収束したと判定された場合に、当該第１及び第２指標を出力する
請求項１記載の指標計算装置。
【請求項８】
前記指標は、ＪＳＤ（Jensen-Shannon Divergence）を含む請求項１～７のいずれか一項に記載の指標計算装置。
【請求項９】
機械学習モデルを生成するために用いられた複数のデータを含む学習データ群と、予測値を得るために前記機械学習モデルに入力される複数のデータを含む運用データ群とを取得するステップと、
第１階級数に従って、前記取得された学習データ群に含まれる複数のデータの分布を表す第１ヒストグラムと、前記取得された運用データ群に含まれる複数のデータの分布を表す第２ヒストグラムとを作成するステップと、
前記作成された第１及び第２ヒストグラムに基づいて、前記学習データ群と前記運用データ群との類似性を表す指標を計算するステップと、
前記計算された指標が収束したかを判定するステップと、
前記計算された指標が収束したと判定された場合、当該指標を出力するステップと
を具備し、
前記計算された指標が収束していないと判定された場合、前記第１階級数を増加させた第２階級数に従って前記第１及び第２ヒストグラムが再度作成され、前記再度作成された第１及び第２ヒストグラムに基づいて前記指標が再度計算される
方法。
【請求項１０】
コンピュータに、
機械学習モデルを生成するために用いられた複数のデータを含む学習データ群と、予測値を得るために前記機械学習モデルに入力される複数のデータを含む運用データ群とを取得するステップと、
第１階級数に従って、前記取得された学習データ群に含まれる複数のデータの分布を表す第１ヒストグラムと、前記取得された運用データ群に含まれる複数のデータの分布を表す第２ヒストグラムとを作成するステップと、
前記作成された第１及び第２ヒストグラムに基づいて、前記学習データ群と前記運用データ群との類似性を表す指標を計算するステップと、
前記計算された指標が収束したかを判定するステップと、
前記計算された指標が収束したと判定された場合、当該指標を出力するステップと
を実行させ、
前記計算された指標が収束していないと判定された場合、前記第１階級数を増加させた第２階級数に従って前記第１及び第２ヒストグラムが再度作成され、前記再度作成された第１及び第２ヒストグラムに基づいて前記指標が再度計算される
プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、指標計算装置、方法及びプログラムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年では、人工知能（ＡＩ：Artificial Intelligence）を搭載したシステムを運用することが知られている。
【０００３】
このようなシステムは例えば機械学習（ディープラーニング）等の技術に基づいて予め用意された複数のデータを学習することによって生成された機械学習モデルを有し、当該機械学習モデルは、当該システムの運用時に得られる複数のデータの各々が入力されることによって当該データに基づく予測値を出力することができる。
【０００４】
しかしながら、例えば時間の経過等に応じて、システムの運用時に機械学習モデルに入力される複数のデータ（以下、運用データ群と表記）の分布が機械学習モデルを生成するために用いられた複数のデータ（以下、学習データ群と表記）の分布とずれてしまう現象（以下、データドリフトと表記）が発生すると、当該機械学習モデルから出力すされる予測値の精度が低下する可能性がある。
【０００５】
このような予測値の精度の低下は機械学習モデルが新たな学習データ群を学習することによって抑制することが可能であるが、このように予測値の精度の低下を抑制するためには、上記したデータドリフトの発生（つまり、学習データ群と運用データ群とのずれ）を適切に検知することができる仕組みが必要である。
【先行技術文献】
【特許文献】
【０００６】
特開２０２１－１９３４９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで、本願発明が解決しようとする課題は、学習データ群と運用データ群とのずれを検知するために用いられる指標計算装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
実施形態に係る指標計算装置は、取得手段と、作成手段と、計算手段と、判定手段と、出力手段とを具備する。前記取得手段は、機械学習モデルを生成するために用いられた複数のデータを含む学習データ群と、予測値を得るために前記機械学習モデルに入力される複数のデータを含む運用データ群とを取得する。前記作成手段は、第１階級数に従って、前記取得された学習データ群に含まれる複数のデータの分布を表す第１ヒストグラムと、前記取得された運用データ群に含まれる複数のデータの分布を表す第２ヒストグラムとを作成する。前記計算手段は、前記作成された第１及び第２ヒストグラムに基づいて、前記学習データ群と前記運用データ群との類似性を表す指標を計算する。前記判定手段は、前記計算された指標が収束したかを判定する。前記出力手段は、前記計算された指標が収束したと判定された場合、当該指標を出力する。前記計算された指標が収束していないと判定された場合、前記第１階級数を増加させた第２階級数に従って前記第１及び第２ヒストグラムが再度作成され、前記再度作成された第１及び第２ヒストグラムに基づいて前記指標が再度計算される。
【図面の簡単な説明】
【０００９】
ＡＩを搭載したシステムの概要を示す図。
ＪＳＤの概要について説明するための図。
異なる階級数に従って作成される学習データ群に含まれる複数のデータの分布を表すヒストグラムの一例を示す図。
異なる階級数に従って作成される運用データ群に含まれる複数のデータの分布を表すヒストグラムの一例を示す図。
階級数に応じて計算されるＪＳＤについて説明するための図。
第１実施形態に係る指標計算装置の概要について説明するための図。
指標計算装置の機能構成の一例を示すブロック図。
指標計算装置のハードウェア構成の一例を示す図。
指標計算装置の処理手順の一例を示すフローチャート。
学習データ群及び運用データ群の一例を示す図。
階級数毎に計算された指標を表すグラフの一例を示す図。
第２実施形態に係る指標計算装置の機能構成の一例を示すブロック図。
指標計算装置の処理手順の一例を示すフローチャート。
学習データ群及び運用データ群の一例を示す図。
階級数毎に計算された第１及び第２指標を表すグラフの一例を示す図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、各実施形態について説明する。
（第１実施形態）
まず、第１実施形態について説明する。ここで、図１は、ＡＩ（人工知能）を搭載したシステムの概要を示している。
（【００１１】以降は省略されています）

関連特許