特許ウォッチ

公開番号2025130559
公報種別公開特許公報(A)
公開日2025-09-08
出願番号2024027806
出願日2024-02-27
発明の名称ストリーミングデータを入力とする機械学習モデルの学習システム及び学習方法
出願人株式会社日立製作所
代理人弁理士法人サンネクスト国際特許事務所
主分類G06N 20/00 20190101AFI20250901BHJP(計算;計数)
要約【課題】不均衡ストリーミングデータを入力とする機械学習モデルの予測精度を維持する。
【解決手段】システムは、モデルに入力された不均衡ストリーミングデータにおけるデータ要素毎に、モデルから当該データ要素のクラス予測確率を受け、当該予測確率を基に、当該クラス予測確率に従うクラスの不確実性レベルを算出する。システムは、当該データ要素毎に、クラス毎に用意された不確実性範囲のうち、当該クラス予測確率に従うクラスに対応の不確実性範囲を特定し、当該不確実性レベルが、当該特定された不確実性範囲の外にあるか否かを判定し、当該判定の結果に応じて、当該データ要素についてのラベリング要求を発行する又は発行しない。システムは、発行されたラベリング要求に応答してラベル付けされたデータ要素から成るラベル付けデータセットを基に、モデルを学習する。
【選択図】図1

特許請求の範囲【請求項１】
不確実性アナライザと学習モジュールとを有し、
前記不確実性アナライザは、機械学習モデルに入力された不均衡ストリーミングデータにおけるデータ要素毎に、
当該機械学習モデルから当該データ要素のクラス予測確率を受け、
当該クラス予測確率を基に、当該クラス予測確率に従うクラスの不確実性レベルを算出し、
前記学習モジュールは、当該データ要素毎に、
クラス毎に用意されており不確実性が高いと定義された範囲である不確実性範囲のうち、当該クラス予測確率に従うクラスに対応の不確実性範囲を特定し、
当該データ要素のクラスについて算出された不確実性レベルが、当該特定された不確実性範囲の外にあるか否かの判定である範囲判定を行い、
当該範囲判定の結果に応じて、当該データ要素についてのラベリング要求を発行し又は非発行とし、
前記学習モジュールは、発行されたラベリング要求に応答してラベル付けされたデータ要素から成るラベル付けデータセットを基に、前記機械学習モデルを学習する、
学習システム。
続きを表示（約 1,800 文字）【請求項２】
前記範囲判定の結果が真であるデータ要素について、前記学習モジュールは、
これまでのデータ要素の数に対するこれまで発行されたラベリング要求の数に基づき、閾値である残りサンプリング予算を計算し、
前記不確実性レベルが取り得る範囲からランダム値を取得し、
取得された前記ランダム値が前記残りサンプリング予算より大きいか否かの判定である予算判定を行い、
当該予算判定の結果が偽の場合に、当該データ要素のラベリング要求を発行する、
当該予算判定の結果が真の場合に、当該データ要素のラベリング要求を非発行とする、
請求項１に記載の学習システム。
【請求項３】
前記範囲判定の結果が偽であるデータ要素について、前記学習モジュールは、ラベリング要求を発行する、
請求項１に記載の学習システム。
【請求項４】
不確実性更新モジュールを更に備え、
クラス予測確率と一つ以上の判定閾値との大小関係に応じて予測されたクラスが定まり、
クラス毎に、前記不確実性範囲は、前記一つ以上の判定閾値を境界とする二つ以上の範囲である二つ以上のマージンを有し、
前記不確実性更新モジュールは、ラベリング要求に応答してクラスがラベル付けされたデータ要素毎に、
当該データ要素のクラス予測確率と前記一つ以上の判定閾値との大小関係に応じて定まる予測されたクラスが、ラベル付けされたクラスに一致するか否かの判定である正解判定を行い、
当該正解判定の結果が真の場合、前記予測されたクラスに対応の不確実性範囲を縮小し、
当該正解判定の結果が偽の場合、前記予測されたクラスに対応の不確実性範囲を拡大する、
請求項１に記載の学習システム。
【請求項５】
前記正解判定の結果が真の場合、前記不確実性更新モジュールは、前記予測されたクラスに対応の不確実性範囲のうち、当該クラス予測確率が属するマージンを縮小し、
前記正解判定の結果が偽の場合、前記不確実性更新モジュールは、前記予測されたクラスに対応の不確実性範囲のうち、当該クラス予測確率が属するマージンを拡大する、
請求項４に記載の学習システム。
【請求項６】
不確実性パラメータエスティメータを備え、
前記不確実性パラメータエスティメータは、クラスの予測難易度を表すデータに基づき、当該クラスの予測難易度が高いほど、当該クラスの不確実性範囲が大きく推定し、
クラスの不確実性範囲は、推定された不確実性範囲である、
請求項１に記載の学習システム。
【請求項７】
不確実性パラメータエスティメータを備え、
前記不確実性パラメータエスティメータは、クラスのランクを表すデータに基づき、当該ランクが高い程、不確実性範囲を大きく推定する、
クラスの不確実性範囲は、推定された不確実性範囲である、
請求項１に記載の学習システム。
【請求項８】
不確実性パラメータエスティメータを備え、
前記不確実性パラメータエスティメータは、クラスの割合の分布を表すデータを含み、当該分布を基に、不確実性範囲を推定する、
クラスの不確実性範囲は、推定された不確実性範囲である、
請求項１に記載の学習システム。
【請求項９】
機械学習モデルに入力された不均衡ストリーミングデータにおけるデータ要素毎に、
当該機械学習モデルから当該データ要素のクラス予測確率を受け、
当該クラス予測確率を基に、当該クラス予測確率に従うクラスの不確実性レベルを算出し、
当該データ要素毎に、
クラス毎に用意されており不確実性が高いと定義された範囲である不確実性範囲のうち、当該クラス予測確率に従うクラスに対応の不確実性範囲を特定し、
当該データ要素のクラスについて算出された不確実性レベルが、当該特定された不確実性範囲の外にあるか否かの判定である範囲判定を行い、
当該範囲判定の結果に応じて、当該データ要素についてのラベリング要求を発行し又は非発行とし、
発行されたラベリング要求に応答してラベル付けされたデータ要素から成るラベル付けデータセットを基に、前記機械学習モデルを学習する、
ことをコンピュータにより行う学習方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、概して、ストリーミングデータを入力とする機械学習モデルの学習に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
機械学習モデルの処理に関し、例えば、特許文献１及び２に開示の技術、並びに、非特許文献１に開示の技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
ＪＰ２０２２－１８４２７２
ＷＯ２００８／０４７８３５
【非特許文献】
【０００４】
Ｌｉｕ，Ｗｅｉｋｅ，ｅｔａｌ． “Ａｃｏｍｐｒｅｈｅｎｓｉｖｅａｃｔｉｖｅｌｅａｒｎｉｎｇｍｅｔｈｏｄｆｏｒｍｕｌｔｉｃｌａｓｓｉｍｂａｌａｎｃｅｄｄａｔａｓｔｒｅａｍｓｗｉｔｈｃｏｎｃｅｐｔｄｒｉｆｔ．”．Ｋｎｏｗｌｅｄｇｅ－ＢａｓｅｄＳｙｓｔｅｍｓ２１５（２０２１）：１０６７７８．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ストリーミングデータを入力とする機械学習モデルから、ストリーミングデータにおけるデータ要素毎の予測の結果が出力される。
【０００６】
クラスが不均衡なデータである不均衡データが知られている。不均衡データとしてのストリーミングデータ、つまり、不均衡ストリーミングデータがある。不均衡ストリーミングデータが入力される機械学習モデルの予測精度は、下記（ａ）及び（ｂ）のうちの少なくとも一つを理由に低下し得る。
（ａ）機械学習モデルを用いた検出の対象データ（例えば、不良品のデータ）の低い存在可能性。
（ｂ）ストリーミングデータのデータソース（例えば監視カメラやセンサ）の劣化や交換等により発生し得るコンセプトドリフト。
【０００７】
このような課題を解決する技術は、特許文献１及び２、並びに、非特許文献１のいずれにも開示も示唆もされていない。
【課題を解決するための手段】
【０００８】
学習システムは、機械学習モデルに入力された不均衡ストリーミングデータにおけるデータ要素毎に、当該機械学習モデルから当該データ要素のクラス予測確率を受け、当該予測確率を基に、当該クラス予測確率に従うクラスの不確実性レベルを算出する。学習システムは、当該データ要素毎に、クラス毎に用意されており不確実性が高いと定義された範囲である不確実性範囲のうち、当該クラス予測確率に従うクラスに対応の不確実性範囲を特定し、当該不確実性レベルが、当該特定された不確実性範囲の外にあるか否かの判定である範囲判定を行い、当該範囲判定の結果に応じて、当該データ要素についてのラベリング要求を発行する又は発行しない。学習システムは、発行されたラベリング要求に応答してラベル付けされたデータ要素から成るラベル付けデータセットを基に、機械学習モデルを学習する。
【発明の効果】
【０００９】
本発明によれば、不均衡ストリーミングデータを入力とする機械学習モデルの予測精度を維持することができる。上記した以外の課題、構成および効果は、以下の発明を実施するための形態の説明により明らかにされる。
【図面の簡単な説明】
【００１０】
実施形態に係るデータ処理システムの概要を示す。
学習モジュールが行う処理の流れを示す。
不確実性パラメータエスティメータが行う処理の流れを示す。
不確実性更新モジュールが行う処理の流れを示す。
クラス予測確率が不確実性範囲のうちの下位マージンに属する例を示す。
クラス予測確率が不確実性範囲のうちの上位マージンに属する例を示す。
データ処理システムのハードウェア構成の例を示す。
図６に示したシステムでの学習と推論の概要を示す。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許