特許ウォッチ

公開番号2025018389
公報種別公開特許公報(A)
公開日2025-02-06
出願番号2023122053
出願日2023-07-26
発明の名称情報処理システム、方法またはプログラム
出願人株式会社日立製作所
代理人弁理士法人ウィルフォート国際特許事務所
主分類G06N 20/00 20190101AFI20250130BHJP(計算;計数)
要約【課題】モデルへの入力データ等が有する次元のそれぞれの、モデル出力ドリフトに対する寄与度を算出することを、本開示の目的の1つとしてよい。
【解決手段】モデル出力ドリフト検知部102はモデル101の出力の不確実性を示すモデル出力ドリフトの高まりが発生したか否かを判定する。ベースラインデータ設定部103は、モデル出力ドリフトの高まりが検知された対象であるモデルへの入力データ111または特徴量112に対応する時刻以前の時刻におけるモデルへの入力または特徴量から、ベースラインデータ117を選択する。寄与度算出部104は、ベースラインデータ117に基づいて、モデルへの入力データ111または特徴量112が有する複数の次元について、次元のそれぞれの、モデル出力ドリフトに対する寄与度118を算出する。
【選択図】図1
特許請求の範囲【請求項１】
情報処理システムであって、
前記情報処理システムは、入力または当該入力に対する変換処理により得られる特徴量に応じて、クラスに関する情報を出力するためのモデルを実現するものであり、
前記情報処理システムは、モデル出力ドリフト検知部とベースラインデータ設定部と寄与度算出部を備えるものであり、
前記モデル出力ドリフト検知部は、前記モデルの出力の不確実性を示すモデル出力ドリフトの高まりが発生したか否かを判定するものであり、
前記ベースラインデータ設定部は、前記モデル出力ドリフトの高まりが検知された対象である前記モデルへの入力または前記特徴量に対応する時刻以前の時刻における、前記モデルへの入力または前記特徴量から、ベースラインデータを選択するものであり、
前記寄与度算出部は、前記ベースラインデータに基づいて、前記モデルへの入力または前記特徴量が有する複数の次元について、前記次元のそれぞれの、前記モデル出力ドリフトに対する寄与度を算出するものである、情報処理システム。
続きを表示（約 3,700 文字）【請求項２】
請求項１に記載の情報処理システムであって、
前記モデル出力ドリフト検知部は、モデル出力計算部と不確実性計算部とモデル出力ドリフト判定部を備えるものであり、
前記モデル出力計算部は、前記モデルを実現することにより、前記モデルへの入力または前記特徴量に応じて、クラスに関する情報を求めるものであり、
前記不確実性計算部は、前記クラスに関する情報に基づいて、前記モデルからの出力の不確実性を示すモデル出力ドリフト度を算出するものであり、
前記モデル出力ドリフト判定部は、前記モデル出力ドリフト度が所定の条件を満たす場合に、前記モデル出力ドリフトの高まりが発生したと判定するものである、情報処理システム。
【請求項３】
請求項１に記載の情報処理システムであって、
前記ベースラインデータ設定部は、参照時刻選択部と過去モデル出力取得部とベースラインデータ選択部を備えるものであり、
前記参照時刻選択部は、前記モデル出力ドリフトの高まりが検知された対象である前記モデルへの入力または前記特徴量に対応する時刻以前の時刻のうちの、所定の条件を満たす時間帯に含まれる時刻における、前記モデルへの入力または前記特徴量を選択するものであり、
前記過去モデル出力取得部は、前記モデルを実現することにより、前記参照時刻選択部により選択された前記モデルへの入力または前記特徴量に応じて、クラスに関する情報を求めるか、または、前記参照時刻選択部により選択された前記モデルへの入力または前記特徴量に対する、過去に求められたクラスに関する情報の履歴から、クラスに関する情報を求めるものであり、
前記ベースラインデータ選択部は、前記モデル出力ドリフトの高まりが検知された対象である前記モデルへの入力または前記特徴量に対するクラスに関する情報と、前記過去モデル出力取得部により求められたクラスに関する情報に基づいて、前記参照時刻選択部により選択された前記モデルへの入力または前記特徴量のなかから、前記ベースラインデータを選択するものである、情報処理システム。
【請求項４】
請求項１に記載の情報処理システムであって、
前記寄与度算出部は、個別寄与度計算部と集合寄与度計算部を備えるものであり、
前記個別寄与度計算部は、前記ベースラインデータのそれぞれ毎に、前記モデル出力ドリフトの高まりが検知された対象である前記モデルへの入力または前記特徴量と、当該ベースラインデータに基づいて、前記次元のそれぞれの寄与度を算出するものであり、
前記集合寄与度計算部は、前記ベースラインデータのそれぞれに対応した前記次元のそれぞれの寄与度に基づいて、前記ベースラインデータの集合に対応する、前記次元のそれぞれの寄与度を算出するものである、情報処理システム。
【請求項５】
請求項１に記載の情報処理システムであって、
前記情報処理システムは、表示出力制御部を備えるものであり、
前記表示出力制御部は、前記次元のそれぞれの寄与度に関する情報を、表示または出力するように制御するものである、情報処理システム。
【請求項６】
請求項１に記載の情報処理システムであって、
前記ベースラインデータ設定部は、前記モデル出力ドリフトの高まりが検知された対象である前記モデルへの入力または前記特徴量に対応する時刻以前の時刻における複数の時間帯に関して、前記時間帯のそれぞれについて、当該時間帯に含まれる時刻における、前記モデルへの入力または前記特徴量から、ベースラインデータを選択するものであり、
前記寄与度算出部は、前記時間帯のそれぞれについて、当該時間帯に属する前記ベースラインデータに基づいて、前記次元のそれぞれの寄与度を算出するものであり、
前記寄与度算出部は、前記時間帯及び前記次元の組み合わせに対応した前記寄与度に関する情報を有する寄与度時系列情報を得るものである、情報処理システム。
【請求項７】
請求項１に記載の情報処理システムであって、
前記情報処理システムは、ドリフト履歴データベースと類似ドリフト検索部を備えるものであり、
前記ドリフト履歴データベースは、過去に前記モデル出力ドリフト検知部により検知された前記モデル出力ドリフトの高まりに対応するレコードを有するものであり、
前記レコードは、前記モデル出力ドリフトの高まりに関係する、時刻、前記モデルへの入力、当該入力に対する変換処理により得られる特徴量、前記モデルからの出力であるクラスに関する情報、前記次元のそれぞれの寄与度、当該モデル出力ドリフトの高まりの要因のそれぞれの情報の一部または全部を有するものであり、
前記類似ドリフト検索部は、前記モデル出力ドリフト検知部により前記モデル出力ドリフトの高まりが検知された際に、検知された前記モデル出力ドリフトの高まりに関連する、前記モデルへの入力、当該入力に対する変換処理により得られる特徴量、前記モデルからの出力であるクラスに関する情報、前記次元のそれぞれの寄与度のそれぞれの情報の一部または全部について、前記ドリフト履歴データベースが有するレコードにおける対応する情報と比較する検索処理を行い、比較した情報に関して類似度が高いレコードを特定するものである、情報処理システム。
【請求項８】
情報処理システムが実行する方法であって、
前記情報処理システムは、入力または当該入力に対する変換処理により得られる特徴量に応じて、クラスに関する情報を出力するためのモデルを実現するものであり、
前記方法は、モデル出力ドリフト検知ステップとベースラインデータ設定ステップと寄与度算出ステップを備えるものであり、
前記モデル出力ドリフト検知ステップは、前記モデルの出力の不確実性を示すモデル出力ドリフトの高まりが発生したか否かを判定するステップであり、
前記ベースラインデータ設定ステップは、前記モデル出力ドリフトの高まりが検知された対象である前記モデルへの入力または前記特徴量に対応する時刻以前の時刻における、前記モデルへの入力または前記特徴量から、ベースラインデータを選択するステップであり、
前記寄与度算出ステップは、前記ベースラインデータに基づいて、前記モデルへの入力または前記特徴量が有する複数の次元について、前記次元のそれぞれの、前記モデル出力ドリフトに対する寄与度を算出するステップである、方法。
【請求項９】
請求項８に記載の方法であって、
前記モデル出力ドリフト検知ステップは、モデル出力計算ステップと不確実性計算ステップとモデル出力ドリフト判定ステップを備えるものであり、
前記モデル出力計算ステップは、前記モデルを実現することにより、前記モデルへの入力または前記特徴量に応じて、クラスに関する情報を求めるステップであり、
前記不確実性計算ステップは、前記クラスに関する情報に基づいて、前記モデルからの出力の不確実性を示すモデル出力ドリフト度を算出するステップであり、
前記モデル出力ドリフト判定ステップは、前記モデル出力ドリフト度が所定の条件を満たす場合に、前記モデル出力ドリフトの高まりが発生したと判定するステップである、方法。
【請求項１０】
請求項８に記載の方法であって、
前記ベースラインデータ設定ステップは、参照時刻選択ステップと過去モデル出力取得ステップとベースラインデータ選択ステップを備えるものであり、
前記参照時刻選択ステップは、前記モデル出力ドリフトの高まりが検知された対象である前記モデルへの入力または前記特徴量に対応する時刻以前の時刻のうちの、所定の条件を満たす時間帯に含まれる時刻における、前記モデルへの入力または前記特徴量を選択するステップであり、
前記過去モデル出力取得ステップは、前記モデルを実現することにより、前記参照時刻選択ステップにより選択された前記モデルへの入力または前記特徴量に応じて、クラスに関する情報を求めるか、または、前記参照時刻選択ステップにより選択された前記モデルへの入力または前記特徴量に対する、過去に求められたクラスに関する情報の履歴から、クラスに関する情報を求めるステップであり、
前記ベースラインデータ選択ステップは、前記モデル出力ドリフトの高まりが検知された対象である前記モデルへの入力または前記特徴量に対するクラスに関する情報と、前記過去モデル出力取得ステップにより求められたクラスに関する情報に基づいて、前記参照時刻選択ステップにより選択された前記モデルへの入力または前記特徴量のなかから、前記ベースラインデータを選択するステップである、方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、モデルからの出力の不確実性に対する、モデルへの入力等が有する次元のそれぞれの寄与度を算出する技術に関するものである。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
入力データ、または、入力データに対する変換処理により得られる特徴量（以下、これらを合わせて「入力データ等」または「入力等」と言うことがある。）に応じて、クラス（分類）に関する情報（例えば、クラス（分類）のそれぞれに属する確率の情報）を出力するための分類モデルが知られている。
また、分類モデルに限らず、機械学習により構築されるモデルにおいて、モデルからの出力結果の不確実性が高まることがある（以下、このような不確実性のことを「モデル出力ドリフト」と言うことがある。）。モデルからの出力結果の不確実性に対処するために、不確実性が高まる原因を特定したいことがある。
特許文献１は、モデルに入力される時系列データ毎に当該時系列データの変化の度合いを変化スコアと定義する先行技術を開示している。非特許文献１は、分類モデルからの出力結果の不確実性に対する、分類モデルへの入力が有する次元のそれぞれの寄与度を算出するために、モデルへの入力としての、ベースラインデータと現在の入力データを用いる先行技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０－１４４４９３号公報
【非特許文献】
【０００４】
Iker Perez, et al.， "Attribution of Predictive Uncertainties in Classification Models"，Proceedings of the 38th Conference on Uncertainty in Artificial Intelligence (UAI 2022) ，arXiv，Submitted on 19 Jul 2021，last revised 8 Jun 2022，pp.1582-1591
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ある系から得られる、１つの時刻に対応して複数の次元を有する時系列データが分類モデルへ入力され、クラス（分類）に関する情報がモデルから出力されるようなシステムの態様であり、モデル出力ドリフトの原因の１つが、運用時のモデルへの入力データ等の状態変化（以下、入力データ等の状態変化のことを「モデル入力ドリフト」と言うことがある。）にあると想定される場合は、いずれの次元に関するモデル入力ドリフトが、モデル出力ドリフトに寄与したのかを特定することが望まれることがありうる。
特許文献１に開示された先行技術は、モデルに入力される時系列データ毎に当該時系列データの変化の度合いを変化スコアと定義するものである。しかしながら、モデルへの入力データ等の状態変化により、必ず、モデルの出力の精度の劣化につながるとは限らない。例えば、モデルへの入力データ等が、１つの時刻に対応して複数の次元を有するとして、それらの次元のうち、モデルの出力への寄与が低い次元については、当該次元に関するモデル入力ドリフトは、モデル出力ドリフト（モデルの精度の劣化）を生じさせにくい。そのため、特許文献１に開示された先行技術は、モデルの入力データ等が複数の次元を有する場合における、次元のそれぞれのモデル入力ドリフトがモデル出力ドリフトに与える影響を正しく評価出来ない可能性がある。つまりは、特許文献１に開示された先行技術は、いずれの次元に関するモデル入力ドリフトが、モデル出力ドリフトに寄与したのかを特定出来ないことがある。
非特許文献１に開示された先行技術は、分類モデルからの出力結果の不確実性に対する、分類モデルへの入力データ等が有する次元のそれぞれの寄与度を算出するために、モデルへの入力データとしての、ベースラインデータと現在の入力データを用いる。しかしながら、ベースラインデータの設定次第で、寄与度の算出結果が変動する可能性がある。そのため、非特許文献１に開示された先行技術は、如何なる技術的意味を示す、次元のそれぞれの寄与度を算出しているのかが判然としない恐れがある。例えば、ある期間においてモデル入力ドリフトが断続的に複数回発生するケースや、ある期間においてモデル入力ドリフトが常時発生しているケースでは、次元のそれぞれの寄与度が算出されても、その算出された寄与度の値が、何を意味するのかが明確でなくなる恐れがある。
【０００６】
以上を踏まえて、モデルへの入力データ等が複数の次元を有するケースにおいて、次元のそれぞれの、モデル出力ドリフトに対する寄与度を算出することを、本開示の目的の１つとしてよい。また、如何なる技術的意味を示す、次元のそれぞれの寄与度を算出したいのかに応じた、寄与度の算出を行うことを、本開示の目的の１つとしてよい。
【課題を解決するための手段】
【０００７】
上記目的のうちの少なくとも一つを達成するために、本開示が備えうる特徴は、例えば次のとおりである。
本開示の１つは情報処理システムである。情報処理システムは、入力または当該入力に対する変換処理により得られる特徴量に応じて、クラスに関する情報を出力するためのモデルを実現する。情報処理システムはモデル出力ドリフト検知部とベースラインデータ設定部と寄与度算出部を備える。モデル出力ドリフト検知部はモデルの出力の不確実性を示すモデル出力ドリフトの高まりが発生したか否かを判定する。ベースラインデータ設定部は、モデル出力ドリフトの高まりが検知された対象であるモデルへの入力または特徴量に対応する時刻以前の時刻における、モデルへの入力または特徴量から、ベースラインデータを選択する。寄与度算出部は、ベースラインデータに基づいて、モデルへの入力または特徴量が有する複数の次元について、次元のそれぞれの、モデル出力ドリフトに対する寄与度を算出する。
【発明の効果】
【０００８】
以上のように、本開示は、モデル出力ドリフト検知部とベースラインデータ設定部と寄与度算出部の機能により、モデル出力ドリフトの高まりの発生時に、モデルへの入力データが有する次元のそれぞれの、モデル出力ドリフトに対する寄与度を算出することが出来る。また、以上のように、本開示は、ベースラインデータ設定部により選択されたベースラインデータを用いて、寄与度算出部により、次元のそれぞれの寄与度を算出するので、ベースラインデータの選択によって、如何なる技術的意味を示す、次元のそれぞれの寄与度を算出したいのかに応じた、寄与度の算出を行うことが出来る。
【０００９】
上記の情報処理システムが実現する処理と同様のことを実現する方法やプログラムも、上記の情報処理システムと同様の作用効果を得ることが出来る。更に、プログラムの態様であれば、多くの場合で費用は削減される。プログラムでは、処理に関する設計変更も行われやすい。
上記以外の本開示が備えうる特徴、及び、当該特徴に対応する作用効果は、この明細書、特許請求の範囲または図面に開示される。
【図面の簡単な説明】
【００１０】
本開示の実施形態のそれぞれに共通する機能構成を示す。
本開示の実施形態のシステム構成を示す。
本開示の実施形態を実現するコンピュータアーキテクチャを示す。
第１の実施形態の機能構成を示す。
第１の実施形態のフローチャートを示す。
時間帯に基づくベースラインデータの選択の意義を示す。
予測クラスに基づくベースラインデータの選択の意義を示す。
次元のそれぞれの寄与度の算出のフローチャートを示す。
第１の実施形態の説明画面を示す。
機械学習のための機能構成を示す。
機械学習のためのフローチャートを示す。
第２の実施形態の機能構成を示す。
第２の実施形態のフローチャートを示す。
第２の実施形態の説明画面を示す。
第３の実施形態の機能構成を示す。
第３の実施形態のフローチャートを示す。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許