特許ウォッチ

公開番号2024164413
公報種別公開特許公報(A)
公開日2024-11-27
出願番号2023079867
出願日2023-05-15
発明の名称評価装置、評価方法、及び、評価プログラム
出願人株式会社IHI
代理人個人,個人,個人
主分類G06N 20/00 20190101AFI20241120BHJP(計算;計数)
要約【課題】任意の機械学習によって生成された学習モデルに対して、学習モデルが有する不確かさを評価することが可能な評価装置、評価方法、及び、評価プログラムを提供する。
【解決手段】評価装置、評価方法、及び、評価プログラムは、第1変数及び第2変数の組である複数のデータに基づく機械学習を行って、第1変数に対応する第2変数を近似する第1予測関数とは異なる、第2予測関数を生成し、第2変数に関する所定有意水準での予測区間の上限及び下限に対して、第2変数の確率分布に対する累積分布関数の上限での値から下限での値を差し引いて得られる第1計算値と、1から所定有意水準を差し引いて得られる第2計算値の絶対差が最小となる場合の、第2予測関数と第1予測関数の間の誤差を示す指標を示す指標値を算出する。
【選択図】図1
特許請求の範囲【請求項１】
入力部と、コントローラと、を備える評価装置であって、
前記入力部は、
第１変数、及び、第２変数の組である複数のデータと、
前記データに基づいて生成され、前記第１変数に対応する前記第２変数を近似する第１予測関数と、
を取得し、
前記コントローラは、
前記データに基づく機械学習を行って、前記第１変数に対応する前記第２変数を近似する、前記第１予測関数とは異なる第２予測関数を生成し、
第１指標値を、前記第２変数と前記第２予測関数の間の誤差を示す指標とし、
第２指標値を、前記第２予測関数と前記第１予測関数の間の誤差を示す指標として、
前記第２指標値を変動させた際に、
前記第１指標値及び前記第２指標値に基づいて定まる、前記第２変数に関する所定有意水準での予測区間の上限及び下限に対して、前記第２変数の確率分布に対する累積分布関数の前記上限での値から前記下限での値を差し引いて得られる第１計算値と、
１から前記所定有意水準を差し引いて得られる第２計算値
の絶対差が最小となる場合の前記第２指標値を算出する、評価装置。
続きを表示（約 1,400 文字）【請求項２】
前記第１変数をｘ、
前記第１予測関数をＦ（ｘ）、
前記第２予測関数をＧ（ｘ）、
前記所定有意水準をα、
標準偏差１及び平均値０となるよう前記第２変数を標準化して得られる変数ｔに関する確率分布における（１－α／２）分位点をｋ、
前記変数ｔに関する確率分布に対する累積分布関数をΦ（ｔ）、
前記第１指標値をσ
ａ
（ｘ）、
前記第２指標値をσ
ｅ
（ｘ）、
前記上限をＰＩ
＋
（ｘ）、前記下限をＰＩ
－
（ｘ）と表記した場合に、
前記コントローラは、
式（１）に基づいて前記上限及び前記下限を算出し、
式（２）に基づいて前記絶対差を算出する、請求項１に記載の評価装置。
TIFF
2024164413000004.tif
33
166
【請求項３】
前記第１予測関数は、前記データに基づいて、深層学習とは異なる機械学習によって生成された、請求項１に記載の評価装置。
【請求項４】
前記コントローラは、前記データに基づく深層学習を行って、前記第２予測関数を生成する、請求項１に記載の評価装置。
【請求項５】
前記コントローラは、前記データに基づく機械学習を行って、前記第１指標値を生成する、請求項１に記載の評価装置。
【請求項６】
前記コントローラは、前記第１変数の値の近傍における、前記第２変数と前記第２予測関数の間の不偏標準偏差を、前記第１指標値として生成する、請求項１に記載の評価装置。
【請求項７】
前記コントローラは、前記第１指標値及び前記第２指標値を変動させた際に、前記絶対差が最小となる場合の前記第１指標値及び前記第２指標値を算出する、請求項１に記載の評価装置。
【請求項８】
前記確率分布は正規分布である、請求項１に記載の評価装置。
【請求項９】
前記第２変数と前記第１予測関数の間の誤差よりも、前記第２変数と前記第２予測関数の間の誤差が小さい、請求項１～８のいずれか一項に記載の評価装置。
【請求項１０】
第１変数、及び、第２変数の組である複数のデータと、
前記データに基づいて生成され、前記第１変数に対応する前記第２変数を近似する第１予測関数と、
を取得する入力部と接続されたコントローラを制御する評価方法であって、
前記コントローラは、
前記データに基づく機械学習を行って、前記第１変数に対応する前記第２変数を近似する、前記第１予測関数とは異なる第２予測関数を生成し、
第１指標値を、前記第２変数と前記第２予測関数の間の誤差を示す指標とし、
第２指標値を、前記第２予測関数と前記第１予測関数の間の誤差を示す指標として、
前記第２指標値を変動させた際に、
前記第１指標値及び前記第２指標値に基づいて定まる、前記第２変数に関する所定有意水準での予測区間の上限及び下限に対して、前記第２変数の確率分布に対する累積分布関数の前記上限での値から前記下限での値を差し引いて得られる第１計算値と、
１から前記所定有意水準を差し引いて得られる第２計算値
の絶対差が最小となる場合の前記第２指標値を算出する、評価方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、評価装置、評価方法、及び、評価プログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
特許文献１には、入力データと正解データを入力として学習して推論を行う際の信頼性を評価する技術が開示されている。特に、当該技術によれば、入力データに関する情報に基づくクラスタリングの結果をもとに推論時の入力データについてクラスタリングを行って複数のクラスタが抽出される。そして、評価の結果と抽出された複数のクラスタの情報を元に推論の信頼性を評価する信頼性評価値が決定される。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－０８８１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された技術によれば、入力データにおけるデータ間の距離を基づいて信頼性が算出される。一方で、入力データ及び正解データの間の関係を表す真の関数、及び、データに含まれるノイズに対する評価は行われていないという問題がある。
【０００５】
本開示は、上記問題に鑑みてなされたものである。その目的とするところは、任意の機械学習によって生成された学習モデルに対して、学習モデルが有する不確かさを評価することが可能な評価装置、評価方法、及び、評価プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本開示に係る評価装置は、入力部と、コントローラと、を備える。入力部は、第１変数、及び、第２変数の組である複数のデータと、データに基づいて生成され、第１変数に対応する第２変数を近似する第１予測関数と、を取得する。コントローラは、データに基づく機械学習を行って、第１変数に対応する第２変数を近似する、第１予測関数とは異なる第２予測関数を生成する。
【０００７】
第１指標値を、第２変数と第２予測関数の間の誤差を示す指標とする。第２指標値を、第２予測関数と第１予測関数の間の誤差を示す指標とする。コントローラは、第２指標値を変動させた際に、第１計算値と第２計算値の絶対差が最小となる場合の第２指標値を算出する。ここで、第１指標値及び第２指標値に基づいて定まる、第２変数に関する所定有意水準での予測区間の上限及び下限に対して、第２変数の確率分布に対する累積分布関数の上限での値から下限での値を差し引くことで、第１計算値は得られる。第２計算値は、１から所定有意水準を差し引いて得られる。
【０００８】
第１変数をｘ、第１予測関数をＦ（ｘ）、第２予測関数をＧ（ｘ）、所定有意水準をαと表記するものであってもよい。標準偏差１及び平均値０となるよう第２変数を標準化して得られる変数ｔに関する確率分布における（１－α／２）分位点をｋ、変数ｔに関する確率分布に対する累積分布関数をΦ（ｔ）と表記するものであってもよい。第１指標値をσ
ａ
（ｘ）、第２指標値をσ
ｅ
（ｘ）、上限をＰＩ
＋
（ｘ）、下限をＰＩ
－
（ｘ）と表記するものであってもよい。
【０００９】
コントローラは、式（１）に基づいて上限及び下限を算出し、式（２）に基づいて絶対差を算出するものであってもよい。
【００１０】
TIFF
2024164413000002.tif
33
166
（【００１１】以降は省略されています）

関連特許