特許ウォッチ

公開番号2024148915
公報種別公開特許公報(A)
公開日2024-10-18
出願番号2023062498
出願日2023-04-07
発明の名称評価支援装置、評価支援方法及びプログラム
出願人富士電機株式会社
代理人個人,個人
主分類G06N 20/00 20190101AFI20241010BHJP(計算;計数)
要約【課題】AIの品質評価を支援する技術を提供すること。
【解決手段】本開示の一態様による評価支援装置は、機械学習モデルの品質評価を支援するための評価支援装置であって、前記機械学習モデルの学習に用いられる学習データが含まれる学習データセットを入力する入力部と、前記学習データセットを用いて、前記品質評価に関する指標値を算出する算出部と、前記指標値が、与えられた要求を満たすか否かを判定する判定部と、を有する。
【選択図】図2
特許請求の範囲【請求項１】
機械学習モデルの品質評価を支援するための評価支援装置であって、
前記機械学習モデルの学習に用いられる学習データが含まれる学習データセットを入力する入力部と、
前記学習データセットを用いて、前記品質評価に関する指標値を算出する算出部と、
前記指標値が、与えられた要求を満たすか否かを判定する判定部と、
を有する評価支援装置。
続きを表示（約 1,000 文字）【請求項２】
前記算出部は、
前記学習データセットに関する基本統計量を前記品質評価に関する指標値として算出する、請求項１に記載の評価支援装置。
【請求項３】
前記基本統計量には、前記学習データに含まれる各説明変数の各々に関する欠損値の割合、前記各説明変数の各々に関する外れ値の割合、前記各説明変数の各々に関する平均、前記各説明変数の各々に関する分散、前記各説明変数のうちの２つの説明変数の組に関する共分散、の少なくとも１つが含まれる、請求項２に記載の評価支援装置。
【請求項４】
前記算出部は、
前記学習データセットに含まれる学習データのうち、前記機械学習モデルの学習に用いられていない学習データを用いて、前記機械学習モデルの性能指標値を前記品質評価に関する指標値として算出する、請求項１に記載の評価支援装置。
【請求項５】
前記算出部は、
前記学習データに含まれる説明変数間の多重共線性を表す指標値を前記品質評価に関する指標値として算出する、請求項１に記載の評価支援装置。
【請求項６】
前記多重共線性を表す指標値は、分散拡大係数である、請求項５に記載の評価支援装置。
【請求項７】
前記機械学習モデルの品質評価に用いられる所定のガイドライン中の前記品質評価に関するチェック項目と、前記チェック項目に対応する指標値に関する前記判定部による判定結果とを、予め決められた所定の出力先に出力する出力部、を更に有する請求項１乃至６の何れか一項に記載の評価支援装置。
【請求項８】
機械学習モデルの品質評価を支援するためのコンピュータが、
前記機械学習モデルの学習に用いられる学習データが含まれる学習データセットを入力する入力手順と、
前記学習データセットを用いて、前記品質評価に関する指標値を算出する算出手順と、
前記指標値が、与えられた要求を満たすか否かを判定する判定手順と、
を実行する評価支援方法。
【請求項９】
機械学習モデルの品質評価を支援するためのコンピュータに、
前記機械学習モデルの学習に用いられる学習データが含まれる学習データセットを入力する入力手順と、
前記学習データセットを用いて、前記品質評価に関する指標値を算出する算出手順と、
前記指標値が、与えられた要求を満たすか否かを判定する判定手順と、
を実行させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、評価支援装置、評価支援方法及びプログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
近年、機械学習技術等のＡＩ（Artificial Intelligence）が様々な分野で利用されている。しかしながら、ＡＩはブラックボックスであるものも多く、プラント分野等といったミスが重大な損失に繋がる分野ではＡＩが利用されにくい傾向にある。そこで、ＡＩの品質をどのように保証するか検討がなされており、様々なガイドライン（例えば、非特許文献１及び２等）が作成され、品質担保の目安にされている。
【先行技術文献】
【非特許文献】
【０００３】
プラント保安分野AI信頼性評価ガイドライン第2版，2021年3月，石油コンビナート等災害防止３省連絡会議（経済産業省、総務省消防庁、厚生労働省），インターネット＜ＵＲＬ：https://www.meti.go.jp/press/2020/03/20210330002/20210330002-2.pdf＞
ＡＩプロダクト品質保証ガイドライン 2022.07版，ＡＩプロダクト品質保証コンソーシアム（QA4AIコンソーシアム）編，インターネット＜ＵＲＬ：https://www.qa4ai.jp/QA4AI.Guideline.202207.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、非特許文献１や非特許文献２に記載されているガイドラインにはチェックリストが含まれており、これらのチェックリストによりＡＩの品質が確保されているか否かを評価することができる。しかしながら、チェックリストの項目（以下、「チェック項目」ともいう。）を１つ１つ人手で確認するには多大な労力を要する。
【０００５】
本開示は、上記の点に鑑みてなされたもので、ＡＩの品質評価を支援する技術を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様による評価支援装置は、機械学習モデルの品質評価を支援するための評価支援装置であって、前記機械学習モデルの学習に用いられる学習データが含まれる学習データセットを入力する入力部と、前記学習データセットを用いて、前記品質評価に関する指標値を算出する算出部と、前記指標値が、与えられた要求を満たすか否かを判定する判定部と、を有する。
【発明の効果】
【０００７】
ＡＩの品質評価を支援する技術が提供される。
【図面の簡単な説明】
【０００８】
本実施形態に係る評価支援装置のハードウェア構成の一例を示す図である。
本実施形態に係る評価支援装置の機能構成の一例を示す図である。
本実施形態に係る基本統計量確認処理の一例を示すフローチャートである。
本実施形態に係るモニタリング処理の一例を示すフローチャートである。
本実施形態に係る性能指標値確認処理の一例を示すフローチャートである。
本実施形態に係る多重共線性確認処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態について説明する。
【００１０】
＜ガイドラインのチェック項目＞
（１）基本統計量に関するチェック項目
プラント保安分野ＡＩ信頼性評価ガイドライン（非特許文献１）には、データセットの被覆性に関するチェック項目（要求事項Ｎｏ．５５）として、以下の表１に示すチェック項目が含まれている。
（【００１１】以降は省略されています）

関連特許