特許ウォッチ

公開番号2025048720
公報種別公開特許公報(A)
公開日2025-04-03
出願番号2024085932,2024503812
出願日2024-05-28,2023-09-21
発明の名称検証装置、推論システム、検証方法およびプログラム
出願人三菱電機株式会社
代理人弁理士法人山王内外特許事務所
主分類G06N 5/04 20230101AFI20250326BHJP(計算;計数)
要約【課題】推論モデルの期待出力の判定結果ごとの入力データ領域の割合を提示することができる検証装置を提供する。
【解決手段】検証装置(2)は、入力データ領域に対する推論モデルの出力データが期待出力ではない違反判定であるか否かを判定する期待出力判定部(24)と、入力データ領域のうち、違反判定ではないと判定された領域を分割し、分割した領域を推論モデルの新たな入力データ領域に設定する入力領域分割部(25)と、入力データ領域に対する判定結果ごとの領域の割合を算出する領域割合算出部(27)と、領域の割合を示す検証結果情報を表示装置(6)に表示する表示処理部(28)と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
データの数値範囲である入力データ領域に対する推論モデルの出力データが期待出力ではない違反判定であるか否かを判定する期待出力判定部と、
前記入力データ領域のうち、違反判定ではないと判定された領域を分割し、分割した領域を前記推論モデルの新たな前記入力データ領域に設定する入力領域分割部と、
前記入力データ領域に対する判定結果ごとの領域の割合を算出する領域割合算出部と、
領域の割合を示す検証結果情報を出力する検証結果出力部と、を備えた
ことを特徴とする検証装置。
続きを表示（約 1,500 文字）【請求項２】
前記期待出力判定部は、前記入力データ領域に対する前記推論モデルの出力データの全てが期待出力である合格判定、前記入力データ領域に対する前記推論モデルの出力データの全てが期待出力ではない違反判定、または、これらのいずれにも該当しない場合である不明判定のうち、いずれかを判定する
ことを特徴とする請求項１に記載の検証装置。
【請求項３】
前記入力データ領域に対する前記推論モデルの出力データの上界または下界の少なくとも一方を算出する出力上下界算出部を備え、
前記期待出力判定部は、前記推論モデルの出力データのうち上界または下界が示す出力データ領域について、前記合格判定、前記違反判定または前記不明判定のいずれかを判定する
ことを特徴とする請求項２に記載の検証装置。
【請求項４】
検証対象の前記推論モデルは、単一の決定木または複数の決定木から構成される決定木アンサンブルモデルであり、
前記入力領域分割部は、前記推論モデルに含まれるいずれかの決定木の分岐条件に応じて領域を分割する
ことを特徴とする請求項３に記載の検証装置。
【請求項５】
前記期待出力判定部によって判定された前記入力データ領域を取得する領域取得部を備え、
前記検証結果出力部は、取得された領域を示す情報を表示装置に表示する
ことを特徴とする請求項１に記載の検証装置。
【請求項６】
前記領域取得部によって取得された領域に含まれる一つ以上のデータサンプルを取得するサンプル取得部を備え、
前記検証結果出力部は、取得されたデータサンプルを前記表示装置に表示する
ことを特徴とする請求項５に記載の検証装置。
【請求項７】
前記領域取得部によって取得された複数の領域をより少ない数の領域にまとめる要約を行う領域要約部を備え、
前記検証結果出力部は、要約が行われた領域を示す情報を前記表示装置に表示する
ことを特徴とする請求項５に記載の検証装置。
【請求項８】
検証対象の前記推論モデルは、単一の決定木または複数の決定木から構成される決定木アンサンブルモデルであり、
取得された領域に含まれる、一つ以上のデータサンプルを取得するサンプル取得部を備え、
前記領域要約部は、取得されたデータサンプルを用いて単一の決定木を学習し、学習した決定木の葉ノードを用いて領域の要約を行う
ことを特徴とする請求項７に記載の検証装置。
【請求項９】
請求項１から請求項８のうちのいずれか１項に記載の検証装置と、
前記検証装置によって検証された前記推論モデルを読み込む推論モデル読込部と、前記推論モデルを用いた推論を行う推論部とを含む推論装置とを備えた
ことを特徴とする推論システム。
【請求項１０】
検証装置による検証方法であって、
期待出力判定部が、データの数値範囲である入力データ領域に対する推論モデルの出力データが期待出力ではない違反判定であるか否かを判定するステップと、
入力領域分割部が、前記入力データ領域のうち、違反判定ではないと判定された領域を分割し、分割した領域を前記推論モデルの新たな前記入力データ領域に設定するステップと、
領域割合算出部が、前記入力データ領域に対する判定結果ごとの領域の割合を算出するステップと、
検証結果出力部が、領域の割合を示す検証結果情報を出力するステップと、を備えた
ことを特徴とする検証方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、検証装置、推論システム、検証方法およびプログラムに関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
機械学習モデルである推論モデルの妥当性を評価する技術が提案されている。例えば、特許文献１には、決定木アンサンブルモデルに入力したデータ領域に対するモデル出力領域のうち、検証性質に違反する違反データサンプルを少なくとも１つ含む領域を提示するものである。
【先行技術文献】
【特許文献】
【０００３】
特許第７０５９２２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載される従来の技術は、推論モデルの期待出力ではない違反データサンプルを少なくとも１つ含む範囲を提示するものであるが、提示された範囲の全てのデータサンプルが違反データサンプルであるという保証はない。このため、従来の技術は、例えば、提示された範囲内の大半の領域に違反データサンプルが存在せず、違反データサンプルがごく狭い領域のみに存在する場合に、違反の程度が過大に評価されて違反への適切な対処が困難になるという課題があった。
【０００５】
本開示は上記課題を解決するものであり、推論モデルの期待出力の判定結果ごとの入力データ領域の割合を提示することができる検証装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本開示に係る検証装置は、データの数値範囲である入力データ領域に対する推論モデルの出力データが期待出力ではない違反判定であるか否かを判定する期待出力判定部と、入力データ領域のうち、違反判定ではないと判定された領域を分割し、分割した領域を推論モデルの新たな入力データ領域に設定する入力領域分割部と、入力データ領域に対する判定結果ごとの領域の割合を算出する領域割合算出部と、領域の割合を示す検証結果情報を出力する検証結果出力部と、を備える。
【発明の効果】
【０００７】
本開示によれば、入力データ領域に対する推論モデルの出力データが期待出力ではない違反判定であるか否かを判定し、入力データ領域のうち、違反判定ではないと判定された領域を分割して、分割した領域を推論モデルの新たな入力データ領域に設定し、入力データ領域に対する判定結果ごとの領域の割合を算出し、領域の割合を示す検証結果情報を出力するものである。推論モデルの期待出力の判定結果ごとの領域の割合を出力することにより、本開示に係る検証装置は、推論モデルの期待出力の判定結果ごとの入力データ領域の割合を提示することができる。これにより、違反の程度が過大にまたは過小に評価されることを抑制できる。
【図面の簡単な説明】
【０００８】
実施の形態１に係る推論システムの構成例を示すブロック図である。
入力データ領域および期待出力の判定結果を示すグラフである。
入力データ領域の分割処理および期待出力判定結果を示す概要図である。
期待出力判定の概要を示す概要図である。
期待出力判定結果の例を示す図である。
図６Ａ、図６Ｂおよび図６Ｃは、検証結果の表示例を示す図である。
実施の形態１に係る検証方法を示すフローチャートである。
領域判定処理を示すフローチャートである。
図９Ａおよび図９Ｂは、実施の形態１に係る検証装置の機能を実現するハードウェア構成を示すブロック図である。
実施の形態２に係る推論システムの構成例を示すブロック図である。
期待出力判定結果のデータ領域の取得結果およびその表示例を示す図である。
期待出力判定結果のデータ領域からのデータサンプルの取得結果およびその表示例を示す図である。
要約が行われた領域の表示例を示す概要図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、実施の形態１に係る推論システム１の構成例を示すブロック図である。図１において、推論システム１は、検証された推論モデルを用いて推論を行うシステムであり、検証装置２、推論装置３、推論モデル記憶装置４、判定結果記憶装置５および表示装置６を備える。検証装置２は、機械学習モデルである推論モデルを検証する装置であり、推論装置３は、推論モデルを用いて推論を行う装置である。推論システム１は、検証装置２、推論装置３、推論モデル記憶装置４、判定結果記憶装置５および表示装置６が、有線の信号線または無線通信によるネットワークを介して接続されたシステムである。ネットワークは、インターネット等を含む電気通信回線である。
【００１０】
検証装置２は、推論モデルの期待出力の判定結果ごとの入力データ領域の割合を提示することにより、違反の程度が過大にまたは過小に評価されることを抑制できる。例えば、特許文献１に記載される従来の技術では、検証結果として推論モデルの期待出力ではない違反データサンプルを少なくとも１つ含む違反範囲が提示される。なお、期待出力とは、推論モデルの出力データに対して真であることを期待する命題である。
図２は、入力データ領域および期待出力の判定結果を示すグラフである。図２に示す入力データ領域は、入力変数ｘ
１
と入力変数ｘ
３
によって規定されるデータ領域である。図２に示す領域Ａは、領域Ｂを含むデータ領域である。領域Ｂに含まれる全てのデータは、推論モデルの期待出力とはならない、すなわち検証条件を満たさない違反データサンプルであり、領域Ｂは、違反データサンプルのみを含む領域である。
（【００１１】以降は省略されています）

関連特許