特許ウォッチ

公開番号2025095150
公報種別公開特許公報(A)
公開日2025-06-26
出願番号2023210964
出願日2023-12-14
発明の名称情報処理システム及びその制御方法、プログラム
出願人キヤノンマーケティングジャパン株式会社,キヤノンITソリューションズ株式会社
代理人個人,個人
主分類G06F 11/34 20060101AFI20250619BHJP(計算;計数)
要約【課題】 AIの信頼性を把握可能な仕組みを提供する
【解決手段】学習済みモデルの評価に用いた評価用データセットのうち、第1の変数の値に対して微小な値を付与するように制御し、前記微小な値を付与する前の前記学習済みモデルによる推論結果から、前記微小な値を付与した後の前記学習済みモデルによる推論結果の差分を表示するように制御する。
【選択図】図14
特許請求の範囲【請求項１】
学習済みモデルの評価に用いた評価用データセットのうち、第１の変数の値に対して微小な値を付与するように制御する制御手段と、
前記微小な値を付与する前の前記学習済みモデルによる推論結果から、前記微小な値を付与した後の前記学習済みモデルによる推論結果の差分を表示するように制御する表示制御手段と、
を備えることを特徴とする情報処理システム。
続きを表示（約 900 文字）【請求項２】
前記差分が閾値を超えているか否かを判定する判定手段を備え、
前記判定手段によって、前記閾値を超えていると判定された学習済みモデルは検査結果を満たさないと評価されることを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記表示制御手段は、前記微小な値を付与しない場合の学習済みモデルによる推論結果と、前記微小な値を付与する場合の学習済みモデルによる推論結果とを表示するように制御することを特徴とする請求項１に記載の情報処理システム。
【請求項４】
前記表示制御手段は、前記第１の変数の値に前記微小な値を付与した場合の学習済みモデルによる推論結果と、前記評価用データセットのうち、第２の変数の値に前記微小な値を付与した場合の推論結果とを表示するように制御することを特徴とする請求項１に記載の情報処理システム。
【請求項５】
前記微小な値は、正規分布からランダムに選択された値であることを特徴とする請求項１に記載の情報処理システム。
【請求項６】
前記正規分布のパラメータは、前記第１の変数の値における分散に所定の倍率を掛けて決定されることを特徴とする請求項５に記載の情報処理システム。
【請求項７】
前記表示制御手段は、検査結果に応じて生成されたテキストを表示するように制御することを特徴とする請求項１に記載の情報処理システム。
【請求項８】
学習済みモデルの評価に用いた評価用データセットのうち、第１の変数の値に対して微小な値を付与するように制御する制御ステップと、
前記微小な値を付与する前の前記学習済みモデルによる推論結果から、前記微小な値を付与した後の前記学習済みモデルによる推論結果の差分を表示するように制御する表示制御ステップと、
を備えることを特徴とする情報処理システムの制御方法。
【請求項９】
少なくとも１つのコンピュータを請求項１乃至７のいずれか１項に記載の情報処理システムとして機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理システム及びその制御方法、プログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
近年、様々な分野において学習用データを用いた深層学習又は機械学習により生成されたＡＩが利用されている。ＡＩが実用可能かどうかを判断する際、評価データセットを用意し、それに対する精度を測ることが一般的であるが、評価データセットに対する性能の良さだけではＡＩの品質を信頼できない場合がある。
【０００３】
特許文献１には、予測と実績との間の誤差が生じた要因を把握するために予測状況を可視化する技術について開示されている。
【先行技術文献】
【特許文献】
【０００４】
特許第７０９５７４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
評価データセットに対する精度が高かったとしても、実際に現場で運用をした場合に高い精度が出ないことがある。このような場合にはＡＩに対する信頼性が低下してしまうことから、信頼できるＡＩを開発する仕組みが必要である。
【０００６】
そこで、本発明は、ＡＩの信頼性を把握可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、
学習済みモデルの評価に用いた評価用データセットのうち、第１の変数の値に対して微小な値を付与するように制御する制御手段と、
前記微小な値を付与する前の前記学習済みモデルによる推論結果から、前記微小な値を付与した後の前記学習済みモデルによる推論結果の差分を表示するように制御する表示制御手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ＡＩの信頼性を把握可能な仕組みを提供することが可能となる。
【図面の簡単な説明】
【０００９】
本発明の実施形態における、情報処理システムの構成の一例を示す図である。
本発明の実施形態における、クライアント端末１０１のハードウェア構成の一例を示すブロック図である。
本発明の実施形態における、ＡＩによる推論の性質の可視化機能構成の一例を示す図である。
本発明の実施形態における、ＡＩ検査する処理の一例を示すフローチャートである。
本発明の実施形態における、検査項目のＯＫ／ＮＧ結果でＡＩジョブを検索する処理の一例を示すフローチャートである。
本発明の実施形態における、低い精度の区間がある説明変数を可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、正解の分布と推論の分布の一致度を算出し可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、データセットの説明変数の外れ値を可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、ノイズ耐性試験をする処理の一例を示すフローチャートである。
本発明の実施形態における、モデル間の推論性能の変化を可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、低い精度の区間がある説明変数を可視化する画面の一例を示す図である。
本発明の実施形態における、正解の分布と推論の分布の一致度を算出し可視化する画面の一例を示す図である。
本発明の実施形態における、データセットの説明変数の外れ値を可視化する画面の一例を示す図である。
本発明の実施形態における、ノイズ耐性試験の画面の一例を示す図である。
本発明の実施形態における、モデル間の推論性能の変化を可視化する画面の一例を示す図の１枚目（説明変数の分布図）である。
本発明の実施形態における、モデル間の推論性能の変化を可視化する画面の一例を示す図の２枚目（推論の変化の混同行列）である。
本発明の実施形態における、モデル間の推論性能の変化を可視化する画面の一例を示す図の３枚目（レコードの詳細）である。
本発明の実施形態における、ジョブの結果表示する画面の一例を示す図である。
本発明の実施形態における、ジョブの結果を並列に表示する画面の一例を示す図である。
本発明の実施形態における、検査結果のサマリ表の画面の一例を示す図である。
本発明の実施形態における、検査項目のＯＫ／ＮＧ結果でジョブ番号をフィルターする画面の一例を示す図である。
本発明の実施形態における、データテーブルの一例を示す図である。
本発明の実施形態における、区間分割のデータテーブルの一例を示す図である。
本発明の実施形態における、ノイズ付与のデータテーブルの一例を示す図である。
本発明の実施形態における、データテーブルＡ及びＢの正解／不正解の分割の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
（【００１１】以降は省略されています）

関連特許